Paul Simon i Art Garfunkel swoje pierwsze wspólne muzyczne kroki stawiali jeszcze jako nastolatkowie (w 1957 roku opublikowali singla "Hey, Schoolgirl" pod szyldem Tom and Jerry). Na początku lat 60. zaczęli razem występować jako duet mocno inspirujący się folkową muzyką. Podczas jednego z występów w lokalnym klubie przykuli uwagę producenta Toma Wilsona, który miał na koncie współpracę z Bobem Dylanem. To dzięki niemu duet podpisał kontrakt z wytwórnią Columbia, dla której pracował.
Już w trakcie nagrywania debiutanckiego albumu "Wendesday Morning, 3 A.M." wiosną 1964 r. panowie przyjęli nazwę Simon & Garfunkel. Podczas trzech dni sesji zarejestrowano 12 utworów (w tym trzy tradycyjne folkowe kompozycje). Jednym z nagrań był akustyczna, folkowa ballada "The Sound of Silence". Prace nad tym utworem Paul Simon zaczął po zamachu na prezydenta Johna F. Kennedy'ego w 1963 roku. Dopiero w lutym 1964 r. do melodii dopasował odpowiednie słowa. Okazało się, że pomogła mu w tym... woda z odkręconego kranu w łazience, gdzie często grywał na gitarze w ciemności. "Hello darkness, my old friend / I've come to talk with you again".
Materiał z płyty jednak kompletnie przepadł, bo Ameryka była właśnie w środku "Brytyjskiej Inwazji", której symbolem był występ The Beatles w "The Ed Sullivan Show" w lutym 1964 r. Przed odbiornikami telewizyjnymi zasiadło ok. 73 mln widzów, a program miał ok. 34-procentową oglądalność. Kilka tygodni później pięć piosenek The Beatles zajęło pięć czołowych miejsc na amerykańskiej liście przebojów - Beatlemania stała się faktem także za Oceanem.
Wydany w październiku 1964 r. "Wendesday Morning, 3 A.M." sprzedał się w liczbie 3 tys. egzemplarzy, a duet postanowił się rozstać. Paul Simon wyjechał do Anglii, gdzie koncertował w klubach, coraz mocniej wsiąkając w tamtejszą scenę folkową. Art Garfunkel pozostał w Stanach i wrócił do studiowania. I gdy wydawało się, że wszystko zakończy się zanim tak naprawdę się zaczęło, zaszło coś niezwykłego.
Wiosną 1965 r. utwór "The Sound of Silence" zaczęły grać różne radiostacje w USA, co nie uszło uwadze Toma Wilsona. Producent zlecił dogranie partii gitary elektrycznej oraz sekcji rytmicznej (zaangażowani zostali muzycy wcześniej biorący udział w nagraniu utworu "Like a Rolling Stone" Boba Dylana) i doprowadził do wydania tej urockowionej wersji na singlu we wrześniu 1965 r., która późną jesienią w końcu zadebiutowała na liście "Billboardu". Co ciekawe, o sprawie początkowo nic nie wiedzieli Paul Simon i Art Garfunkel, którzy nawet nie zostali poinformowani o nowej wersji! O sukcesie singla Simon dowiedział się w Danii, gdzie w magazynie "Billboard" zobaczył swój utwór w zestawieniu. Po kilku dniach radosną nowiną podzielił się z Garfunkelem i wkrótce zdecydował się na powrót do Stanów, by odnowić współpracę z duetem.
Podobno pierwsze reakcje Simona na nową wersję nie były zachęcające. "Był przerażony, gdy po raz pierwszy to usłyszał, gdy sekcja rytmiczna w pewnym momencie zwalniała, by dopasować się do wokali Paula i Artiego" - mówił jego przyjaciel Al Stewart. Mniej obiekcji miał Garfunkel, który uważał, że "coś" z tego może być. W styczniu 1966 r. "The Sound of Silence" był już na szczycie, na dwa tygodnie zamieniając się miejscami z "We Can Work It Out" The Beatles. "To czysty rock'n'roll" - zachwycali się singlem Simon & Garfunkel dziennikarze.
Namówiony przez wytwórnię Columbia duet na szybko przygotował album zatytułowany "Sounds of Silence", który miał zdyskontować sukces singla. Płyta w większości zawierała nowe wersje utworów nagranych przez Simona w Anglii na jego solowy album "The Paul Simon Songbook" z 1965 r. Jedynymi w pełni nowymi kompozycjami były "Blessed" i "We've Got a Groovy Thing Goin'".
W 2013 r. płyta została umieszczona w prestiżowym zbiorze National Recording Registry Biblioteki Kongresu USA jako pozycja "kulturowo, historycznie i estetycznie znacząca". Z kolei w 1999 r. wyliczono, że piosenka "The Sound of Silence" znalazła się na 18. miejscu najczęściej wykonywanych utworów w XX wieku.
Dwa lata po premierze albumu tytułowe nagranie dostało drugie życie za sprawą ścieżki dźwiękowej do kultowego filmu "Absolwent" Mike'a Nicholsa z popisową rolą Dustina Hoffmana. W sumie ten utwór w filmie pojawia się aż trzykrotnie.
