Osnovan kao prvi trajni i profesionalni ansambl svoje vrste na hrvatskoj glazbenoj sceni, Zagrebački kvartet prvi je koncert održao 25. travnja 1919. godine. Članovi su tada bili Václav Huml, prva violina, Milan Graf, druga violina, Ladislav Škatula (kasnije Miranov), viola i Umberto Fabbri, violončelo – redom profesori na konzervatoriju u Zagrebu. Tijekom prvih desetljeća, u Kvartetu su se izmijenili brojni glazbenici (Jan Prybyl, Jan Holub, Francis E. Arány, Dragutin Aranyi, Zlatko Topolski, Stjepan Šulek, Aleksandar Szegedi, Ljudevit Dobronji...) no već tada Zagrebački je kvartet uspostavio visoke kriterije djelovanja koji ga i danas čine okosnicom zagrebačkog i hrvatskog kvartetskog muziciranja.
Ansambl je rano formirao koncept svojih programa koje čini široki repertoarni raspon, od klasike, Haydna, Mozarta, Beethovena, Brahmsa, i tzv. željeznog kvartetskog repertoara, do suvremenih autora s posebnim naglaskom na hrvatsko stvaralaštvo; djela Božidara Širole, Josipa Štolcera Slavenskog, Frana Lhotke, Antuna Dobronića, Borisa Papandopula, Mila Cipre, Milka Kelemena, Marka Ruždjaka, Frane Paraća, Dubravka Detonija i brojnih drugih redovito su na koncertnim rasporedima.
U sezoni 1930./1931. članovi kreću na prvu inozemnu turneju po Češkoj i Njemačkoj stječući laskave kritike i epitet 'slavni'; redovito muziciranje diljem domovine i inozemna gostovanja praksa je koju su zadržali do danas. Osim po Europi u više navrata održavaju velike turneje po Sjedinjenim Američkim Državama, bivšem Sovjetskom Savezu, Rusiji, Kanadi, Australiji, Novom Zelandu... Rano započinju i s praksom suradnji s drugim istaknutim glazbenicima-solistima.
Prvo razdoblje djelovanja Zagrebačkog kvarteta zaključio je Drugi svjetski rat da bi novo poglavlje počelo 1954. zahvaljujući inicijativi glazbenika iz tadašnjeg Akademskog gudačkog kvarteta - Josipa Klime, Tomislava Šestaka, Dušana Stranića i Zvonimira Pomykala. Upravo violinist Josip Klima, uz kraće prekide, predvodi Kvartet sljedeća gotovo dva desetljeća, a nasljeđuju ga, do 1987., Zlatko Balija, Edo Pečarić i Đorđe Trkulja. Drugi violinisti bili su Zlatko Balija, Edo Pečarić, Nikola Jambrošić, Ivan Kuzmić i Marija Cobenzl, violisti Dušan Stranić i Daniel Thune, a violončelisti Fred Kiefer i Josip Stojanović. Najdulji staž u kvartetu, punih 37 godina, ostvario je violist Ante Živković. (Muzikologinja Hana Breko izdvojila je dva glavna sastava u tom drugom razdoblju djelovanja: Josip Klima, Zlatko Balija, Dušan Stranić i Fred Kiefer te Josip Klima, Ivan Kuzmić, Ante Živković i Josip Stojanović.)
Znakovito je i da se tijekom tog perioda, novosti i suvremene tekovine koje donosi Muzički biennale Zagreb od 1961., odražavaju na repertoar ansambla pa on redovito izvodi i praizvodi najnovija domaća i inozemna kvartetska dostignuća.
Godine 1987. na mjesto prvog violinista dolazi Goran Končar što označava početak još jednog novog razdoblja; ostaje na tom mjestu do 2012., a s njim muziciraju Goran Bakrač i potom Davor Philips (od 2001.) na drugoj violini, violisti Ante Živković, i od 2005. Hrvoje Philips, te Martin Jordan na violončelu (od 1991.). To je vrijeme obilježeno ciklusom koncerata u Muzeju Mimara i u Preporodnoj dvorani Narodnog doma, a od 2008. u Hrvatskom glazbenom zavodu gdje se i danas održava sezona Zagrebačkog kvarteta.
Ugled ansambla učvršćuju nove inozemne turneje i gostovanja na kojima devedesetih godina osobito skreću pažnju javnosti na ratna zbivanja u Hrvatskoj, nastupi od Concertgebouwa u Amsterdamu, praškog Rudolfinuma i londonskog St. John's Smith Squarea preko zgrade Ujedinjenih naroda u New Yorku do Guangyuan Concert Halla, izvedbe kapitalnih djela poput Bachova Umijeća fuge i Beethovenovih posljednjih gudačkih kvarteta, kao i jedinstvena izvedba Sedam posljednjih Kristovih riječi Josepha Haydna u kripti crkve Sv. Ane u Jeruzalemu. Mjesto prvog violinista 2012. nakratko preuzima Sergej Evseev i Mari Maras, a od sezone 2017./2018., uz Davora Philipsa, Hrvoja Philipsa i Martina Jordana, kao prvi violinist muzicira Martin Krpan.
Bogata diskografija Kvarteta, stvarana tijekom gotovo devet desetljeća, uključuje izdanja za Jugoton, PGP RTB, Melodicom, Sastruphon, Nuova Era Records, ZYX Classic, RCA, Da Camera Magna, Croatiju Records, ZG Zoe, Cantus/HDS i druge. Posljednji album – s kvartetima Leoša Janáčeka i Antonína Dvořáka - objavila je etiketa Spona Classics.
Brojne nagrade i priznanja uključuju najvažnije nacionalne nagrade: od Nagrade grada Zagreba 1957. preko Nagrade Milka Trnina, Vjesnikove nagrade Josip Štolcer Slavenski, nagrada Vladimir Nazor i Vatroslav Lisinski, Povelje Republike Hrvatske za osobite zasluge u kulturi 1999., Nagrade grada Zagreba 2001., niza diskografskih nagrada Porin do nagrade Vladimir Nazor za životno djelo 2009. godine.