Gradska knjižnica “Ivan Goran Kovačić” osnovana je 1. ožujka 1838. godine kao “Ilirsko čitanja društvo” i postala najznačajnija kulturna ustanova u gradu. Ilirski pokret i hrvatski narodni preporod, te položaj grada Karlovca na križištu prometnica Karoline, Jozefine i Lujzijane te na slivu četiriju rijeka – Kupe, Korane, Mrežnice i Dobre – utječe na sveukupni gospodarski i kulturni razvoj grada. Čitaonica uz čitaoničku djelatnost počinje skupljati i knjižnu građu i ubrzo je izdaje svojim korisnicima. Iz tog vremena sačuvana je i zbirka knjiga označena tadašnjim ilirskim grbom – polumjesecom i zvijezdom.
Fond Ilirske knjižnice u osnutku je bio skroman jer nije bilo sredstava za nabavku knjiga, pa su prve knjige darovali osnivači Knjižnice iz svojih kućnih zbirki. Potporom gradske uprave i od novca dobivenog članarinom počinju se kupovati knjige koje će pronositi novi duh, ideje i ljubav za domovinu i narodni jezik, kao i “znanstvene i krasoslovne knjige inih naroda”. Iz te Knjižnice danas je sačuvano oko 180 svezaka, uglavnom knjige iz lijepe književnosti, povijesti, zemljopisa kao i nekoliko primjeraka periodike. Žig Ilirske čitaonice povezuje tu zbirku s današnjom knjižnicom i na to smo ponosni. Navedene knjige i danas se čuvaju u Zavičajnoj zbirci naše Gradske knjižnice.
Godine 1861. u okviru Karlovačke čitaonice počinju se izdavati prve novine na hrvatskom jeziku “Karlovački viestnik”. Rad knjižnice u vrijeme vladavine Khuena Hedervaryja jenjava. Početkom 20. stoljeća ponovo počinje aktivnost knjižnica, te uz Pučku knjižnicu (1905.), osniva i Hrvatski sokol svoju Sokolsku čitaonicu (1906.). Obje se spajaju 1907. godine u jedinstvenu ustanovu.
Od 1910. godine knjižnica i čitaonica djeluju pod nazivom “Gradska knjižnica”. Tih dana organiziraju se mnoge aktivnosti u okviru knjižnice, a osobito puno predavanja.
Knjižni fond tada je brojao 10.000 knjiga. Između dva rata rad knjižnice se nastavlja smanjenim intenzitetom, a tijekom drugog svjetskog rata gotovo se potpuno gasi.
Nakon 1948. godine djelatnost knjižnice se proširuje raznovrsnim aktivnostima. Broj knjiga raste kao i broj članova knjižnice. Godine 1952. knjižnica je smještena u Gundulićevoj ulici uz rijeku Kupu na samom rubu gradske zvijezde. Godine 1956. osniva se zasebni odjel za djecu i omladinu i od tada se toj djelatnosti posvećuje izuzetna pažnja. Otvoren je čitaonički prostor i diskoteka u Banjavčićevoj ulici u staroj gradskoj jezgri.
Povećan broj knjiga i velik broj članova knjižnice nametnuli su pitanje dugoročnog rješenja prostora Gradske knjižnice.
Prva etapa nove knjižnice, površine 1600 m² završena je 1976. godine. 
Za vrijeme Domovinskog rata naša knjižnica je bila teško oštećena (procijenjena šteta preko 150.000 eura). Posljedice ratne štete sanirani su tijekom 1995. i 1996. godine. Godine 2003. Grad Karlovac donosi odluku o nastavku gradnje uz male izmjene prvobitnog projekta. Dodatnih 2000 m² će uvelike olakšati rad u sada već pretrpanom prostoru, pružiti korisnicima više sadržaja i riješiti problem prostora knjižnice za duži niz godina. Otvaranje novoga dijela knjižnice predviđeno je 15. 10. 2007. na prvi dan Mjeseca hrvatske knjige.
Svečano otvorenje dograđenog dijela knjižnice bilo je povodom manifestacije Mjesec hrvatske knjige, 15. 10. 2007. godine. 
Knjižnicu je za javnost otvorio ministar kulture Republike Hrvatske mr. Božo Biškupić.
Sredstva za dogradnju osigurali su Grad Karlovac, Ministarstvo kulture Republike Hrvatske i Karlovačka županija.