市立圖書館的前身為「打狗文庫協讚會」及「高雄州民眾教育館」。打狗文庫協讚會係民國五年「日本人組合」所創設，為財團法人打狗公會之附屬事業。民國11年由高雄俱樂部接辦，民國14年3月31日始改為「市立高雄圖書館」，民國16年6月遷入高雄第一幼稚園址（哨船頭125番地），該館於民國14年由市役所接辦時，圖書僅有1508冊，民國30年時增至13,978冊。
而州市民眾教育館則設於壽山之麓，藏書量不詳，但館舍及藏書設備均燬於二次大戰的兵燹。光復接收時，僅剩破舊的日文書籍四百餘冊，民國34年租賃館舍，乃賃屋於鼓山一路，仍然沿稱為民眾教育館。
民國38年秋天，兩館合併、遷至中正四路，更名為「高雄市立中山圖書館」。民國43年4月，民生二路39號三樓新館落成啟用，正式命名為「高雄市立圖書館」。隨著民生路圖書總館使用已超過30年，建築老舊不符合民眾需求。於民國100年開始規劃圖書新總館，103年11月完工啓用，為提供高雄市民一個舒適的閱讀空間、一座藏書豐富的圖書總館。
民國68年7月，高雄市改制院轄市，原有的館舍遂感不敷使用，乃奉准將座落於民生二路80號新建之民眾活動中心全部撥交給於圖書館作為新址，使本區更成為一個充滿書香的文化綠洲，並於民國70年8月遷入，使用迄今，並於民國92年爭取行政院文建會「公共圖書館空間及營運改善計畫」補助3450萬元，改善高雄文學館（原為第二圖書總館），目前文學館每個月皆會請到一些作家與民眾面對面分享創作心得及演講。