24 Şubat 1933 tarihinde Mersin Halkevi’nin açılması üzerine Türk Ocaklarından devralınan 788 adet kitap ile Halkevi’nin bir kolu “Kitap Sarayı” adıyla açılmıştır.

1944 yılında inşaatı biten Halkevi binasına taşınan kütüphane 1952 yılında Milli Eğitim Bakanlığı’na devredilmiştir.

Aynı binada çalışmalarını sürdüren daha sonra Kültür Bakanlığı’na bağlanan kütüphane, bu binanın onarım kapsamına alınması üzerine 1982 yılında Sosyal Hizmetler İl Müdürlüğü’ne ait binaya taşınmıştır.

Elverişsiz koşullarda, sağlıksız bir ortamda hizmetlerini sürdüren kütüphane, Ağustos 1987’de eski Özel İdare Müdürlüğü binasına taşınmıştır. Bu bina 1992 yılında Kültür Bakanlığınca satın alınmıştır. İl Halk Kütüphanesi Müdürlüğünün hizmet binasının yetersiz olması nedeniyle Kitap Deposu, Merkez Çocuk Kütüphanesi ve şu an makinalarının yetersiz olması yüzünden kapalı olan Bölge Cilt Atölyesi bu binada bulunmaktadır.

Modern Kütüphanecilik anlayışı ve donanımıyla, çağımızın toplumsal gereksinmelerini karşılayabilecek, bilgi merkezi niteliğindeki kütüphane 12 Nisan 1993’de İstiklal Caddesi, İstasyon karşısında bulunan Sosyal Hizmetler İl Müdürlüğü binasının 1. katında Kültür Bakanlığı ve Mersin’de kurulmuş sosyal amaçlı dernek ve kuruluşların büyük katkılarıyla hizmete açılmıştır.

Halk Kütüphanelerinin amacına ve işlevine uygun hizmet vermekte olan kütüphanede okuyucu ve kitap arasındaki engel kaldırılmıştır. Mersin İl Halk Kütüphanesine bağlı olarak Merkez Çocuk Kütüphanesi ve Huzurkent Halk Kütüphanesi görev yapmaktadır.

İl Halk Kütüphanesi Müdürlüğü aynı zamanda İlçe Halk Kütüphaneleri ve Şube Kütüphanesinin teknik çalışmalarında rehberlik etmekte, yılda iki defa denetim yapılmaktadır.