Sejarah awal perpustakaan berasal dari Perpustakaan Fakultas Keguruan dan Ilmu Pendidikan Universitas Indonesia (FKIP UI). Berdasarkan Keputusan Presiden Nomor 1 Tahun 1963, FKIP berubah menjadi Institut Keguruan dan Ilmu Pendidikan (IKIP) Jakarta. IKIP Jakarta sendiri berdiri pada tanggal 16 Mei 1964. Sesuai dengan SK Rektor IKIP Jakarta No. 084, Perpustakaan IKIP Jakarta bertugas untuk menjadi perpustakaan pusat yang mengkoordinir dan mengawasi perpustakaan yang berada di Fakultas dan Sekolah Laboratorium Kependidikan.
Pada tahun 1999 sesuai dengan Keputusan Presiden RI No.93/1999, IKIP Jakarta berubah statusnya menjadi Universitas Negeri Jakarta sehingga Perpustakaan IKIP Jakarta berubah nama pula menjadi UPT Perpustakaan Universitas Negeri Jakarta. Pada Tanggal 14 Agustus 2024 UNJ berubah status menjadi PTNBH sehingga UPT Perpustakaan berubah nama menjadi Perpustakaan dan Kearsipan.