Madrasah Aliyah Negeri 2 Kota Pekalongan berdiri secara resmi adalah sejak tahun 1997. Madrasah ini pada awal berdirinya pada tahun 1972 bernama SP IAIN yaitu sebuah lembaga pendidikan dibawah naungan Depag yang mempersiapkan lulusannya untuk dapat meneruskan ke jenjang yang lebih tinggi yaitu IAIN, kemudian beralih status pada tahun 1980 menjadi MAN Pekalongan. Pada tahun 1986 berhasil mendapatkan lahan di dekat sungai banger, kemudian karena adanya pembangunan pabrik Kesmatek maka dilakukan tukar guling ke tempat yang sekarang ditempati sebagai gedung MAN 3 sekarang. Pada tahun 1985 itu MAN Pekalongan ada 2 yaitu yang berada di Kedungwuni dan yang ada di Kalibanger. Pada tahun 1992 ketika peralihan PGAN menjadi MAN 2 maka MAN Pekalongan menjadi MAN 1 Pekalongan . Pada tahun 1995 MAN 1 Pekalongan yang berada di Kalibanger beralih nama menjadi MAN Wonopringgo dan pada tahun 1997 beralih nama menjadi MAN 3 Pekalongan. Sejak tahun 2002 MAN 3 Pekalongan sudah menempati satu tempat yaitu di Pragak yang alamat tepatnya adalah Jl. Trikora Pragak Yosorejo Kota Pekalongan. Pada tahun 2018 sampai sekarang, nama MAN 3 Pekalongan berubah nama menjadi MAN 2 Kota Pekalongan.