İstanbul Eminönü ilçesi, Alemdar Caddesi üzerinde bulunan bu medrese, Kanuni Sultan Süleyman dönemi (1520–1566) Babüs-Saade ağalarından Cafer Ağa tarafından 1554–1557 yıllarında yaptırılmıştır. Mimar Sinan’ın eserlerinin listesini veren Teskiretü’l Ebniye, Teskiretü’l Bünyan ve Tuhfetü’l Mimarin’e göre Mimar Sinan’ın eseridir. Cafer Ağa’nın 1557’de ölümünden sonra kardeşi Gazenfer Ağa tarafından 1559’da tamamlanmıştır.

Cafer Ağa Medresesi Osmanlı mimarisindeki bağımsız medreseler grubundan bir örnektir. Arazi eğiminden ötürü Alemdar Caddesi yönünde, altında dükkânları olan bir bodrum katı üzerine yapılmıştır. Ayrıca yol üzerindeki dört hücrenin üst kat ile bağlantısı bulunmamaktadır. Medresenin Alemdar Caddesi’ne açılan birer kapısı ile alt ve üst penceresi ile ocağı bulunan, üzerleri basık beşik tonozlarla örtülmüş alt kat odaları bulunmaktadır.

Medrese düzgün kesme köfeki taşından yapılmıştır. Ancak daha az önemli görünen arka cephelerde kaba yontma taş örgü tekniği, Alemdar Caddesi yönünde ise bir taş, üç tuğla dizisi ile duvarlar işlenmiştir.

Medresenin asıl girişi Soğukkuyu Sokağı’nın, Soğukkuyu Çıkmazı’ndadır. Buradaki basık kemerli bir kapıdan dikdörtgen planlı avluya girilmektedir. Bu avlunun çevresinde 15 medrese hücreleri ile dershaneye yer verilmiştir. Medrese hücreleri aynı ölçülerde yapılmamış, doğudakiler kareye yakın, batıdakiler de dikdörtgen planlıdır. Üzerleri tonoz veya kubbe ile örtülü olan bu hücrelerin revaklara açılan dikdörtgen birer penceresi bulunmaktadır. Dış cephelere yönelik pencerelerin üzerinde ikinci sıra pencereye yer verilmiştir. Her odanın ayrı birer ocağı ve nişi vardır.

Medresenin uzun ekseninde, kuzey-güney doğrultusunda avluya giriş arazi konumundan ötürü dershane ile hücrelerin doğu kanadı arasındadır. Bu nedenle de doğu yönündeki hücrelerin sayısı azaltılmış ve burada kolları birbirine eşit olmayan bir U plan düzeni ortaya çıkmıştır. Dershane U planının açık ucu üzerinde ayrı bir yapı görünümündedir. Ön kısmına saçaklı bir sundurma eklenmiştir. Dershane 6.00x6.00 m. ölçüsünde kare planlı olup, üzeri kasnaksız bir kubbe ile örtülmüştür. Dershane giriş kapısı dışında altlı üstlü ikişer pencere ile aydınlatılmıştır.

Giriş cephesine biri kapı üzerinde, diğer ikisi de yanlarda olmak üzere üç kitabe yerleştirilmiştir. Bu kitabelerden 1560 tarihli olanında Yerebatan Sarnıcı içerisindeki suyun bu medreseye bağlanması için padişahın izin verdiği belirtilmiştir. Diğer iki kitabeler ise medresenin kandillerine zeytinyağı satın alınması ve hayırsever kişilerin yaptığı bağışlarla ilgilidir.

Medrese avlusunun ortasında bir kuyu ile mermer bir su haznesi bulunmaktadır. Cafer Ağa Medresesi değişik dönemlerde onarılmış, son olarak 1989 yılında Türk Kültürüne Hizmet Vakfı tarafından onarılmış ve medrese Kültür Merkezi ismi altında Geleneksel Türk el sanatlarının üretildiği, öğretildiği ve satıldığı bir turizm merkezine dönüştürülmüştür.