İstanbul Üsküdar ilçesi, Kandilli İskelesi’nin yanında Mısırlı Prens Mustafa Fazıl Paşa’nın yalısı bulunuyordu. Yapım tarihi kesinlik kazanamamakla beraber, ilk sahibinin Silahtar Mustafa Paşa olduğu söylenmektedir. Sultan IV. Mustafa devrinde Enderun’dan vezir olarak çırağ edilen Süleyman Paşa bu yalıda bir süre yaşamış ve Sultan II. Mahmut’un tahta çıkışı ile birlikte Şam Valisi olarak İstanbul’dan ayrılmıştır. XIX. yüzyılın başlarında satın alan Mustafa Fazıl Paşa yalıda bazı değişiklikler yapmıştır.

Mustafa Paşa’nın Beyazıt civarında büyük bir konağı ve Çamlıca’da da büyük bir köşkü vardı. Yaz aylarında burada kısa bir süre kaldığı kaynaklardan öğrenilmiştir.

Mustafa Fazıl Paşa 16 yaşında İstanbul’a gelmiş Babıâli’ye girmiş, 28 yaşında da vezir rütbesini almıştır. Sultan Abdülaziz’in Mısır’daki veraset usulünü Hıdiv İsmail Paşa’nın çocukları lehine değiştirmesi Fazıl Paşa’yı küstürmüş ve Sultan Abdülaziz’in aleyhinde çalışan yeni Osmanlılarla yakınlık kurmuştur. Uzun süre bu cemiyete maddi yardımlarda bulunmuş, bir süre Türkiye’den ayrılarak Avrupa’da yapılan hürriyet kavgalarına karışmıştır. Bu arada Abdülaziz’e yazdığı “Padişahların sarayına en güç giren şey doğruluktur” diye başlayan mektubu da çok ünlüdür. Mısır’da veraset usulünün değiştirilmesinden sonra Mustafa Fazıl Paşa’nın Mısır Hıdivi olması ihtimali ortadan kalkınca Mısır’daki emlakine karşılık kendisine Mısır hazinesinden beş milyon lira verilmiştir. Paşa bu parayı on yıl içerisinde tüketmiş, son zamanlarında sıkıntı çekmiş, bir ara bir altın leğen ibriği, bir murassa enfiye kutusunu bir bankere rehine olarak vermek zorunda kalmıştır. Onun bu durumu Hıdive bildirilmiş ve kendisine ayda 2 bin lira para bağlanmıştır. Ancak paşa bu parayı bir defa almış ve 1876 yılında Beyazıt’taki konağında ölmüştür.

Mustafa Fazıl Paşa hoş sohbet ve misafirperver bir kişi olduğundan Kandillideki yalısında ve Beyazıt’taki konağında devamlı misafirlerini ağırlamıştır. Kaynaklardan İstanbul’daki ilk maskeli balonun Sultan Abdülaziz zamanında Mustafa Fazıl Paşa’nın bu yalısında düzenlendiği öğrenilmektedir. O günlerde Jön Türklerin hareketlerini izleyen Şehzade Abdülhamit bu balolarla ilgili anılarında bazı bilgiler vermektedir: “Baloyu amcam Sultan Aziz zamanında Çamlıca'da Fazıl Paşa Köşkü'nde yapmış... Bu baloda Namık Kemal Bey, Sami Bey gibi bazı zevat da davetli idiler. Onlar da donsuz bir entari giymişler, kırmızı gravat takmış, yalın ayak, baş açık sofrada iyş ü nuş etmişler.”

Mısırlı Mustafa Fazıl Paşa Mısır Hıdivi İsmail Paşa’nın küçük kardeşi olup, 1829 yılında Kahire’de doğmuştur. İsmail Paşa’dan dört saat sonra doğmasından ötürü Hıdivlik hakkını kaybetmiştir. Paşa’nın bu dört saatlik geç doğmasına her zaman canı sıkılmıştır. İsmail Paşa Hıdiv olarak İstanbul’a birçok kez gelmiş ve Emirgan’daki yalısında kalmıştır. Mustafa Fazıl Paşa onun bu gelişlerinden birisini Kandillideki yalısında dürbünle izlerken yanındakilerden biri şöyle demiştir: “Ey Rabbim, bu kadar külfet, bu kadar teşrifat hep şu dört saatlik farktan mı ileri geliyor.” Buna karşılık Paşa da; “Orası öyle amma eğer o fark olmasaydı biz de sizi kazanamazdık” demiştir.

Sultan II. Abdülhamit tahta çıktıktan sonra Kandillideki Mustafa Fazıl Paşa Yalısı’nı kardeşi Cemile Sultan için satın almıştır. Bu konuyu mabeyn feriki Eğinli Sait Paşa anılarında şöyle belirtir: “Merhum Mustafa Paşa’nın yalnız 20 bin lira kıymetinde olan Kandillideki sahilhanesini 25 bin liraya Sultan Hamit tarafından satın alındığı ve senetlerinin kendisi vasıtası ile sultana gönderildiğini, bu büyük hediyeye mukabil sultanın, başağası ile 400–500 lira değerinde murassa bir enfiye kutusunu yolladığını ve padişahın kendi ihsanına karşı böyle değersiz bir hediye verilmesine pek canı sıkıldığını o akşam mabeyne gelen Cemile Sultan’ın kocası Mahmut Paşa’ya söylemiştir. Mahmut Paşa da daha sarrafa borcu ödenmemiş kutuyu geri almıştır.

Cemile Sultan Kandillideki yalısında çok fazla oturmamış, Erenköyü’ndeki köşkünde yaşamıştır. Yalıyı da resim yapan, ava meraklı Prens Celaleddin Bey’e bırakmıştır. Prens Celaleddin Bey’in I. Dünya Savaşı’nda ölümünden sonra VI. Mehmet Vahidettin tarafından kızı Ulviye Sultan için satın alınmıştır. İstanbul’un İtilaf Ordusu tarafından ele geçirilmesi sırasında Rumlar bu yalıyı satın almak istemişlerdir. Yalı Cumhuriyetin ilk yıllarında yıkılmıştır.

Yalının harem ve selamlıktan meydana geldiği, rıhtımından selamlık bahçesine girildiği kaynaklardan öğrenilmektedir. Selamlık girişinde mermer bir taşlığa, oradan da sağ ve sol yöndeki iki büyük salona geçiliyordu. Girişin karşısındaki holün karşı tarafında dört mermer direk üzerine oturtulmuş bir sahanlık ve çift yönlü parkeden muhteşem bir merdiven bulunuyordu. Bu merdivenlerin çevresi somaki mermer kaplı idi. Üst katta büyük bir sofa ve bu sofanın sağ ve solunda iki büyük salona geçiliyordu. Prens Celaleddin Bey zamanında her odada renkli Hereke halıları bulunuyordu. Alt kattaki üç salondan biri koyu fes renginde, diğerleri yeşil ve sarı renkte boyanmış salonlardı. Üst kattaki salonlar ise mavi, beyaz ve pembe renge boyalı idi.

Yalının plan düzeninde koridorlar ön plana çıkarılmıştı. Yatak ve oturma odaları bu koridorlar üzerine yerleştirilmiştir. Üst kattaki koridorlardan sağ taraftakinde içerisi renkli çinilerle döşeli iki büyük kurnası olan bir de hamamı vardı.