İstanbul ili Beykoz ilçesi, Anadoluhisarı Körfez Caddesi’nde bulunan bu yalının XVII. yüzyılın sonu veya XVIII. yüzyılın başında yapıldığı sanılmaktadır. Yalıya ismini veren Zarif Mustafa Paşa yalıyı, Paşa’nın el yazısı ile yazdığı ve torunlarından birinin elinde bulunan anılarından 1848’de satın aldığı öğrenilmektedir. Ancak kimden aldığı belirtilmemiştir. Kaynaklarda paşanın bu yalıyı üçüncü sahibi olan, Sultan II. Mahmut’un (1784–1839) Kahvecibaşılığını yapan, Enderun’dan yetişmiş Kani Bey’den satın aldığı belirtilmektedir. Kani Bey Sarıkçıbaşılık, Defter Eminliği yapmış ve 1849 yılında da ölmüştür.

Sicil-i Osmanî’den öğrenildiğine göre Zarif Mustafa Paşa Hassa Süvari Alay Kâtiplerinden olup, Mirliva ve Ferik olmuştur. 1845 yılında Dar-i Şüra Reisi olmuş, 1846’da bu görevden ayrılarak Mirmirani rütbesi ile Kudüs Mutasarrıfı olmuştur. Bundan sonra 1847’de Ferik rütbesine yükseltilmiş, 1849 yılında Konya ve Halep Valisi olmuştur. Bu görevden kısa bir süre sonra azledilmiş, ardından Vidin ve Erzurum Valisi, Anadolu Ordusu Müşiri olmuştur. 1859 yılında Meclis-i Vâlâ Azası olmuş 1863 yılında da ölmüştür. Karacaahmet Mezarlığı’nda gömülüdür.

Mustafa Zarif Paşa Yalısı harem, selamlık ve mehtabiye köşkü olmak üzere üç ayrı bölümden meydana gelmiştir. Mehtabiye köşkünün bir bölümü günümüze gelebilmiş ve bu bölüm çeşitli onarımlar nedeni ile özelliğini büyük ölçüde yitirmiştir. Haremin bir kısmı 1918–1919 yıllarında yıkılmış, kalan bölümüne de 1971 yılında bir gemi çarpmış ve böylece harem bölümü günümüze gelememiştir. Günümüze yalnızca selamlık kısmı gelmiştir. Restore edilen bu bölüm iyi bir durumdadır. Zarif Mustafa Paşa Yalısı yıkılmadan önce kayıkhanesi, bahçeleri, limonluğu ve ahırları ile birlikte Boğaziçi’nin en büyük yalılarından birisi idi.

Zarif Mustafa Paşa Yalısının aşı boyalı iki katlı olan harem bölümünün ikinci kattaki yaldızlı odasının barok bezemeleri, ahşap kaplamaları, stalaktitli tavan bordürlerinin olduğu kaynaklarda belirtilmiştir. Amcazade Hüseyin Paşa yalısı ile bu bakımdan benzerlikleri bulunmaktadır.

Yalının iyi bir durumda günümüze gelen selamlık kısmı bazı kaynaklara Zarif Mustafa Paşa’nın torunu olan ve Devlet Şurası Azalarından Esat Bey’in ismi ile geçmiştir. Neo-Klasik devir özelliklerini taşıyan bu yapı iki katlı olup, sarı boyalıdır. Orta sofalı plan tipinde olup, deniz cephesindeki üçgen alınlıklı konsolların taşıdığı bir bölümle dışarıya taşırılmıştır. Orta sofa etrafında sıralanmış salon ve odalardan meydana gelen yalının katları silmelerle birbirlerinden ayrılmıştır. Aydınlığı sağlayan pencereler dikdörtgen sıra halinde dizilmiş olmasına rağmen, denize çıkmalı bölümde yuvarlak kemerli pencerelere de yer verilmiştir. Yalının hamamı sıcaklık ve soğukluktan meydana gelen klasik Osmanlı hamam planı şeklindedir.