Kızlar Sarayı, İç kalenin üzerinde bulunan mağaraların altındadır. Sinop mutasarrıfı İsfendiyar Bey’in torunu Doğrak Hatun Amasya’ya geldiği zaman, Selçuk Sarayına giremeyince, Kızlar Sarayı yaptırılmıştır. Bu sarayın yapımından sonra İsfendiyar Beyleri, çevrede yaptıkları fetih ve savunmalarda Amasya’yı bir üs gibi kullanmışlar ve Kızlar Sarayında ikamet etmişlerdir.
Kızlar Sarayı, 150 yıldan uzun bir süre Osmanlı şehzadelerine, hatunlarına ve valilerine mekan olmuştur. 1852 yılına kadar faal bir biçimde hizmet vermiştir. Bu tarihten sonra Amasya ayânına terk edilmiştir. Daha sonra ise kendi kaderine bırakılmıştır. Bugün tamamen harap durumdadır.