Eski adı Rışmıl olan Yeşilli'nin antik çağ tarihi kesin olarak bilinmemektedir. Mardin merkezinin kuzeydoğusunda yer alan Yeşilli'de Roma döneminde yapılmış su kanalları, çeşmeler, bentler ve değirmenler günümüzde de görülebilmektedir.
Yörede yerleşim Hititlerle (MÖ.3000) başlamış, ardından Sümerler, Akadlar, Babiller, Mitaniler, Asurlular , Persler, Romalılar, Bizanslılar, Araplar, Selçuklular ve Artuklular yöreye hakim olmuşlardır. Roma döneminde bir mesire yeri olarak kullanılmış, ayrıca o döneme ait su kanalları, çeşmeler, bentler ve değirmenlerin kalıntıları günümüze ulaşmıştır. Mardin ile birlikte Yavuz Sultan Selim'in Mısır seferi sırasında, 1517'de Osmanlı topraklarına katılmıştır.