Sivas’ın eski bir yerleşim yeri olmasına rağmen, ne zaman ve kimler tarafından kurulduğuna dair kesin bilgi bulunmamakla birlikte, Sivas ve çevresinde yapılan kazı ve araştırmalarda ele geçen buluntular yörede ilk yerleşimin Neolitik Çağda (MÖ. 10.000-5.500) başladığını göstermektedir.
Sivas adının kaynağı hakkında bazı değişik görüşler bulunmaktadır. ‘Sebaste’ Sebasteia eski Yunancada (Augustus Şehri) ismi, Pontus Kralı Polemon’un eşi Pitodoris tarafından verilmiştir. Romalılar, Pontus Krallığını egemenlikleri altına aldıkları zaman şehrin yönetimini Pont Krallığı’nda bırakmışlardı. Pontus Kralının eşinin ise, Roma Kralı Augustus’un sevgisini kazanmak ve ona bir şükran ve sadakat ifadesi olmak üzere Yunanca’da Ogüst şehri anlamına gelen “Sebaste” adını verdiği sanılmaktadır. Sebaste’nin zamanla “Sivas”a dönüştüğü ileri sürülmektedir.
Bir başka görüşe göre ise; “Sivas” isminin “Sipas”tan geldiğidir. Şehrin ilk kurulduğu dönemlerde, bugünkü şehrin merkezinin bulunduğu yerde büyük çınar ağaçlarının altında üç adet su gözesi (Kaynağı) bulunmaktadır. Bu kaynaklardan bir tanesi “Allah’a Şükür”ü ikincisi “ana ve babaya saygı”yı, üçüncüsü de “Küçüklere sevgi”yi temsil etmektedir. Bu bölgede yaşayan insanlar, zamanla bu özelliklerini koruyamayıp yitirince, bu üç kaynak da kurur. Şehrin isminin de “üç göze” anlamına gelen “Sipas”tan kaynaklandığı ve zamanla “Sivas”a dönüştüğü ileri sürülmektedir.
Sivas’a farklı dönemlerde hakim olan devletler, şehre kendilerine özgü değişik isimler vermişlerdir. Bunların başlıcaları; Sebaste, Sipas, Megalopolis, Kabira, Diyapolis (Tanrı Şehri), Talaurs, Danişment İli, Eyalet-i Rum, Eyalet-i Sivas ve Sivas isimleridir.
Sivas'ın bugünkü sınırları içerisinde yer alan Hafik Gölü, Pılır Höyüğü, Zara Tödürge Gölü kıyısındaki Tepecik Höyüğü ile Kangal ilçesi Çukurtarla ve Kavak Nahiyesi Höyük değirmeninde Neolitik Çağa ait Prehistorik buluntular ele geçmiştir. Ayrıca Yıldızeli Argaz Höyük ve çevresinde Kalkolitik Çağ (M.Ö.5000-3500) ile Tunç Çağı (M.Ö.3000-1500) buluntuları ile karşılaşılmıştır.
MÖ.3000’lerde Hattilerin Yurdu olarak isimlendirilen Sivas çevresine MÖ.2000’de Hititlerin yerleştiğini arkeolojik araştırmalar ortaya koymuştur. Tatlıcak Köyü ile Uzuntepe köylerinde bulunan höyükler ve Gürün Şuğul Vadisindeki Hitit yazıtları yöredeki Hitit yerleşimini kanıtlamaktadır. Buradaki höyüklerde Hititlerin üzerinde Frig izlerine rastlanmış oluşu, Balkanlardan Anadolu’ya gelen Friglerin, Hitit yerleşim alanlarının üzerlerinde yaşadıklarını göstermektedir. Geç Hitit Devletleri döneminde Sivas’ın güney kesimi Hitit yazıtlarından öğrenildiğine göre Tilgarimmu ismi ile anılıyordu. Yöre MÖ.VII.yüzyılda Kimmer ve İskit akınlarına uğramış, MÖ.VI.yüzyılın başlarında Medler ve Persler yöreye egemen olmuşlardır.
Lydialılar döneminde Kral Yolunun Sivas’tan geçişi, yörenin önemini daha da arttırmıştır. Bugünkü il merkezinin bulunduğu yerde o dönemde Sebasteia isimli bir kentin olduğu bilinmektedir.
MÖ.IV.yüzyılın ikinci yarısında Persleri ortadan kaldıran Makedonya Krallığı bir süre yöreye hakim olmuş, İskender’in ölümünden sonra Kapadokia Krallığına bağlanmıştır. Uzun bir süre Pontus ve Ermeni Krallıklarının yönetiminde kalan yöre, MS.17’de bütün Kapadokia ile birlikte Roma egemenliği altına girmiştir. Bu dönemde kısa sürelerle Partların ve Sasanilerin eline geçmiş, Bizans döneminde ise Armeniakon Themasının sınırları içerisinde kalmıştır. XI.yüzyılda ise Bizans’ın Sebasteia Themasına bağlanmıştır.