Doğal yapısı gereği savunmaya elverişli olduğundan, ünlü Kemah Kalesi' yapılmıştır.

Kimler tarafından ve hangi tarihte yapıldığı kesin olarak bilinmemekle beraber, Milattan Önce 205 yıllarında Arzak Kralları tarafından yapıldığı tahmin edilmektedir. Kemah Kalesi Ortaçağda Sasanilerle Doğu Roma İmparatorluğu arasında çekime konusu olmuştur Milattan sonra 638 yıllarında Halife Ömer'in Kumandanlarından İlyas Bin Camn'ın kuvvetleri daha sonra da Halife Ömer'in orduları Bizanslıları buradan çıkararak geçici olarak kaleye sahip olmuşlardır. Müslümanlarda bu bölgeden Hazar Türkleri ve Gürcüler tarafından çıkarılmıştır.

Kemah Kalesi 678-679 yıllarında Abbasilerin eline geçmiştir. Bundan sonra Kemah Abbasilerle Bizanslılar arasında elden ele geçmiş, 750-751 yıllarında Bizanslıların hakimiyetine girmiştir. 1071 Malazgirt Savaşından sonra Anadolu kapıları Türklere açılınca Alparslan'ın Kumandanlarından Mengücek tarafından Kemah Türklerin eline geçmiştir. Burada Mengücek Beyliği kalmıştır. İkiyüz yıl ömürlü olan Mengücek Beyliği 1228 yılında Kemah'ı Selçuklu Sultanı Alaaddin Keykubat'a bırakmak zorunda kalmıştır. 1230 yılında İlhanlılar Kemah'ı Selçuklulardan alarak 14. yüzyıla kadar Kemah'a hakim olmuşlardır. 14. yüzyılın ilk yarısında İlhanlılar'ın zayıf düşmesinden Osmanlı egemenliğinin 16. yüzyılın başlarında kesin olarak yerleşmesine kadar Kemah sık sık el değiştirmiştir. 14. yüzyıl sonlarında Osmanlı Devleti doğuya doğru genişlemeye başlayınca Kemah Burak Oğullarından Mutahharten'in elinde bulunuyordu.

1401 yılında sınırlarını genişleten Yıldırım Beyazit Mutahharten'in Timurdan ayrılarak kendisine bağlanmasını istemiş, fakat bu teklif kabul edilmemiştir.Daha sonra Yıldırım Beyazit Erzincan Beyliğini almış, Mutahharten de teslim olmuştur. Fakat Beylik doğrudan doğruya Osmanlı ülkesine katılmayarak Osmanlı egemenliğini kabul eden Mutahharten Bey yerinde bırakılmış, fakat askeri önemi büyük olan Kemah Kalesi Yıldırım Beyazıt tarafından alınmıştır. Timur Yıldırım Beyazıt üzerine sefere giderken Kemah Kalesini alarak Erzincan Beyine vermiştir.

Timur'un Orta Asya Seferinden sonra Kemah Akkoyunluların eline geçmiştir. 1473 yılında Otlukbeli Savaşında Uzun Hasan'ın Fatih Sultan Mehmet'e yenilmesi üzerine Kemah Kalesi bir müddet yerli elebaşların elinde kalmıştır. 16. Yüzyılın ilk yarısında Safavilerin eline geçmiştir. 19 Mayıs 1515 Cumartesi günü Yavuz Sultan Selim'in Kemah Kalesini fethetmesiyle Kemah Osmanlı Topraklarına katılmıştır. bundan sonra bir daha Türk hakimiyetinden çıkmamıştır.

Ünlü Türk Gezgini Evliya Çelebi 17. yüzyılda yazdığı Seyahatnamesinde Kemah Kalesine önemli bir yer vermiş ve kalenin sağlamlığını dile getirmiştir.

Birinci Dünya Savaşında Ruslar Kemah Boğazına kadar gelmişlerse de bu boğazı geçemeyerek Erzincan'a çekilmek zorunda kalmışlardır. Böylece Kemah Birinci Dünya Savaşında Ruslara karşı savunma hattı olmuştur.