Roma İmparatorluğunun M.S. 395'de ikiye ayrılması sonucunda kurulan Doğu Roma İmparatorluğu döneminde, Erzurum ve çevresi bu İmparatorluğun egemenliği altına girmiş, ancak Doğu Roma egemenliği sürekli olamamıştır.

M.S. 395'den VII. yüzyılın sonlarına kadar bölge üzerinde Bizans ile Sasani Devletinin mücadeleleri olmuştur.

M.S. 408 - 450 yılları arasında Bizans İmparatoru olan ikinci Teodosious zamanında, Erzurum ve çevresi işgal edilmiş ve İmparatorun komutanlarından Anatolius tarafından bugünkü Erzurum şehrinin bulunduğu yerde bir tepe üzerine, bugünkü Erzurum kalesi inşa ettirilmiştir.

O zamana kadar Kalikala olarak adlandırılan Erzurum şehri, bu tarihten sonra İmparatorun adına izafeten Teodosiopolis şeklinde isimlendirilmiştir.

Şehir ve çevresi 504 yılında İran'dan gelen Sasani'lerin eline geçmiş, ancak kanlı çarpışmalardan sonra, Bizanslılar şehri tekrar geri almışlardır. 530 yılında Erzurum Kalesi İmparator I. Anastas tarafından tahkim ettirilmiştir.

M.S. 572 yılında Nuşirevan komutasındaki Sasani ordusu, Erzurum Kalesini kuşatmış, on yıl süren kuşatma sonucunda, Sasaniler şehri ele geçirememişlerdir.

M.S. 590'da şehir yine Sasanilerce kuşatılmıştır. Bu kez, Bizanslılar ağır şartlarla bir antlaşma yaparak şehri kurtarabilmişlerdir.

M.S. 610'da Erzurum, bütün çevresi ile birlikte Sasanilerin kuzeydeki düşman Hazarlar ile antlaşma yaparak, onların Sasaniler üzerine yürümesini sağlamış ve sonuçta Erzurum ve çevresi tekrar Bizans'ın eline geçmiştir.