Sasanilerin M.S. 642'de Nihavend'de İslam Halifesi Hz. Ömer'in ordularına yenilerek, tarihten silinmelerinden sonra, Erzurum ve çevresi Müslüman Arap ordularının istilasına uğramıştır.

Erzurum, İslam ordularınca ilk olarak 638' de Halife Hz. Ömer'in komutanlarından İyaz bin Ganem tarafından ele geçirilmiştir. Ancak, uzun bir süre sonra şehir tekrar Bizanslılar tarafından geri alınmıştır.

651 yılında ise, bu kez Habib İbn'i Mesleme komutasındaki 6000 kişilik İslam ordusu, kısa bir kuşatmadan sonra şehri sonra şehri teslim almıştır. Şehrin dini ve askeri lideri Ermi-naks, şehri yeniden ele geçirmek için Gürcü ve Hazar Türkleri ile ittifak kurmuş ve şehir üzerine yürümüştür. Ancak yapılan savaşta Araplara yenik düşmüştür.

Kenti ele geçiremeyen bu ordu, şehir çevresinde geniş güvenlik tedbirleri almış ve karakollar kurdurmuştur. Bunun üzerine tehlikeyi sezen Habib İbn-i Mesleme, Suriye Valisi Muavine'den yardım istemiştir. Küfe Valisi Süleyman el'Hıyel komutasındaki Arap Ordusu, Gürcü ve Hazar Türklerinden oluşan bir orduyu Fırat nehri kenarında bozguna uğratmıştır.

Arapların kendi içlerindeki mücadelelerden yararlanan Bizans, İmparator II. Justinianus zamanında, Leontier komutasındaki bir ordu ile 686'da Erzurum'u tekrar ele geçirmiştir. Ancak M.S. 700 tarihinde Emevi Halifesi Abdülmelik'in oğlu Abdullah şehri tekrar geri almaya muvaffak olmuştur.

M.S. 753 yılında ise Bizans İmparatoru V. Konstantinos, Kusan adlı bir Ermeni'yi şehri almakla görevlendirmiştir. Kaleyi koruyan Arap askerlerinin sayıca azlığı ve kalede bulunan iki Ermeni'nin ihaneti ile Kusan kaleyi zapt etmiştir. Ancak bir süre sonra, şehir ve çevresi tekrar Emevilerin eline geçmiştir.

770-772 yılları arasında yöredeki Ermenilerin ayaklanarak şehri kuşatmaları üzerine, Amr bin İsmail el Harisi komutasındaki bir ordu, ayaklanmayı bastırmak üzere Erzurum üzerine yürümüş ve ayaklanmacıları bozguna uğratmıştır.

838 yılında Bizans İmparatoru Teheophilos, Erzurum'u kuşatmış ve şehir surlarını yıktırmıştır. 840' da Halife Mutasım şehir surlarını tamir ettirmiş ve kaleyi tahkim ettirmiştir. Bu tarihten sonra, şehir iki kez daha Bizanslıların eline geçmiş (934);, ancak 12 yıl sonra Abbasiler tarafından tekrar geri alınmıştır.

948'de büyük bir Bizans ordusu, Erzurum üzerine yürümüş ve 949 yılında Bizans egemenliği tekrar sağlanmıştır. Bu tarihten sonra, Erzurum ve çevresindeki Arap egemenliği tamamen son bulmuştur.

979 yılında şehir ve çevresi, yaptığı yardımlardan ötürü, Bizans İmparatoru tarafından Gürcü Belgratlı Kralı David'e verilmiştir. David'in ölümünden sonra, şehir Bizans İmparatoru II. Basilious tarafından geri alınmıştır.