Yüzyıllar boyunca şehrin kaderine hâkim olan kargaşa, yerini Osmanlı Devletinin, huzur ve sükun dolu yönetimine terk etmiştir.

Erzurum ve çevresinin Safevi Devletinin etki alanı içinde kalması sadece 15 yıl sürdü. Osmanlı Padişahı Yavuz Sultan Selim, Mısır seferinden dönüşte Kars ve Pasinler üzerinden Erzurum'a geldi ve şehir çevresi 1517 yılında Osmanlı topraklarına katıldı.

Kanuni Sultan Süleyman zamanında Erzurum kalesi tahkim edildi ve şehir baştanbaşa imar edildi. Kanuni'nin birincisi 1534, ikincisi 1548 yıllarında İran üzerine düzenlediği seferlerde, Erzurum şehri, Osmanlı ordusuna önemli bir askeri üs vazifesi gördü.

Kanuni, İran seferinden dönüşte (1535); Dulkadirli Mehmed Han'ı Erzurum Beylerbeyliğine tayin etti. Erzurum şehri ise o dönemde beylerbeyliğine bağlı bir sancak durumundaydı. Erzurum Beylerbeyliğinin sınırları, kuzeyde Doğu Karadeniz Dağlarından Ordu'daki Bolaman Deresine batıda Reşadiye, Zara, Koçhisar ve Kemah'a, güneyde Pülümür, Kiğı ve Malazgirt'e doğuda Tahir Geçidi ve Pasin Ovasına kadar uzanan bölgeleri içine almaktaydı.

Erzurum Sancağı da 10 nahiyeden müteşekkildi. Bunlar, Erzurum Merkezi, Karaz, Geçik, Tekman, Karaş'kali, Aşkale, Serçeme, Cinis, Çermeli ve Ovacık nahiyeleriydi.

Kanuni Sultan Süleyman'ın ikinci İran seferinde (1548);beylerbeyliğinin sınırları daha da büyütüldü ve kuzeydeki Gürcü kalıntıları ortadan kaldırıldı.1552 yılında şehir İranlılar tarafından ele geçirilmek istendi, Erzurum Beylerbeyi İskender Paşa komutasındaki beylerbeyi ordusunun yenilmesine rağmen, Erzurum kalesi İranlılara teslim edilmedi. Artan İran baskıları karşısında Kanuni Sultan Süleyman 1553 yılında İran üzerine yeni bir sefer düzenledi, sefer dönüşü (1554); Erzurum'a gelerek şehrin yıkılan kalesini tamir ettirdi.

1853 - 1856 Kırım savaşı sırasında şehrin etrafındaki tabyalar, Ruslardan gelebilecek tehlikelere karşı tahkim edildi ve yeni tabyalar yapıldı. 1855 yılında Kars'ın Ruslar tarafından işgali, Erzurum'un Rus tehlikesine karşı daha iyi tahkim edilmesi gereğini bir kez daha ortaya koydu. Bu gayeyle, 1865'den 1877'ye kadar geçen 12 yılda, Erzurum halkının da yardımlarıyla Aziziye Tabyalaları, şehir etrafındaki istihkâmlar ve diğer kışla ve tabyalar inşa edildi.

Osmanlı Devletinin Balkanlarda çıkan karışıklıklarla uğraştığı bir sırada, Ruslar 1877 yılında Balkanlar ve Doğu Anadolu üzerinden bir kez daha Osmanlı topraklarına tecavüz etti. Gazi Ahmed Muhtar Paşa komutasındaki Osmanlı ordusu, Rus ordusunun birbiri ardına Halyaz ve Zivin meydan savaşlarında yenilgiye uğrattı. Ancak, bu savaşlarda Türk ordusu da büyük kayıplar verdiğinden Erzurum tabyalarına çekilmek zorunda kaldı.

Ruslar Gürcü Boğazını ele geçirerek, Erzurum'u kuzeyinden baskı altına almaya muvaffak oldular. Rusların batı cephesinde Yeşilköy önlerine kadar ilerlemeleri, Osmanlı Devletini Doğu cephesinde taviz vermek zorunda bıraktı. Yapılan bir antlaşmayla, Osmanlı ordusu Bayburt ve Erzincan'a çekildi. Erzurum ise, kışlamak üzere Rus ordusuna terk edildi. Böylece, Erzurum bir kez daha Ruslar tarafından işgal edildi.

3 Mart 1878'de imzalanan Ayestefanos Antlaşmasıyla Ruslar Erzurum'u terk ettiler. Daha sonra Berlin Antlaşması (13 Temmuz 1878 ) ile Erzurum'un kuzey doğusunda bulunan Artvin, Batum, Otu, Şenkaya, Olur Ardahan, Kars ve Sarıkamış savaş tazminatı olarak Ruslara bırakıldı. Böylece, Rus sınırı Erzurum'un 105 km. doğusuna kadar yaklaşmıştı. Bu durum, şüphesiz Erzurum için büyük bir tehdit oluşturmaktaydı.