Abdurrahman Gazi ismi Erzurum'da büyük izler bırakmıştır.

Şehitlik ve gazilik mertebesine erişmiş bir insan olduğu için onun manevi şahsiyeti Erzurumluların daima gönlünde yaşamış, yüce insandır.

Palandöken Dağı'nın üst yamaçlarında türbesi bulunan ve bir ziyaretgâh yeri olan Abdurrahman Gazi'nin Hazreti Peygamber'in sancaktarı olduğu halk arasında yaygındır.

Hazreti Peygamber'in İslam Orduları Erzurum'u fethederken, Sancaktarı Abdurrahman Gazi'nin kellesi bir düşman kılıcı ile koparılır ve yere düşer. Kellesini koltuğuna alan Abdurrahman Gazi elinde bulunan İslam'ın Sancağı'nı Palandöken'in en yüce noktasına dikmek üzere dağ yokuşunda koşmaya başlar.

Kellesi koltğunda, sancağı elinde olan Abdurrahman Gazi Palandöken Dağı'ndaki "Şığvaler" Mevkii'ne gelince dağda bulunan çobanlar evvela dona kalırlar, sonra biri dayanamayıp:

-"Olaaa hele bakın şuraya, eskerin kellesi koltuğunda dağa doğru koşuyor"

diye bağırmağa başlar. Abdurrahman Gazi Efendimizin Sancaktarı ve Ashaptan evliyaullah bir zat kem göz onu orada nazara getirir ve olduğu yere düşer kalır. Hem gazilik hem de Şehitlik rütbesine ermiştir.

Palandöken'in Şığvaler tepesi denilen Sultan Sekisi yamaçlarında ruhunu teslim ederken Ona kavuşmaya çalışan kardeşi de Türbe Deresi'nde aynı anda şahadete erişir. Her iki kardeş Erzurum halkı tarafından ruhlarını teslim ettikleri yerde defnedilir. Ve o tarihten sonra da Abdurrahman Gazi'nin Kabri Erzurum için büyük bir ziyaret merkezi olur.

Zamanın Valisi Yusuf Ziya Paşa buraya birde Camii yaptırmıştır. Erzurum'a gelip de Abdurrahman Gazi'yi ziyaret etmeyenler bir daha Erzurum'a gelecekleri rivayet edilir. Allah makamını cennet eylesin.