Aliçeyrek Köyü Kaya Kilisesi: Erzurum - Ağrı karayolunun 96. kilometresinde, Aliçeyrek Köyü sınırları içerisinde yer almaktadır.
1992 yılında yapılan ilk kazı ve araştırmalarda, Urartu kaya mezarı oldukları ve daha sonra Bizans döneminde kiliseye dönüştürüldüğü tespit edilmiştir.