Одновременно с формированием полка 6 ноября 1863 года была основана походная церковь. Сначала церковь находилась в каменном здании Борисоглебской церкви в Могилёве. Антиминс для неё, в честь Святого Георгия Победоносца, был освящён Архиепископом и Экзархом Грузии Евсевием 15 декабря 1863 г. С 24 сентября 1895 г. по октябрь 1903 г. церковь размещалась в здании кладбищенской Преображенской церкви в Гомеле, снесённой в начале XX в. Вследствие малой вместимости была переведена в казармы в центре Гомеля, где и находилась до 1905 г. С 1 января 1906 г. до вывода полка из Гомеля в 1914 г. церковь размещалась в новом каменном здании Георгиевской церкви.