Первая деревянная церковь в честь Благовещения Пресвятой Богородицы была построена в 1658 году. Каменная Благовещенская церковь построена в 1873 году. Приход состоял из 53 селений. Деревянная кладбищенская церковь освящена в честь святого мученика Мамонта в 1834 году.
Главным занятием населения являлись земледелие, скотоводство, торговля. Мужчинам уходили в Сибирь на охоту, в другие губернии на отхожие промыслы. Село славилось ярмарками, которые проводились по престольным праздникам и воскресеньям. Крестьяне привозили на базар предметы своего производства, на вырученные деньги покупали в казённом магазине и у купцов, которые приезжали сюда из окрестных сел и городов, необходимые товары. Ярмарки продолжались и после революции, но с меньшим размахом.
В XVIII веке село входило в состав Ильинской волости Хлыновского уезда. В 1763 году в селе имелось 29 душ.
В селе имелись две школы — земская двухклассная (открыта в 1843 году, с 1910 года — земское двухклассное училище) и церковно-приходскаяодноклассная смешанная (учреждена 21 ноября 1891 года).
В 1892 году на волостном сходе было решено открыть в селе общедоступную бесплатную библиотеку, которая существовала на средства, выделяемые ежегодно волостным сходом и губернским земством, а также на добровольные пожертвования деньгами и книгами. В первый год в библиотеке было 49 читателей и более тысячи книг.
В 1893 году в Ржаном Поломе открыт врачебный участок, в 1902 году — больница и ветеринарная амбулатория.
В 1904 году было организовано отделение центрального склада сельскохозяйственных машин и орудий.
В 1905 году в селе был создан детский приют.
Согласно переписи населения 1926 года село — центр Поломского сельсовета, с населением 170 человек (50 хозяйств). В годы Великой Отечественной войны кирпич разобранной Троицкой церкви села Филиппово использовался для строительства резервного аэродрома у села Полом.
Кладбищенская церковь была разобрана на дрова в 1935 году. Благовещенская церковь была взорвана в 1941 году.
В 1969 году построен первый благоустроенный 16-квартирный дом с водяным отоплением, канализацией, газом, ванной. В 1970 году появился Дом культуры.
В 1980-х годах в Поломе находился центр совхоза «Поломский» (ныне СПК «Ржаной Полом»).
В конце 2005 года по благословению митрополита Хрисанфа принято решение о восстановлении Благовещенской церкви села Полом.