Скорбященская церковь при городской тюрьме устроена в северо-восточной комнате тюремного здания усердием директора тюрьмы и городского головы Ивана Игнатьевича Маркова.
Престол освящён священником жиздринской Казанской церкви Павлом Архангельским во имя иконыБожией Матери «Всех Скорбящих Радость» с возложением антиминса, который был передан преосвященным Владимиром 31 декабря 1887 г. по указу духовной консистории от 15 декабря 1887 г. за № 8463.
К церкви присоединена Жиздринская одноклассная церковноприходская школа, школа грамоты и Жиздринская земская больница. Заведующим и законоучителем упомянутых заведений в 1895 г. состоял священник тюремной церкви Иоанн Глаголев, учителем псаломщик Василий Румянцев.
По словам Валентина Анцышкина, тюремное здание находилось на нынешней безымянной улочке, отходящей от улицы Кустарёва в сторону реки. В довоенное время здание тюрьмы, как и расположенное неподалеку здание прогимназии, входило в комплекс педучилища.
В одно из его помещений, скорее всего, была переоборудована и церковь. Сейчас на месте тюрьмы различимо небольшое возвышение. Сквозь многолетние наслоения местами до сих пор проступают обломки кирпича.
И ещё одно любопытное воспоминание Валентина Анцышкина.
«В детские годы я дружил с Валентином Грудзинским, родители которого работали в педучилище. По словам его отца А.В. Грудзинского, при переоборудовании тюремного здания, когда удаляли решётки и расширяли окна, внутри толстых стен были обнаружены пустоты. В них были подвешены большие металлические листы, а в стенах с наружной стороны были сделаны специальные отверстия.
Всё это устройство даже при небольшом ветре издавало гул, что очень мучительно действовало на психику узников. Говорят, что в одиночных камерах заключённые порой сходили с ума».