Монастырь основан преподобным Пафнутием Боровским в 1444 году на возвышенности при впадении реки Истерьмы в Протву. После смерти Пафнутия игуменом монастыря стал его ученик, преподобный Иосиф Волоцкий, который вскоре, из-за нежелания братии принять общежительный устав, ушёл в Волоколамское княжество и основал новую обитель — Иосифо-Волоколамский монастырь.
На месте первой, деревянной, Рождественской церкви в 1467 году был построен белокаменный Рождественский собор (не сохранился). Роспись первого собора является самой ранней известной работой иконописца Дионисия: по свидетельству жития преподобного Пафнутия, Дионисий выполнил роспись под началом старца Симонова монастыря — иконника Митрофана.
Через 117 лет, в 1586 году собор был почти полностью разобран, и на его месте по воле царя Фёдора Иоанновича поставлен новый, пятиглавый; в кладке его фундамента использовались блоки с росписью XV века. Так фрагменты росписи Митрофана и Дионисия сохранились до нашего времени (они находятся в Музее древнерусской культуры и искусства имени Андрея Рублева в Москве и Боровском филиале Калужского областного краеведческого музея).
В XVI века монастырь был окружён каменными стенами и укреплениями; обитель превратилась в сильную пограничную крепость. В это время была построена и каменная трапезная с храмом во имя Рождества Христова. В 1523 году была построена звонница, которая в 1688 году заменена колокольней: по желанию её заказчика, князя Константина Щербатова, она повторяет формы колокольни Высоко-Петровского монастыря в Москве.
Стены и башни Пафнутьево-Боровского монастыря построены в XVI—XVII веках. Есть версия, что строительством Поваренной, Оружейной и Георгиевской башен монастыря руководил архитектор Феодор Конь, автор сооружений Белого города в Москве, Смоленского кремля и Симонова монастыря. Однако современные исследователи считают, что ограда монастыря, включая наиболее древнюю сохранившуюся круглую башню была построена сразу после завершения строительства собора и колокольни (то есть после 1523 года) и тем же зодчим[1]. Остальные дошедшие до нас башни и прясла стен были построены, когда разрушенный монастырь восстанавливал после Смутного времени мастер Трефил Шарутин: Тайницкая, Георгиевская и Оружейная в 1635 году, а самые поздние башни — Сторожевая и Входная — в или после 1636 года[1]. Общий план крепости, рассчитанный на оборону напольной «приступной» стены, характерен для XIV—XV веков. Башни, часто поставленные вдоль напольной стороны крепости, были рассчитаны на активное сопротивление. К концу XVI века такой тип крепости уже устарел. Распространение получили крепости более регулярного типа, рассчитанные на всестороннюю оборону[1].
В 1610 году монастырь оборонял от поляков князь Михаил Волконский, но был взят и сожжён. По окончании Смуты представители Свято-Пафнутиева монастыря участвовали в Земском соборе 1613 года, грамоту которого об избрании на царство Михаила Романова подписал и пафнутиевский архимандрит Иона.
В конце 1640-х годов Пафнутиево-Боровский монастырь возглавлял игумен Павел, который в 1652 году был одним из кандидатов на патриарший престол. Вновь избранным патриархом Никоном был поставлен во епископа Коломенского и Каширского. В годы реформ патриарха Никона епископ Павел, а также некоторые руководители монастыря и боровский протопоп Полиект выступили против церковных реформ и приняли сторону ревнителей древнего благочестия. Боровские противники реформ иеромонах Полиект Боровский и епископ Павел Коломенский были казнены.
В начале 1660-х годов в Пафнутиево-Боровском монастыре некоторое время находился в заточении руководитель староверов протопоп Аввакум, а в 1670-х в стенах монастыря, а позже и Боровского городского острога содержались под стражей и были уморены голодом боярыня Морозова (в иночестве Феодора) и её сестра княгиня Урусова.
После никоновской реформы Боровский Пафнутиев монастырь стал приходить в упадок. При Екатерине II в Пафнутиевом монастыре было оставлено 33 монаха ипослушника, а почти все монастырские имения отобраны. В 1812 году монастырь был сожжён французами, но вскоре восстановлен.
В 1923 году все имущество обители отошло Главмузею, но вскоре в нём разместили исправительную колонию, потом — сельскохозяйственный техникум.
При реставрационных работах 1960-х годов были извлечены 194 белокаменных блока. Из них на 29 сохранились фрагменты сюжетной и декоративной живописи начала XVI века. Перед возвращением монастыряРусской православной церкви комплекс принадлежал Боровскому краеведческому музею.
Монастырь был передан Православной церкви и вновь открыт в марте 1991 года. В Рождественском соборе хранятся мощи основателя обители — преподобного Пафнутия Боровского.
В марте 1991 года монастырю была возвращена церковь пророка Илии, здесь поначалу проводились все монастырские службы. Из близлежащей приходской церкви села Роща было перенесено монастырскоераспятие. В церковь была перенесена часть мощей преподобного Пафнутия, — она сохранялась во Псково-Печерском монастыре и была перевезена оттуда архиепископом Калужским и Боровским Климентом. В 1994 году по случаю совпадения двух юбилейных дат — 550-летия обители и 600-летия рождения Пафнутия — монастырь посетил патриарх Московский и всея Руси Алексий II. Он совершил торжественное богослужение, крестный ход. В 1995 году начались постоянные богослужения в соборе Рождества Богородицы, там был построен иконостас, устроен придел в честь преподобного Пафнутия, 14 сентября 1996 года на колокольню подняты колокола. В 1997 году был открыт храм святой великомученицы Ирины