Обитель в месте, где Истерьма впадает в Протву, появилась в 1444 году. Основал ее преподобный Пафнутий Боровский, а после него игуменом стал Иосиф Волоцкий. Первый храм монастыря расписывал Дионисий, а его башни строил Федор Конь, создатель Смоленского кремля. На богомолье сюда приезжали Иван Грозный, царь Алексей Михайлович, князь Иван III. Укрепленная словно крепость, обитель была и местом заточения для протопопа Аввакума и боярыни Морозовой.
