Изначально на левом берегу реки Великой располагалась православная часовня, возведенная в начале XIX века. В 60-х годах прошлого столетия здание разрушили, а в 1991 году на его месте возвели памятный крест. Современная часовня, стилизованная под архитектуру Древней Руси, построена в 2000 году неподалеку от места, где находился храм-предшественник. Ольгинская часовня возведена на смотровой площадке, с которой открывается вид на реку, Кремль и еще одну местную достопримечательность — надпись «Россия начинается здесь».
