По преданию, именно в этом месте произошло первое явление иконы Божией Матери «Одигитрия», впоследствии названной Тихвинской. Православная церковь в стиле барокко возведена в XVIII веке. Ранее здесь размещался деревянный храм, здание которого разобрали в 1771 году. Второе название — Полковая — церковь получила из-за того, что некоторое время она принадлежала драгунскому полку, дислоцировавшемуся в городе. В 1939 году церковь была закрыта для прихожан. Сегодня в ее стенах размещается концертный зал при музее Н.А. Римского-Корсакова.