Деревянный особняк был построен в 1822‒1823 годах для семьи Панютиных — старинного дворянского рода. Нынешнее название дом получил от Якова Твердова, который был последним хозяином имения. Архитектура дома сохранила дух старины: деревянный фасад в стиле ампир дополнен колоннами, выполненными из корабельной сосны. После революции здесь располагались коммунальные квартиры. Сегодня это жилой дом и объект исторического и культурного наследия федерального значения.
