Солидный, в три этажа, каменный дом у Пужаловой горы выстроил в конце XVII века один из богатейших купцов России Семен Ершов. Здание выделяется среди деревянных построек Гороховца: основательный, с подклетом для хранения утвари и богатыми наличниками и декоративным фризом на втором этаже, оно похоже не на купеческий дом, а на дворец. Внутрь ведет высокое резное крыльцо. Говорят, что Ершов устроил в жилище тайники с золотом и даже на всякий случай прорыл ход, по которому можно было выйти далеко за границу Гороховца. Сохранились и примечательные ворота — единственный памятник деревянного строительства XVII века в этом регионе.Сегодня здесь располагается экспозиция, посвященная городскому быту XVII—XVIII столетий.
