Солидный, в три этажа, каменный дом у Пужаловой горы выстроил в конце XVII века один из богатейших купцов России Семен Ершов. Здание выделяется среди деревянных построек Гороховца: основательный, с подклетом для хранения утвари и богатыми наличниками и декоративным фризом на втором этаже, оно похоже не на купеческий дом, а на дворец. Внутрь ведет высокое резное крыльцо. Говорят, что Ершов устроил в жилище тайники с золотом и даже на всякий случай прорыл ход, по которому можно было выйти далеко за границу Гороховца. Сохранились и примечательные ворота — единственный памятник деревянного строительства XVII века в этом регионе. Сегодня здание занимает Музей купечества. Выставка поделена на две части: одна повторяет обстановку богатого дома XVII века, вторая — интерьеры образца XIX столетия. Здесь можно увидеть подлинные предметы быта, принадлежавшие купеческим семьям: одежду, посуду, украшения и мебель.
