История Дворянского собрания началась в XIX веке, когда император Николай I распорядился возвести в городе Дворянский дом. Именно здесь проходили все самые главные события дворянского бомонда. В 1848 году здесь открылась Карамзинская общественная библиотека, в которой до сих пор можно увидеть подлинные вещи и документы той эпохи.