Первая экспозиция открылась в 1916 году. Она состояла из художественных и археологических коллекций ученых, которые жили во Ржеве. С 1917 года музей регулярно пополнялся экспонатами: здесь были художественное, археологическое, этнографическое и церковное отделение. Также выставлялись останки ископаемых животных. В годы Великой Отечественной войны здание музея было разрушено, а экспонаты утрачены. Коллекцию восстановили в 1960-х годах, она была посвящена военной истории Ржева. В 1998 году музей переехал в два корпуса на Красноармейской набережной, где он находится и сейчас. В первом здании представлены экспонаты XVII‒XX веков, а во втором — диорама «Ржевская битва 1942‒1943 годов».