Музей открыт в 1916 году в здании бывшей городской думы, в 1917 году получил статус историко-археологического. Основу фондов музея составили этнографо-археологические и художественные коллекции московского ученого-археолога М. С. Воробьёва (книги, прялки, зеркала, инструменты для изготовления печатных пряников) и археологические материалы, собранные в окрестностях города ржевским краеведом — первым директором музея — П. Ф. Симсоном.
В годы Великой Отечественной войны музей был полностью разграблен, здание разрушено. В 1960-е годы в здании Оковецкой церкви была открыта краеведческая экспозиция. В 1977 году Ржевский музей стал филиалом Калининского государственного объединённого историко-архитектурного и литературного музея. Первая экспозиция филиала была посвящена военной истории Ржевского края. С 1998 года музей стал располагаться в двух зданиях. В первом располагались предметы быта XVII–XX веков, а во втором — предметы, касающиеся истории Ржева в Великую Отечественную войну. В этом здании в 2005 году, к 60-летию Победы, была открыта диорама (тематическая экспозиция) «Ржевская битва 1942–1943 годов», которая отражает новый взгляд на военные действия в районе Ржевско-Вяземского плацдарма. К 90-летию музея в купеческом доме Немиловых XVIII века открыта краеведческая экспозиция по древней истории города.
