Музей открылся в 2002 г. к 200-летию со дня рождения Нахимова. Экспозиция посвящена смолянам-морякам, кораблестроителям, адмиралам и рядовым матросам, подводникам и летчикам морской авиации. Важная часть экспозиции посвящена жизни и подвигу славного смолянина адмирала П.С.Нахимова. В музее около 100 макетов исторических судов, от ладьи и парусных кораблей до современных российских надводных и подводных судов.
Музей располагается в центре города в одном из строений архитектурно-исторического здания, где до революции была гостиница “Гранд-отель”, а в 1920 году размещался штаб Западного фронта (командующий М.Н.Тухачевский, уроженец Смоленской губернии). Это помещение было выделено под музей имени адмирала Нахимова сессией городского совета, благодаря инициативе ветеранов ВМФ В.А.Позднякова, Н.Г.Андреева, И.Н.Беляева, Ю.А.Жукова. На сегодняшний день работает 6 залов музея. Общая площадь помещения музея- 420 кв.м.
