Музей расположен в памятнике архитектуры XVIII века. Здание было построено в 1786 году по типовому проекту жилого дома. Непросто складывалась судьба этого здания: оно неоднократно горело, несколько раз его перестраивали, подправляли, реконструировали. Оно никогда не использовалось по назначению. Первоначально здесь размещалась Банковая контора, далее — Променная контора, Коммерческий банк, затем городская таможня.
В 1964 году здание передается Музею изобразительных искусств (с 1994 года — Государственное музейное объединение «Художественная культура Русского Севера»).
В течение нескольких лет здесь размещалась экспозиция древнерусского искусства, затем фонды музея.
С начала 80-х годов Особняк находился на реставрации. 9 сентября 1998 года после завершения реставрационных работ музей открыл в обновленных залах экспозицию «Портрет в старинном интерьере», которая дает возможность проследить смену художественных стилей в развитии интерьера конца XVIII — начала XX вв.
Пять залов особняка — портретная и мужской кабинет, голубая гостиная, будуар и столовая перемещают нас в давно ушедшее время. Мебель, картины, зеркала, фарфор, наполняют дом духом прежних эпох и возвращают нас к некогда неторопливой осознанной городской жизни.
