Здание Липецкого областного художественного музея располагается на главной улице исторического центра города, бывшей дворянской его части, являющейся и в настоящее время одним из престижнейших мест современного Липецка. «Дом Губина», ставший «домом» для галереи, является одним из красивейших в городе памятников истории архитектуры начала XIX столетия федерального значения. Годы строительства предположительно — 1833–1837. Данное здание, выстроенное в стиле классицизм, являлось частью городской усадьбы и стоит на фундаменте дома, принадлежавшего липецкой ветви Пушкиных со стороны матери. Считается, что именно в этом доме в 1837 году останавливался будущий император Александр II и его воспитатель, поэт В. А. Жуковский, сопровождавший наследника престола в путешествии по России.
Данному факту есть подтверждения в «Отчете о деятельности Петровского общества» и в «Воспоминаниях» известного археографа, пушкиноведа П. И. Бартнева.
Частная собственность Губиных (последних владельцев дома) на принадлежащее им имущество официально отменена 20 августа 1918 года. После революции в этом одном из лучших домов города находился Липецкий Совет рабочих и солдатских депутатов, а в 1923–1925 годах — Липецкий уездный исполнительный комитет.
Так, бывший дворянский особняк стал памятником советской истории.