Флигель и двухэтажный дом — городская усадьба В.Э. Борисова-Мусатова в середине 20-х годов были внесены в список памятников истории и культуры Саратовской губернии краеведами, сотрудниками музея имени А.Н. Радищева, инспекторами по охране памятников А. В. и В.В. Леонтьевыми. Именно им мы обязаны фотографиями Мусатовского флигеля начиная с 20-х и до начала 50-х годов. Но в 30-е годы имя художника официально было предано забвению, а его творчество названо «буржуазным и декадентским». Долгие годы о создания музея не могло быть и речи. В бывшей усадьбе В.Э. Борисова-Мусатова расположились обычные коммунальные квартиры. Чудом уцелел маленький деревянный флигель.

В 30-е годы началось строительство крупного промышленного предприятия — мебельной фабрики, стены которой вплотную подступили к флигелю, уничтожив квартал старой застройки и Мусатовский сад. Во времена «оттепели» имя Мусатова возвращается, и интерес к личности и творчеству художника растет. В 1970 году художнику исполнилось 100 лет со дня рождения. В 1973 г. в Москве и в Саратов проходят крупные выставки его работ. Улица Белоглинская в Саратове была переименована в улицу имени В.Э. Борисова-Мусатова. Но о создании музея речи никто не ведет. В 1979 году в Приволжском книжном издательстве вышла книга Константина Шилова «Мои краски, напевы…», рассказывающая о жизни и творчестве художника. В немалой степени благодаря активной деятельности писателя флигель, пришедший к тому времени в полную ветхость, был спасен от сноса.