Изначально на этом месте находился деревянный дом царевны Прасковьи Ивановны, племянницы Петра I. В 1726 году имение перешло к Семёновскому полку, а позже было выкуплено генералом П. И. Шуваловым.
Современное здание начали строить в 1770-х годах по проекту архитектора Жана-Батиста Валлен-Деламота для графа Андрея Шувалова. От той постройки сохранились триумфальные ворота-арка со стороны улицы Декабристов и ограда с колоннадой.
