Основу существующего в настоящее время здания составляет сравнительно небольшая постройка конца XVIII века. В XIX века особняк принадлежал купцам Арбузовым. Основатель этой купеческой династии в начале XIX века оплатил постройку в Торжке самотечного водопровода.
В настоящее время в здании и на территории усадьбы размещается Этнографический центр ВИЭМ.
В здании центра размещаются экспозиции: «Русь живая и легендарная», отражающая все стороны жизни, традиционной культуры и быта русского народа; «Не пьянства ради...», рассказывающая об истории появления хмельных напитков на Руси, о связанных с ними обычаях и обряда; отдельный раздел посвящен борьбе с пьянством. Здесь же находится художественная мастерская «Исток», основная задача которой — сохранение и популяризация традиций традиционного русского ткачества и новоторжского золотного шитья; проводятся мастер-классы по ткачеству на настоящем ткацком стане, плетению на берде, золотному шитью.
