Музей расположен в деревянном одноэтажном здании с четырьмя мезонинами. Дом был построен в конце XVIII в. и принадлежал помещикам Львовым. Ранее находился в деревне Слепнёво Бежецкого уезда. Одной из владелиц дома была А.И. Гумилёва, мать поэта Н.С. Гумилёва, который, начиная с 1908 г., неоднократно приезжал в Слепнёво, а с 1911 по 1917 гг. привозил сюда свою жену, поэта А.А. Ахматову. В этом доме прошло детство их сына — известного историка Л.Н. Гумилёва.
Судьба этого дома также связана с пребыванием здесь художника Д.Д. Бушена, поэтессы и художницы Е.Ю. Кузьминой-Караваевой.
После революции 1917 г. семья Гумилёвых покинула этот дои и переехала в Бежецк. Опустевший слепнёвский дом использовали для разных хозяйственных нужд, а деревня Слепнёво постепенно исчезала. В 1935 году дом перевезли в село Градницы, и в нём была открыта школа. В 1987 г. школа была переведена в новое здание. Мемориальный дом освободился. В 1989 г., к 100-летию А.А. Ахматовой, здесь была открыта экспозиция в 4-х залах мезонина.
Осенью 2008 г. «Дом поэтов» стал филиалом Тверского государственного объединенного музея как музейно-литературный центр. В 2009 г., к 120-летию со дня рождения А.А. Ахматовой, была создана новая экспозиция
