Усадьба Строгановых была построена в 1824—1829 годах и предназначалась для размещения конторы Строгановых, известных в России землевладельцев и промышленников. 

Служащие конторы в конце недели любили собираться  в одноэтажном корпусе, окнами и дверью, выходящими на реку, чтобы выпить рюмку-другую за хозяина и обсудить городские новости. Изначально питейное заведение работало только для своих. Пили самогон и настойки, принесенные из дома. Закусывали солеными огурцами и пирожками с рыбой. Особенно хвалили настойки, которые делал конторский служащий приказчик Иван. Слухи о секретной Рюмочной расползлись по городу быстро и в 1895 году в честь начала работы Нижегородской Ярмарки ее открыли для всех желающих.

После революции в Рюмочной размещались сараи для жителей соседних домов.