Дворец культуры железнодорожников одно из старейших архитектурных сооружений в городе Воронеж. Оно было построено в 1903–1905 годах по проекту архитектора Андросова как Дом общественного собрания, в котором проводили заседания городские чиновники, купечество, торговцы и промышленники.

В доме были предусмотрены театральный и карточный залы, буфет, бильярд и библиотека. Улица, на которой расположен современный Дворец культуры, раньше называлась «Кирочной». Здесь в 1878 году открылся небольшой городской сад «Эрмитаж», который был частью обширного усадебного имения семьи Корсун. Воронежский купец Николай Васильев арендовал сад и построил здесь летний театр и павильоны для бальной и военной музыки. После революции, в октябре 1918 года, здание было передано воронежской организации РКП(б) под клуб коммунистов и находилось в аварийном состоянии.

Губернский отдел народного образования выделил 500 рублей на капитальный ремонт помещения, и после реконструкции одному из первых рабочих клубов Воронежа было присвоено имя Карла Маркса.