Во дворце проводятся деловые встречи и концерты, экскурсии и праздничные мероприятия для детей и взрослых.
Строился в 1853—1861 годах известным мастером эклектики А. И. Штакеншнейдером и его помощниками Августом Ланге и Карлом Циглером. При дворце имелись манеж и церковь, освящённая во имя иконы «Всех скорбящих Радость», с подклетом наподобие пещеры Гроба Господня.
После смерти владельца в 1894 году приобретён казной для размещения женского института Ксении Александровны.
После революции перешёл в распоряжение профсоюзов, которые переименовали его во «Дворец Труда». Помещения, некоторые из которых сохранили первоначальную отделку, ныне сдаются в аренду коммерческим структурам.