Реставрация 2003 года вернула парадным залам особняка облик, который они имели в 1880-х годах.
Появление первого каменного строения на этом участке относится к 40-м годам XVIII века. В этот период участком владели князья Голицыны — представители одного из самых знатных и самых разветвлённых российских княжеских родов.
В 1770-х годах особняк был перестроен по проекту архитектора Ж. -Б. Вален Деламота. В период этой перестройки дом со стороны Английской набережной получил внешние архитектурные пропорции, которые сохранил до сегодняшнего дня: трёхэтажный особняк на одиннадцать осей. Вскоре после перестройки А. М. Голицын дом продал, поскольку окончательно перебрался в Москву.
В 1802 году дом на Английской набережной приобретает граф Николай Петрович Румянцев (1754—1826). Н. П. Румянцев принадлежал к древнему российскому дворянскому роду. Его дед, Александр Иванович Румянцев (1680—1749), принимал активное участие в политической жизни России первых десятилетий XVIII века. Затем фамилия Румянцевых была прославлена победами полководца Петра Александровича Румянцева-Задунайского (1725—1796).
В 1826 году Н. П. Румянцев скончался, оставив устное поручение младшему брату, Сергею Петровичу, предоставить дом на Английской набережной со всеми находящимися в нём коллекциями под музей.
28 мая 1831 года музей был открыт, о чём возвестили газеты. Бесспорно, это стало важнейшим событием в научной и культурной жизни Петербурга.
В 1861 году, после заключения комиссии специалистов и архитекторов о крайне неудовлетворительном состоянии «домов Музеума», Румянцевский музей был переведён в Москву, в Пашков дом. Многие экспонаты музея дополнили коллекцию Российской национальной библиотеки. Далее особняк Румянцева менял своих владельцев.
В 1938 году особняк Румянцева был передан Музею истории и развития Ленинграда. Для него здание было в значительной степени реконструировано. Музей в этом особняке был открыт только после Великой Отечественной войны в 1955 году. В 1953 году он стал называться Государственным музеем истории Ленинграда. Отделение этого музея работает здесь и сейчас.