Дом на набережной Фонтанки, 21 был построен для семьи графов Воронцовых. В 1799 году он перешел дворянскому роду Нарышкиных, при которых здание значительно расширилось. Когда в 1846 году Софья Нарышкина вышла замуж за будущего предводителя петербуржского дворянства Петра Шувалова, в истории дворца на Фонтанке появился третий владелец, который кардинально расширил западную часть здания – как раз ту, которую в наши дни решено приспособить для современного использования под музейно-выставочный комплекс.

Дворец на Фонтанке еще не раз подвергался перепланировке и менял хозяев. После национализации в 1918 году здесь располагались Музей дворянского быта, конструкторские бюро, Дом печати и Дом дружбы народов.

В 2006 году правительство Санкт-Петербурга передало дворец, который был признан объектом культурного наследия федерального значения, в аренду культурно-историческому фонду предпринимателя Виктора Вексельберга «Связь времен» для создания здесь музея частных коллекций. В 2013 году после масштабной реставрации дворца Нарышкиных-Шуваловых музей открылся. В составе постоянной экспозиции

были представлены ювелирные работы мастерской Карла Фаберже, в частности – пасхальные яйца, принадлежавшие российской императорской семье. После революции они были вывезены за границу, но в начале 2000-х годов Виктор Вексельберг выкупил их и вернул на родину.

Реализация рассмотренного Санкт-Петербургским филиалом Главгосэкспертизы России проекта позволит расширить помещения музея. Проектом предусматривается комплексный ремонт, реставрация и приспособление для современного использования под музейно-выставочный комплекс западной части дворца Нарышкиных-Шуваловых, восстановление исторических габаритов его парадного двора и фасада поперечного флигеля, разрушенного авиабомбой в 1942 году. Аварийные конструкции и стены поперечного и заднего флигелей будут демонтированы с последующим восстановлением их исторической конфигурации. Утраченный лицевой фасад поперечного флигеля дворца восстановят на основании иконографических материалов.

В результате работ, которые продлятся 24 месяца, общая площадь западной части дворца увеличится с 686,5 до 2318,7 кв. м. Строительство будет вестись за счет средств культурно-исторического фонда «Связь времен».