Дворец «Олимпия» (Литейный пр., д. 14) расположен в особняке княгини Варвары Долгорукой. Это здание, построенное в 40-х годах девятнадцатого века в стиле позднего классицизма по проекту архитектора А. Низовцева, несомненно, является одной из самых красивых жемчужин в роскошном ожерелье петербургских дворцов.

Двухэтажный особняк с высоким цокольным этажом, со строгими четко прорисованными линиями и балконом и по сегодняшний день является памятником архитектуры, который по красоте и выразительности образа может поспорить со многими петербургскими достопримечательностями. В конце сороковых годов XIX века князь Борис Дмитриевич Голицын (внук княгини Натальи Петровны Голицыной, прототипа старой графини из «Пиковой Дамы» А.С. Пушкина) купил особняк у семьи Долгоруких.

Хозяева особняка всегда были озабочены внешним и внутренним убранством здания. По проекту архитектора А.А. Бравура была построена роскошная парадная лестница. Интерьеры особняка отличались изысканностью и тонким вкусом. Роспись, лепка, дубовые потолки, узорчатые наборные паркеты, плафоны — вся эта уникальная внутренняя отделка сохранялась в особняке более 100 лет. В начале XX века здесь бывал едва ли не весь сановный Петербург. На официальных приемах статского советника Любимова присутствовал даже Российский император Николай II. В прекрасных интерьерах дворца устраивались литературные вечера, которые часто посещал знаменитый русский писатель Александр Иванович Куприн.

К сожалению, почти все это было утрачено после революции в процессе переделки особняка под коммунальные квартиры. В 1992 году, по инициативе и при финансовой поддержке АОЗТ «Тройка-Штальман», начались восстановительные работы. И уже через три года, благодаря мастерству и опыту петербургских реставраторов, архитекторов и строителей, особняк княгини Долгорукой возродился во всем своем великолепии.