Музей расположен в южном флигеле Шереметевского дворца.
Здесь, в квартире известного искусствоведа, теоретика авангарда Николая Пунина Анна Ахматова прожила почти 30 лет, с середины 1920-х до начала 1950-х годов.
Музей открылся в 1989 году к столетию со дня рождения поэта, и был первым музеем в нашем городе, который рассказывал о советском периоде русской истории, когда представители интеллигенции – поэты, художники, люди эпохи Серебряного века, жизнь которых пришлась именно на годы репрессий в социалистическом Ленинграде – должны были сохранить свой мир, свою личность в условиях тоталитарного государства. Анна Ахматова принадлежала к поколению рубежа двух столетий, и исторические судьбы XX века, отразившиеся в ее судьбе, последовательно раскрываются в многообразии экспонатов музея. В 2003 году Музей Анны Ахматовой в Фонтанном доме открылся в новом облике.
Новое экспозиционное решение четко делится на мемориальную часть, возвращая квартире Пуниных – Ахматовой архитектурный облик 1920-1930 годов XX века, и литературно-историческую, размещающуюся по соседству с пространством квартиры. В то же время литературно-историческая экспозиция видится как законченная и самостоятельная часть музея прежде всего потому, что она подчиняется принципиально иной экспозиционной логике изложения – sub specie aeternitis (под углом зрения вечности), или ахматовское: «я помню все в одно и то же время…»