В доме Оливье на Пантелеймоновской улице Александр Сергеевич Пушкин с женой и детьми поселился в сентябре 1833 года вскоре после возвращения из поездки в Казанскую и Оренбургскую губернии, по местам восстания Пугачева. Именно в этом доме Пушкин окончил «Сказку о рыбаке и рыбке», «Медного всадника», «Историю Пугачева» и «Сказку о мертвой царевне», и именно в доме Оливье Пушкин начал вести дневник. В этом доме его застало известие о присвоении придворного звания камер-юнкера, глубоко оскорбившее поэта.
Летом 1834 года Наталья Пушкина выехала из Петербурга, и поэт остался в доме Оливье один. В письме жене он писал: «Летний сад мой огород. Я вставши ото сна иду туда в халате и туфлях. После обеда сплю в нем, читаю и пишу. Я в нем дома».В доме Оливье Пушкин прожил почти год — до августа 1834 года, переехав оттуда в дом на Французской набережной (наб. Кутузова).
Александр Сергеевич Пушкин // Литературные памятные места Ленинграда. Л., 1968. С. 184−185.