Главный дом усадьбы президента юстиц-коллегии и главного члена московской Монетной экспедиции Алексея Александровича Яковлева, деда революционера и писателя Александра Ивановича Герцена, был построен в 1770-х годах. Первоначально он был одноэтажным. Позднее он принадлежал двум известным русским фамилиям – князю Николаю Федоровичу Лодыженскому, генерал-лейтенанту и участнику взятия Парижа, и семье дворян Столыпиных.
В конце XVIII века владение купила Елизавета Михайловна Ермолова, сестра известного в Москве “последнего вельможи”, действительного тайного советника I класса князя Сергея Михайловича Голицына, дом которого был рядом. Около 1790 г. она вышла замуж за бывшего фаворита Екатерины II Александра Петровича Ермолова, которому принесла большое приданое. После переселения мужа около 1800 г. навсегда за границу Ермолова осталась в Москве и жила здесь. Во время пожара 1812 г. дом выгорел полностью и был восстановлен сразу после войны с французами. Он был надстроен еще одним этажом. Его портик с колоннами был заменен на пилястровый. Фронтон убрали. Е. Ермолова умерла в Москве 16 августа 1833 г. и погребена в Донском монастыре.