В 1749 году императрица Елизавета Петровна даровала усадьбу, расположенную на месте будущего дворца, младшему брату своего тайного супруга Алексея Григорьевича Разумовского — Кириллу Разумовскому.
Дворец был построен по проекту А. Ф. Кокоринова (первого директора петербургской Академии художеств) и Ж.-Б. Валлен-Деламота (профессора Академии художеств).
Сам хозяин дворца, граф Кирилл Григорьевич Разумовский, также был личностью незаурядной. В 18-летним возрасте после обучения за границей он стал первым президентом Российской академии наук и пробыл на этой должности 52 года.
Дворец Разумовского на Мойке был построен как маленькая копия загородных царских резиденций. На его содержание граф ежегодно тратил 52 тысячи рублей.
Отличительной особенностью был еще и сад, состоящий из двух частей: яблоневой и липовой. Графа выписывал для своего сада из-за границы самые экзотические деревья, цветы, кустарники. Делился экзотическими новинками с Ботаническим садом и со всеми, кто разделял его увлечение.
Уникальный сад исчез в первые годы XX века. А дворец сохранился до наших дней, и сегодня является главным корпусом Российского государственного педагогического университета им А. И. Герцена.