Конечно, морганатический брак императора вызвал пересуды, однако роман Александра и Екатерины Долгорукой представлял собой перманентный скандал с временными обострениями. Первый всплеск пришелся на 1872 год, когда у императора и его будущей морганатической жены родился первенец. В 1873 году у них родилась дочь, и это подлило масла в огонь скандала настолько, что управляющий Третьим отделением Петр Шувалов проинформировал государя о том, что говорят в России и за границей о его личной жизни. Шувалов поплатился за эту инициативу своим местом и был направлен послом в Лондон.
Наконец, самой большой и скандальной великосветской сенсацией стало переселение фрейлины Долгорукой поближе к Александру. Император приказал отвести ей и детям три комнаты прямо над своими покоями. Их апартаменты соединял лифт. Все было сделано без утайки, и вызвало негодование в семье и волну пересудов в обществе.