В 1830-1834 гг., будучи директором Пажеского корпуса, Александр Александрович ввел строгие порядки в подведомственном учреждении, но при этом сумел завоевать любовь и уважение своих воспитанников. Педагогические таланты Кавелина заставили государя доверить ему воспитание цесаревича Александра Николаевича (будущего Александра II).
В 1837-1840 гг. наставник и его питомец совершили поездку по России и Европе. Затем Николай I поручил Кавелину разобраться с раскрытым в Вильне «противоправительственным заговором». Вникнув в суть вопроса, Александр Александрович доложил, что большинство арестованных ни в чем не виноваты, а само дело было раздуто местными полицейскими чиновниками – «фанатиками и лже-патриотами».
По возвращении в Петербург Кавелин получил пост столичного генерал-губернатора. П. К. Эссен в связи с этим выразил удовольствие, что его место досталось «доброму и честному человеку, настоящему христианину». Градоначальник решительными мерами привел в порядок погрязшие в бюрократии ведомства, ввел новое штатное расписание чиновников, добился повышения им окладов. Стремясь навести порядок на улицах, Кавелин легализовал проституцию и создал специальный контролирующий орган — Врачебно-полицейский комитет. Среди хозяйственных достижений градоначальника следует отметить открытие регулярного движения омнибусов (первый общественный транспорт) и установку прототипа водопровода – водокачальной машины. Среди архитектурных памятников его правления наиболее известны скульптуры П. Клодта на Аничковом мосту (1842) и Мариинский дворец (1844).
Александр Александрович не раз воевал с министерством внутренних дел, отстаивая принцип независимости местного самоуправления. В то же время он выступал против «чрезмерно высоких» окладов городского головы и депутатов, считая, что Городская дума не должна быть предметом для личного обогащения… Видимо, от депутатов и пошел слух о сумасшествии Кавелина. После того как Александр Александрович выразил сомнение в необходимости поста генерал-губернатора, в версию о его безумии поверили и представители других официальных структур. Судя по всему, слухи эти не были лишены некоторых оснований. Кавелин действительно начал жаловаться на бессонницу и «ощутил в себе возбуждение неестественной деятельности». Узнав об этом, Николай I поспешил отправить его в отставку.
Незадолго до смерти Александр Александрович составил письмо-завещание «Моим детям», содержание которого вовсе не напоминает бред сумасшедшего: «Я всегда с презрением смотрел на государственных людей, которые занимают места выше своих способностей, и особенно когда они достигают их подлостями и интригами, и потому всегда боялся занимать место выше своего достоинства».