Некоторое время состоял при петербургском генерал-губернаторе А. А. Суворове. В 1865 г. занял должность старшего полицмейстера Риги. В 1869 г. стал помощником петербургского градоначальника Ф. Ф. Трепова, а в 1878 г. получил назначение московским обер-полицмейстером.
12 августа 1881 г. был подписан высочайший указ «О преобразовании управления с.-петербургскою столицею». В указе говорилось: «Признав необходимым предоставить полицейскому управлению с.-петербургской столицы большую возможность сосредоточить свою деятельность на охранении общественного спокойствия и порядка, и вследствие того освободить начальника столичной полиции от обязанностей по административному заведованию городом, повелеваем управление с.-петербургскою столицею в полицейском отношении возложить на обер-полицмейстера; должности с.-петербургского градоначальника и его помощника упразднить; канцелярию градоначальника переименовать в канцелярию обер-полицмейстера, а «Ведомостям С.-Петербургского Градоначальства и С.-Петербургской Городской Полиции» присвоить наименование «Ведомости С.-Петербургской Городской Полиции». В тот же день А. А. Козлов был назначен санкт-петербургским обер-полицмейстером.
Вступив в должность, он попытался отвлечь «простой народ от пьянства, разгула и грубых развращающих удовольствий», предложив создать народный театр. Городская дума поддержала эту идею, однако театр для рабочих был открыт лишь в 1887 г., уже при П. А. Грессере. Правление же Козлова в Петербурге памятно разве что открытием первой в городе телефонной станции. Буквально через пару недель после этого события Александр Александрович вернулся в Москву на прежнюю должность.
В 1883 г. за поддержание образцового порядка в Москве во время коронации Александра III Козлов был награжден золотой табакеркой. В 1887 г. он покинул пост обер-полицмейстера и в дальнейшем возглавлял различные государственные благотворительные учреждения. В 1900 г. Александр Александрович вышел в отставку, но в бурном 1905 г. вновь вернулся на службу и был назначен временно исполняющим должность московского генерал-губернатора. В Первопрестольной его знали и любили, считая человеком хотя и не слишком далеким, зато честным и порядочным. По свидетельству шефа жандармов В. Ф. Джунковского, «А. А. Козлов пользовался очень большой симпатией и уважением среди всех слоев населения, не исключая и рабочих и простого люда, а также и учащейся молодежи. Среди последней он даже был популярен. Рассказывают, что во время одной из забастовок на Высших женских курсах он прискакал верхом, с нагайкой в руке и, въехав в толпу курсисток, крикнул им: «Ерша вам родить против шерсти, чего бунтуете!» Толпа моментально расхохоталась от неожиданности, настроение забастовочное понизилось, и все окончилось мирно».
После убийства московского градоначальника П. П. Шувалова (15 июля 1905 г.) Козлов был отставлен от должности генерал-губернатора. Вскоре после этого Александр Александрович выехал за границу и поселился сначала в Берлине, затем во Франции. Дата и место его смерти неизвестны.