Действительную службу Петр Александрович начал в 1785 г. В 1794 г. участвовал в польской кампании, особо отличившись в битве при Мациовицах и при взятии Варшавы. В царствование Павла I стал генерал-майором и генерал-адъютантом императора. Во время войны с Францией (1799) занимал пост полномочного министра при австрийском дворе и параллельно выполнял секретное предписание государя, следя «за состоянием умов» в русской армии.
Император Александр I в 1802 г. назначил Толстого генерал-губернатором Санкт-Петербурга. На этом посту он пробыл немногим менее трех лет, за вычетом полутора месяцев, когда по причине размолвки с императором был сменен А. Э. Будбергом (1803). В правление Толстого состоялось празднование столетнего юбилея Санкт-Петербурга. 16 мая 1803 г. войска гвардии и столичного гарнизона торжественным маршем прошли мимо статуи Петра I на Сенатской площади. Кроме рядовых петербуржцев, на церемонии присутствовали члены царской фамилии и городская администрация во главе с генерал-губернатором.
В 1804-1805 гг. в столице были открыты Педагогический институт и Губернская гимназия. Завершилось строительство зданий Медико-хирургической академии и Мариинской больницы. Не забыли и администрацию: Невский проспект украсился Башней Городской думы. Среди прочих губернаторских деяний Толстого стоит отметить запрет на бесплатную раздачу городской земли, а также учреждение первой постоянной пожарной команды (1803). Генерал-губернатор заботился не только о благоустройстве столицы, но и о нуждах городского населения. Занимаясь благотворительностью, Петр Александрович раздавал деньги беднякам и солдатам гвардии, собиравшимся толпами к его дому в праздничные дни. В результате Толстой залез в долги и, чтобы расплатиться с кредиторами, был вынужден заложить драгоценности своей супруги.
Во время войны с Францией 1805-1807 гг. Петр Александрович довольно успешно командовал различными воинскими соединениями, а после заключения Тильзитского мира некоторое время был послом при дворе Наполеона. С 1809 г. он уединился в своем тульском поместье, где занимался цветоводством. В июле 1812 г. Толстой вновь вернулся на службу, возглавив ополчения Казанской, Нижегородской, Пензенской, Костромской, Сибирской и Вятской губерний. После войны он был произведен в генералы от инфантерии и введен в состав Государственного совета. В последующие годы Петр Александрович возглавлял департамент Военных дел и Разрядную комиссию (определявшую меру наказания декабристам), командовал войсками столичной гвардии и председательствовал в Совете о военных учебных заведениях.
Под занавес карьеры Толстой принимал участие в подавлении Польского восстания 1830-1831 гг., а в 1836 г. окончательно вышел в отставку и поселился в Первопрестольной, где и скончался 28 сентября 1844 г.