За участие в дворцовом перевороте 1762 г. Архаров получил офицерское звание и к тридцати годам уже имел звание полковника. Вместе со своим покровителем Г. Г. Орловым он участвовал в подавлении «чумного бунта» в Москве (1771), а в 1775 г. уже в звании обер-полицмейстера руководил казнью Е. И. Пугачева. В первопрестольной Николай Петрович хозяйствовал вместе со своим братом Иваном, занимавшем должность начальника московского гарнизона.
По словам А. М. Тургенева, «учения и образования никакого Николай Петрович не получил, едва умел кое-как читать и писать, но имел врожденный дар слова, говорил красно, остро и всегда приятно и соотносительно обстоятельствам и лицам». Среди москвичей Архаров имел репутацию человека сурового, но справедливого. Легенды о его необыкновенной проницательности со временем стали частью городского фольклора. Рассказывали, что некий мясник обвинил одного писаря в краже кошелька с деньгами. Писарь же доказывал, что кошелек принадлежал ему изначально. Тяжущиеся явились к обер-полицмейстеру. Архаров выслушал обе стороны, после чего приказал принести котелок с кипятком и высыпать в него деньги. Затем он заглянул в воду и заявил, что деньги принадлежат мяснику. Всплывший на поверхность жир показал, что монеты побывали в мясной лавки и, следовательно, не могли принадлежать писарю.
В 1787 г. Архаров был вызван Екатериной II в Санкт-Петербург в связи с волнениями среди ремонтировавших Зимний дворец рабочих людей. Николай Петрович быстро унял смутьянов, прижал чиновников-взяточников и укрепил дисциплину в рядах полиции. Успешно занимаясь петербургскими делами, он ухитрялся попутно выполнять обязанности Новгородского и Тверского наместника, а также главного директора водных коммуникаций. Фактически под его началом оказался весь Северо-Запад России. Тем не менее номинальным главой Петербурга долгое время считался обер-полицмейстер Н. И. Рылеев, которого императрица ценила не столько за деловые способности, сколько за исполнительность.
Лишь в 1793 г. Архаров официально возглавил столичную администрацию в качестве генерал-губернатора. Новый император Павел I сначала произвел его в генералы от инфантерии, но вскоре отправил в отставку. Поводом для смещения Архарова было подорожание сена на Сенном рынке, однако императрица Мария Федоровна отмечала, что, выполняя некоторые приказы Павла I, генерал-губернатор умышленно доводил их до абсурда. В качестве доказательства императрица приводила случай, когда по распоряжению Архарова черно-белой «зеброй» стали красится не только будки и шлагбаумы, но и дома обывателей.
Остаток жизни Николай Петрович и его брат Иван провели в своем родовом имении Рассказово и в Москве, где пользовались репутацией щедрых и гостеприимных хозяев. На службу братья уже не вернулись, но при Александре I довольно часто посещали столицу империи. Скончался Николай Петрович Архаров в Рассказове в январе 1814 г. Его брат умер в Петербурге в феврале следующего года.