В 1860-1870 гг. занимался организацией Морского музея, а также созданием военно-морских экспозиций на различных российских и международных выставках. Во время русско-турецкой войны 1877-1878 гг. предложил вооружить быстроходные коммерческие суда и использовать их для нападений на морские коммуникации противника. Сам Баранов возглавил один из подобных «рейдеров» – пароход-фрегат «Веста». Во время кампании на Черном море этот корабль выдержал неравный бой с турецким броненосцем «Фехти-Булен» и захватил в качестве «приза» пароход «Мерсина» с многочисленным вражеским десантом. Николай Михайлович стал всероссийской знаменитостью и был произведен в звание капитана 1-го ранга. Однако вскоре один из его подчиненных лейтенант З. П. Рожественский (впоследствии адмирал, командующий русским флотом в Цусимском сражении) выступил со статьей, в которой утверждал, что подвиги «Весты» были сильно преувеличены. Баранов устроил грандиозный скандал и, в конечном счете, был вынужден оставить службу.
Правда, в отставке он находился недолго. В 1880 г. по ходатайству М. Г. Лорис-Меликова Николая Михайловича перевели в полицию и отправили за границу для организации надзора за русскими революционерами. Затем он оказался в окружении петербургского генерал-губернатора И. В. Гурко-Ромейко, а в январе 1881 г. был назначен исполняющим должность ковенского губернатора.
После убийства Александра II Баранова перевели в Петербург на пост столичного градоначальника. С целью «положить предел дальнейшему развитию преступной деятельности злоумышленников и оградить столицу от позора – быть местом и свидетельницею совершаемых в ней преступлений» Николай Михайлович учредил специальный выборный орган «Совет двадцати пяти». Под всеми решениями, касающимися городских дел, ставилась резолюция Совета и подпись градоначальника; остряки отметили, что в Петербурге теперь верховодил «Совет 25 баранов». Столичная полиция совместно с жандармами перевернула город вверх дном и сумела арестовать всех, кто так или иначе оказался причастен к убийству императора. Пятеро главных террористов были публично казнены на Семеновском плацу, остальные получили различные сроки заключения.
Будучи человеком импульсивным, Баранов за время своего пребывания в должности градоначальника успел перессорится со многими влиятельными сановниками. После того как положение в столице несколько стабилизировалось, должность градоначальника упразднили, а Николая Михайловича перевели губернатором сначала в Архангельск, а затем в Нижний Новгород.
Долгое время он пытался вернуться в «большую политику» и бомбардировал начальство различными проектами. Многие современники считали его самодуром, интриганом, шарлатаном. Другие были убеждены, что Баранов «своею изумительною деятельностью, неустанным трудом и разумным образом действий показал всей России наглядный пример, что может создать администратор, действительно стоящий на высоте своего назначения и постоянно пребывающий на страже интересов правительства и общества».
Умер Николай Михайлович 30 июля 1901 г. Надгробие его в Новодевичьем монастыре не сохранилось.