В 1867 г. Иосиф Владимирович был произведен в генерал-майоры, а еще через девять лет – в генерал-лейтенанты. В начале русско-турецкой войны 1877-1878 гг. командовал Передовым отрядом, во главе которого овладел древней столицей Болгарии городом Тырновом и Шипкинским перевалом. Затем одержал победы при Горном Дубняке и при Телише. Зимой во главе гвардии совершил считавшийся невозможным переход через Балканы, освободил будущую столицу Болгарии Софию и разгромил турок под Филиппополем.
2 апреля 1879 г. в Петербурге около Дворцовой площади бывший студент А. К. Соловьев совершил покушение на Александра II. Этому событию предшествовали теракты против царских администраторов и чиновников, происшедшие в столице и других городах империи. С целью положить конец революционному террору в наиболее «взрывоопасных» регионах империи – Петербурге, Харькове и Одессе — учредили должности временных генерал-губернаторов. Предоставленные им чрезвычайные полномочия распространили также на генерал-губернаторов Москвы, Киева и Варшавы. Рупор революционеров газета «Земля и воля» в связи с этим констатировала, что «теперь у нас вместо одного царя шесть неограниченных монархов».
В Петербурге должность временного генерал-губернатора занял Гурко. Хотя прославленный генерал и пользовался в обществе огромным авторитетом, ему так и не удалось разгромить революционное подполье. Более того, 5 февраля 1880 г. народоволец Степан Халтурин устроил взрыв в самом Зимнем дворце. Погибло 11 солдат из дворцового караула, однако император Александр II, по счастливой случайности, не пострадал.
Гурко отправили в отставку. При Александре III он вернулся к активной деятельности и в 1883-1894 гг. занимал должности варшавского генерал-губернатора и командующего варшавским военным округом. Не прибегая к суровым репрессиям, Иосиф Владимирович успешно поддерживал порядок в вечно беспокойной Польше и многое сделал для экономического развития края. Готовясь к возможной войне с Германией, Гурко занимался строительством новых крепостей и усилением боевой подготовки войск. Оставил он след и еще в одной области, написав инструкцию «Порядок исполнения смертных приговоров», по которой в России казнили вплоть до 1917 г.
Вступивший на престол в 1894 г. император Николай II отправил Гурко в отставку, но на прощание произвел его в генерал-фельдмаршалы. Скончался Иосиф Владимирович 15 января 1901 г.