В 12-летнем возрасте Яков был записан в лейб-гвардии Семеновский полк. Уже в офицерских чинах Брюс принял участие в войне с Пруссией, закончив ее в звании генерал-майора.
Супруга Якова Александровича, Прасковья Александровна Брюс, приходилась сестрой прославленному полководцу П. А. Румянцеву и одновременно была ближайшей подругой Екатерины II. По слухам, фрейлина Брюс даже «проверяла в постели» тех, кого императрица прочила себе на роль фаворитов. Однако на «шалости» жены Яков Александрович смотрел сквозь пальцы, благодаря чему, вероятно, и не испытывал сложностей в продвижении по службе.
Во время войны с Турцией под началом А. М. Голицына Брюс участвовал во взятии Хотина. В 1770 г., уже под командой П. А. Румянцева, в сражении при Ларге он руководил всем левым флангом, а в битве при Кагуле командовал одним из пяти пехотных каре. Военная карьера прервалась после ссоры Брюса с Румянцевым. Яков Александрович уехал в Петербург, где «в утешение» получил чин генерал-аншефа.
В 1783 г. Екатерина II назначила Брюса петербургским генерал-губернатором, а в следующем году по совместительству доверила ему аналогичную должность в Москве. Последующие два года большую часть своего времени Якову Александровичу пришлось посвящать «первопрестольной», причем на время его отсутствия обязанности главы петербургской администрации выполнял обер-полицмейстер Н. И. Рылеев. Лишь с 1786 г. Брюс более или менее плотно занялся делами столицы.
В его правление были реализованы масштабные градостроительные проекты. Завершилось строительство Старого Эрмитажа и Эрмитажного театра, Академии наук, Таврического дворца, Невских ворот Петропавловской крепости, Главного почтамта и Ассигнационного банка. Открылись новые рынки – Никольский и Андреевский. В гранит «оделась» Английская набережная, появились новые мосты — Чернышев и Старо-Калинкин. Тогда же в Петербурге была создана Городская дума и ее постоянный исполнительный орган – Городская управа. Выборы самоуправления проводились раз в четыре года, причем из-за высокого имущественного ценза в них участвовали лишь 6% населения Петербурга.
Конец губернаторствования Брюса был омрачен русско-шведской войной. Дважды за этот период (в 1788 и 1789 гг.) опасность, грозившая Петербургу со стороны шведов, казалась вполне реальной, однако на повседневной жизни города это практически не отразилось. В 1790 г. со Швецией был подписан мир, фактически сохраняющий статус-кво, а в следующем 1791 г. в Петербурге отпраздновали заключение мира с Турцией.
Вскоре после завершения торжеств Яков Александрович Брюс скончался и был похоронен в Александро-Невской лавре.