Управление было учреждено Указом императора Николая I первого октября 1827 года после упразднения Адмиралтейств-Коллегии и создания Главного морского штаба – высшего органа оперативного управления флотом. Первым руководителем Управления генерал-гидрографа стал известный мореплаватель, выдающийся ученый географ и гидрограф, исследователь Тихого океана и Балтийского моря адмирал Гавриил Николаевич Сарычев.
А в Великую Отечественную войну советский военно-морской флот уцелел лишь благодаря тому, что адмирал Кузнецов с 1939 по 1941 год в несколько раз увеличил финансовую и техническую обеспеченность гидрографических и картографических работ. Полигоны, минно-артиллерийские позиции были подготовлены, подводные лодки могли даже погружаться в Неву, и вырвавшийся из Таллинна флот смог укрыться от немецкой авиации на заранее заготовленных позициях.
Сегодня в подчинении Управления находятся гидрографические службы флотов и части центрального подчинения, в том числе Государственный научно-исследовательский навигационно-гидрографический институт, Центральное картографическое производство и Центральная картографическая фабрика, центры дальней радионавигации и гидрометеорологии, специальное конструкторское бюро и ремонтный завод навигационного вооружения.