Своим созданием музей обязан директору почтового ведомства Карлу Карловичу Людерсу, который 11 сентября 1872 года впервые обосновал мысль о необходимости учреждения в Санкт-Петербурге телеграфного музея: «для ознакомления телеграфных чинов, а также лиц, интересующихся телеграфным делом, со всеми в этом деле нововведениями и усовершенствованиями предполагается из предметов, составляющих телеграфный отдел на Московской Политехнической выставке, образовать постоянный музей в Санкт-Петербурге».
Один из старейших научно-технических музеев мира был закрыт для посетителей в 1974 году в связи с аварийным состоянием здания, в котором он размещался с 1924 года. В июне 2001 года, больше чем через четверть века после закрытия музея, по инициативе Минсвязи был создан Российский фонд истории связи, председателем попечительского совета которого стал министр Леонид Рейман.