До XX века у петербургских мусульман не было отдельного культового здания. Во второй половине XIX века молитвенные собрания проходили на Невском проспекте, 185, в доме купца Калугина. В начале ХХ века три мусульманские общины имели молитвенные залы в различных частях города: во 2-й роте вблизи Измайловского проспекта, на Мойке, 22, на Коломенской улице, в доме 26. В центральном историческом архиве хранится документ, свидетельствующий о попытке строительства мечети в Кронштадте для местной общины. Общегородские торжественные богослужения по большим праздникам (Рамадан, Курбан-байрам и т.п.) проводились в залах Городской думы или в здании училища барона Штиглица в Соляном переулке на Мойке.
В 1812 году верховный руководитель мусульман Оренбургский муфтий Тевкелев обратился к министру внутренних дел графу Толстому с просьбой о строительстве городской мечети. Однако официальное разрешение на строительство было получено только в 1906 году. Тогда же был учрежден особый комитет уполномоченных лиц по сбору средств в сумме 750 тысяч рублей.
Комитет из девятнадцати членов возглавил Абдул Азиз Давлетшин — видный мусульманский просветитель, который считался главным инициатором строительства мечети. 3 июля император Николай II подписал разрешение на приобретение 150 квадратных саженей земли. Участок на Петроградской стороне, вблизи Петропавловской крепости, был приобретен на средства Эмира Бухарского за 312 тысяч рублей. Строительство здания по проекту художника-архитектора Николая Васильевича Васильева началось летом 1909 года.
В конце 30-х годов прошлого века мечеть закрыли и разместили там склад медикаментов. В 1956 году храм вновь была передан верующим.