Обращение к городским властям с просьбой об открытии синагоги последовало в 1860 году, но тогда разрешили устроить только молельню. В 1868 году раввин Нейман и купцы Варшавский и Волкенштейн подали новое ходатайство о строительстве синагоги, и в сентябре такое разрешение последовало. Еврейская община собирала средства на постройку храма по подписке. Е. Гинцбург подписался на самую большую сумму — 70 тысяч. Еще двое — Колянков и Вавельберг — на 25 тысяч каждый. Среди крупных жертвователей называют и С. Полякова и А. Варшавского. Всего в подписке приняли участие 170 человек.
В 1879 году Городская дума одобрила место на Большой Мастеровой улице, где к 1893 году и было выстроено здание синагоги в арабо-мавританском стиле. Строительные работы обошлись в пятьсот с лишним тысяч рублей. Проект выполнен профессором Академии художеств И. Шапошниковым и архитектором В. Шретером с участием художника Л. Бахмана. Молельное помещение храма рассчитано на 1200 человек.
Синагога не закрывалась даже в дни блокады Ленинграда.