Вслед за этим Рубинштейн поставил перед властями вопрос о создании музыкального учебного заведения. Не дожидаясь официального решения, в 1860 году общество открыло классы пения и элементарной теории музыки. В 1861 году в класс музыкального сочинения поступил окончивший за два года до этого Училище правоведения в Петербурге чиновник Министерства юстиции – Петр Ильич Чайковский, будущий великий русский композитор.
Рубинштейн всеми силами боролся против распространения дилетантизма в музыкальном деле. В октябре 1861 года был утвержден устав музыкального училища, фактически – Петербургской консерватории, как она и стала называться с 1866 года. При открытии заведения в него поступило 102 ученика и 77 учениц. Первый выпуск состоялся в 1865 году. К моменту своего пятидесятилетия консерватория насчитывала уже более двух тысяч учащихся.