В последней четверти XVIII века место мануфактуры заняли склады масла и сала. Животное сало активно экспортировалось за рубеж, да и российская столица представляла собой крупный рынок, потреблявший жиры как продукт питания, как сырье для мыловаренного и стеаринового производств. Территория складов получила название Масляного буяна была отделена каналом. Поэтому застройка 23-й линии начиналась за набережной Масляного канала.
В середине XIX века потребовалось найти место для физической обсерватории. Остановились на доме № 2а по 23-й линии (где прежде находилась мануфактура). И на его месте в 1846-1849 годах по проекту архитектора А. Гелынера возвели двухэтажное кирпичное здание с башней, затем надстроенное двумя этажами.