В 1820-х годах за полгода замок перестроили под тюрьму, рассчитанную на 500 арестантов. Но уже в 1878 году там содержалось в заключении 700 человек.
Поначалу это была одновременно и следственная, и долговая, и пересыльная, и срочная тюрьма. Арестанты содержались независимо от пола и возраста вместе.
В начале XX века Литовский замок становится политической тюрьмой, и основные его обитатели — участники массовых политических выступлений. Замок был сожжен во время Февральской революции 1917 года, но каменные подвалы сохранились до сегодняшнего дня. Сейчас на этом месте (за Мариинским театром, на углу улицы Декабристов и Крюкова канала) находятся жилые дома.