Библиотека была основана в 1795 году, а открыта для публики лишь в 1814 году. Здания книгохранилища сооружены Е. Т. Соколовым в 1796-1801 и К. И. Росси в 1828-1834 годах.
По размерам своих фондов Публичная библиотека является второй в России и пятой-шестой в мире. Кроме того, ей вполне заслуженно присвоено звание старейшей публичной библиотеки в России, она обладает наиболее полным в мире собранием русских книг и рукописей. Здесь находится самая полная в мире коллекция изданий петровского времени (1708-1725). 250 тысяч книг и периодических изданий содержит знаменитый фонд «Россика», в котором до 1917 года собирались все иностранные произведения о России. Особого внимания заслуживают такие раритеты, как «Остромирово Евангелие», древнейшая русская рукописная книга, издания 1056-1057 годов, или первая русская книга для чтения «Изборник 1076 года», «Лаврентьевская летопись» — 1377 года. Все эти реликвии хранятся в древнерусских фондах, а сами они насчитывают 30 тысяч рукописных книг и 18 тысяч актов и грамот.
12 апреля 2003 года на Московском проспекте, д. 165 было открыто новое здание РНБ. Проект здания выполнен в 1978-1983 года в институте ЛенНИИпроект под руководством В. Н. Щербина и Л. К. Варшавского. Читальные залы рассчитаны на 2 тысячи мест, а в книгохранилищах размещено около 14 млн. экземпляров. Новый библиотечный комплекс, который включает в себя 4 отраслевых и 12 специализированных зала, оборудован в полном соответствии с современными требованиями.