Разразившийся громкий скандал был связан с растратой банковских кредитных средств кассиром Кельбергом. Была создана комиссия по расследованию, в которую вошел и поэт Державин. Сумма, похищенная кассиром, простиралась до 600 000 рублей, при тогдашней полновесности рубля – колоссальная. Следствие установило, что долгое время при освидетельствовании кассы кассир клал в сундуки опечатанные пакеты с надписью 10 000 рублей, в которых вместо денег лежала нарезанная белая бумага – вот какую долгую историю имеет этот вид мошенничества!
Кассир подделал казенную печать, все деньги вынул, а сам попытался бежать, но был схвачен в дороге. Следствие длилось пять лет, приговор был исполнен только в новое царствование Павла I. Кельберга с женой–сообщницей лишили чинов и сослали на каторгу, других второстепенных пособников наказали кнутом, сослали или присудили к денежным штрафам. На приговор 4 декабря 1796 года последовала высочайшая резолюция: Кельберга выводить три дня на площадь и ставить у столба с повешенной на груди табличкой: «вор государственной казны», сообщников его второй степени от наказания кнутом освободить «из единственного человеколюбия и милосердия нашего».