Он говорил со скоростью 90 слов в минуту, чем ставил в тупик стенографисток. Пуришкевич был первым, кто ввел моду бросать стакан с водой в голову политического оппонента. Его нередко удаляли с заседаний за употребление «непарламентских выражений», однако Пуришкевич в таких случаях не подчинялся председателю и требовал, чтобы его вывели силой. Разыгрывался настоящий спектакль: являлась охрана Таврического дворца, и Пуришкевич, скрестив руки, садился на плечи охранников и таким образом выезжал из зала заседаний.
Хулиганство почтенного политического деятеля стало привычным, но однажды, на 1 мая, Пуришкевич превзошел самого себя. Каждый Первомай левые по традиции вдевали в петлицу красную гвоздику. Пуришкевич выждал момент, чтобы привлечь всеобщее внимание, и явился на заседание думы в визитке, руки в карманах, с красной гвоздикой... в ширинке.
Государственная дума, работавшая почти сто лет назад, при Николае II, в петербургском обществе ассоциировалась с шумом и беспорядком. Когда на улице хотели успокоить скандалиста, ему говорили: «Тише, здесь вам не Государственная дума!».