В 1952 г. Иван Васильевич стал заместителем председателя Леноблисполкома, а в 1954 г. занял пост секретаря ленинградского обкома КПСС. Вскоре после ХХ съезда, видимо с санкции высшего партийного руководства, Спиридонов как депутат Верховного Совета СССР выступил с политически значимым предложением о выносе тела Сталина из мавзолея на Красной площади. Инициативу одобрили, а Иван Васильевич даже пошел на повышение, возглавив Ленинградский горком КПСС (июль 1956 г.).
Заняв после отъезда Ф. Р. Козлова кресло 1-го секретаря обкома, большую часть своих усилий Спиридонов направил на жилищное строительство. При нем были разработаны новые типовые проекты не слишком комфортных, но дешевых домов (хрущевки), появились крупные строительные тресты, перешедшие к методу комплексной застройки целых жилых кварталов. В этот же период открылось сквозное движение по автостраде Москва –Ленинград. Стремительными темпами развивалась научно-техническая база Ленинграда. Началось строительство научных городков в районах Песочный, Гатчина, Красное село, Кировск и др. Развитие фундаментальных научных исследований способствовало расцвету оборонной отрасли, предприятия которой стали определять всю структуру местной промышленности и оказывать непосредственное влияние на темпы экономического развития региона.
В 1959 г. Спиридонова избрали в специально созданное Бюро ЦК КПСС по РСФСР, а после ликвидации этого органа назначили секретарем ЦК КПСС (1961). Многие из тех, кто работал с Иваном Васильевичем, характеризовали его как человека вялого и безынициативного. В то же время большинство отзывалось о нем как об умном и спокойном руководителе, поддерживавшем все разумные инициативы своих подчиненных. В сущности, обе эти оценки не противоречат друг другу. Можно предположить, что Спиридонов действительно не горел на работе. Во всяком случае, если верить слухам, с поста 1-го секретаря его сняли после того, как он несколько раз засыпал на заседаниях Бюро обкома. Н. С. Хрущев, не имевший ничего личного против Спиридонова, решил подыскать ему «хорошую работу» и назначил председателем Совета Союза в Верховном Совете СССР. Пост этот был столь же почетным, сколь и далеким от реальных рычагов власти: Верховный Совет, равно как и советы на низовых уровнях, играл в стране исключительно декоративную роль.
В Совете Союза Иван Васильевич Спиридонов проработал восемь лет. В 1970 г. он вышел на пенсию и скончался в Москве, 8 июля 1991 г.