Он родился 30 июля 1915 года в городе Вышний Волочок. Окончив в 1936 году Ленинградский театральный институт им. А. Н. Островского, стал актером Ленинградского театра Комедии, с 1940-го — театра Краснознаменного Балтфлота. С 1948 года Иван Дмитриев — актер Ленинградского драматического театра им. В. Ф. Комиссаржевской, с 1973-го и по сей день актер Академического театра драмы им. А. С. Пушкина, знаменитой Александринки.
Дмитриев принадлежит к числу корифеев отечественной сцены и кино. На театральных подмостках сыграл около двух сотен ролей, а на киноэкране создал целую галерею блестящих и разнообразных образов. Он хорошо известен миллионам зрителей по фильмам «Белинский», «Мусоргский», «Армия Трясогузки», «Полосатый рейс», «Паганини». Актер долгие годы проработал и ведущим радиопередач.
Иван Дмитриев воевал в Финской и Великой Отечественной войнах, герой обороны Гангута, участник обороны Ленинграда, награжден орденами Красной Звезды и Отечественной войны II степени (1985), многими медалями. В 1980 году удостоен звания «народный артист СССР».