В старину порох называли «зельем», отсюда — «зелейный завод» и «зелейная дорога». Постепенно дорога превратилась в обжитую улицу, рядом появилось еще две, поэтому к первой добавилось прилагательное «Большая».
Пороховой завод был закрыт в 1801 году, определений у слова «зелье» появилось великое множество, и не совсем лицеприятных. Улица Большая Зелейная со временем стала называться Большой Зелениной, а за ней и две маленькие улицы-спутницы превратились в Малую Зеленину и Глухую Зеленину.
Большая Зеленина знаменита не своим военным происхождением — на ней жил художник Юрий Анненков, оставивший замечательные портреты деятелей культуры и политики 1910—20-х годов. Примечательно, что именно здесь, в одном из трактиров, разворачивалось действие драмы Блока «Незнакомка».