26 декабря 1912 родился в Луцке, отец был железнодорожным работником.
Начальное образование получил в семье, живя в деревне, а затем окончил московскую семилетнюю школу. В 1931 окончил полиграфическую фабрично-заводскую школу, где публиковал свои стихи в цеховой стенгазете, писал обозрения для агитбригады. Участвовал в литературных кружках при «Комсомольской правде» и «Огоньке».
В 1932 вышла первая книжка стихов Смелякова «Работа и любовь», которую он сам же и набирал в типографии как профессиональный наборщик. В 1934 по неизвестным причинам был репрессирован и вышел через 3 года. Несколько лет работал в редакциях газет, был репортером, писал заметки и фельетоны. Во время войны был рядовым солдатом, воевал в Карелии, но попав в окружение, до 1944 находился в финском плену.
В послевоенные годы вышла книга «Кремлевские ели» (1948), в которую вошли лучшие стихи Смелякова, написанные до и после войны. В 1956 была опубликована повесть в стихах «Строгая любовь», получившая широкое признание. В 1959 появился поэтический сборник «Разговор о главном»; явлением в советской поэзии стала книга стихов «День России» (1967). В 1968 была написана поэма «Молодые люди», посвященная комсомольцам.
В предсмертные годы поэт все чаще обращался к воспоминаниям молодости. Он много путешествовал по России, другим странам, о чем поведал в книге «Декабрь», в разделе «Муза дальних странствий». Переводил стихотворения с украинского, белорусского и других языков народов СССР.
Умер Я. Смеляков в 1972. После смерти поэта вышли его книги «Мое поколение» (1973) и «Служба времени» (1975).