Narodil se 14. října 1892 ve vsi Markovka u Luganska na Ukrajině. Do armády narukoval v roce 1913 a jako poddůstojník se zúčastnil první světové války. Již v prvním boji zastoupil velitele čety a byl raněn. Poté bojoval v jízdním pluku v Karpatech. Po únorové revoluci roku 1917 se stal členem plukovního výboru a po převzetí moci bolševiky byl demobilizován. Vrátil se do rodné vesnice a tam založil partyzánský oddíl, se kterým vedl boj proti německým okupantům a petljurovcům.

Koncem roku 1918 vstoupil se svým oddílem do řad Rudé armády a jako náčelník rozvědky brigády a současně náčelník štábu pluku v sestavě 14. jízdní divize 1. jízdní armády se zúčastnil občanské a sovětsko-polské války.

Po skončení občanské války v roce 1923 absolvoval Vyšší kurzy velitelů jezdectva a ke své divizi se vrátil ve funkci velitele pluku. V roce 1935 ukončil studium na Vojenské akademii M. V. Frunze a poté až do roku 1938 velel 14. jízdní divizi. V roce 1939 se zúčastnil ve funkci velitele 6. kozáckého jízdního sboru obsazení západního Běloruska a o rok později Litvy. V prosinci 1940 byl převelen na Dálný východ jako velitel 1. armády.

Na počátku Velké vlastenecké války byl v hodnosti generálporučíka jmenován velitelem vojsk Západního frontu místo generála Pavlova. Poté, co velení osobně převzal maršál S. K. Timošenko, stal se jeho zástupcem.

Od srpna 1941 působil ve funkci velitele Brjanského frontu a byl povýšen na generálplukovníka. Současně byl vrchním velením – Stavkou a osobně J. V. Stalinem pověřen úkolem rozdrtit 2. tankovou skupinu generála Guderiana.

Tento úkol byl však nad síly sovětských vojsk. Po neúspěchu operace, při které byl A. I. Jeremenko lehce raněn, ho Stavka koncem prosince 1941 jmenovala velitelem 4. úderné armády. V jejím čele se zúčastnil sovětské zimní protiofenzívy u Moskvy a byl raněn podruhé, tentokrát těžce.

Následné léčení si vyžádalo pět měsíců pobytu v nemocnici. Po návratu do služby v srpnu 1942 ho Stavka pověřila velením Jihovýchodního frontu, bránícím přístupy ke Stalingradu.
Generálplukovník Jeremenko úspěšně čelil útokům 4. tankové armády a prosazoval taktiku aktivní obrany.

28. října 1942 byl front přejmenován na Stalingradský. Ten pak pod Jeremenkovým velením zahájil 20. listopadu protiútok, při němž se spojil s vojsky Jihozápadního frontu a uzavřít tak obklíčení německé 6. armády ve Stalingradu. Poté jako velitel Jižního frontu sehrál rozhodující úlohu při odražení skupiny armád gen. von Mansteina, usilující o vyproštění německých vojsk ze sovětského obklíčení.

To uznal i Stalin, když A. I. Jeremenka osobně navštívil ve štábu Kalininského frontu 5. srpna 1943, v době přípravy Smolenské útočné operace. Po jejím úspěšném završení se již A. I. Jeremenko stal velitelem Samostatné přímořské armády, která se v roce 1944 v součinnosti s 4. ukrajinským frontem a Černomořskou flotilou zúčastnila osvobozování Krymu.

Za jeho nemalý podíl na úspěchu operace mu byla 29. července 1944 udělena Zlatá hvězda Hrdiny SSSR.

V říjnu téhož roku se ve funkci velitele 2. pobaltského frontu podílel na osvobozování Litvy a poté na jaře 1945 v čele 4. ukrajinského frontu vedl bojové operace v Karpatech a při osvobozování Československa. Podílel se na osvobozování Ostravy.

V poválečném období velel postupně vojskům Podkarpatského, Západosibiřského a Severokavkazského vojenského okruhu. 11. března 1955 mu byla udělena hodnost maršála Sovětského svazu. Od roku 1958 byl členem Skupiny generálních inspektorů Ministerstva obrany SSSR.

Zemřel 19. listopadu 1970 a byl pochován u kremelské zdi v Moskvě.