Newcastle United
Carroll startede sin ungdomskarriere i Newcastle United. Han scorede nogle mål for reserveholdet. Han fik sin debut på førsteholdet den 2. november 2006. Han var dengang 17 år og 300 dage gammel. Det var i en 1-0 UEFA Cup-sejr over Palermo. Han kom ind som en sen indskiftning for Nolberto Solano. Dermed blev han den yngste spiller nogensinde til at repræsentere Newcastle i Europa.
Han fik sin debut i FA Cup'en den 17. januar 2007. Også her var han indskifter i de sidste ti minutter. Birmingham City slog Newcastle med 5-1 i den kamp. Den 25. februar 2007 fik Carroll sin Premier League-debut for Newcastle. Han kom ind som indskifter i det 87. minut i 1-0-nederlaget til Wigan Athletic. Han havde et skud på mål i denne kamp. En god redning fra Wigan-målmand John Filan forhindrede ham i at score sit første Newcastle-mål.
I 2007 modtog han "Wor Jackie Milburn Trophy". Denne pris uddeles hvert år til den kommende stjerne i fodbold i det nordøstlige England.
Den 29. juli 2007 scorede Carroll sit første seniormål i en 2-0-sejr over Juventus. Dette var en venskabskamp. Han scorede målet med sin venstre fod. Efter kampen roste den italienske målmand Gianluigi Buffon Carroll. Buffon sagde, at Carroll havde en stor fremtid.
Den 14. august 2007 begyndte Carroll et seks måneders lån hos Preston North End. Han fik sin debut for dem i League Cuppen mod Morecambe samme dag. Carroll blev udvist i en kamp for Preston mod Scunthorpe United den 18. september. Han scorede sit første Championship-mål, og sit første engelske ligamål, mod Leicester City den 6. november.
Carroll fik sin første kamp for Newcastle i 2008-09-sæsonen den 20. oktober. Han kom ind som indskifter for Shola Ameobi i hjemmekampen mod Manchester City. Carroll var med i startopstillingen mod West Ham United hjemme den 10. januar 2009. Han scorede sit første mål på hjemmebane i denne kamp. Det var et hovedstød. Kampen endte som en 2-2 uafgjort. Han underskrev en ny tre og et halvt års kontrakt den 12. marts 2009. Hans kontrakt i Newcastle udløb nu i 2012.
Newcastle rykkede ned i den sæson. Førsteholdets angribere, Michael Owen, Mark Viduka og Obafemi Martins forlod klubben. Carroll sluttede sig til Shola Ameobi i angrebet for Newcastle i starten af den nye sæson. Hans første ligamål i Championship kom den 16. september 2009 mod Blackpool med et hovedstød. I 2010 spillede Carroll næsten alle kampe. Han fik en ny angrebsmakker, Peter Løvenkrands. Disse to spillere scorede mere end halvdelen af klubbens mål i 2010. Carroll sluttede sæsonen som Newcastles topscorer. Han lavede 19 mål i alle konkurrencer. 17 var i ligaen, 2 i pokalkampe.
Carroll fik holdnummer 9 i 2010-11-sæsonen. Dette nummer er vigtigt for Newcastle United-tilhængere. Store angribere som Jackie Milburn, Malcolm Macdonald og Alan Shearer har båret dette holdnummer for Newcastle. Carroll scorede sit første hattrick i karrieren mod Aston Villa i deres 6-0-sejr i Premier League den 22. august 2010. Carroll kom ind som indskifter for Kevin Nolan mod Manchester City. Han var anfører for holdet for første gang i denne kamp. I oktober 2010 underskrev Carroll en ny femårig kontrakt. Hans kontrakt varede indtil 2015. Carroll scorede Newcastles tredje mål i en 3-1-sejr over Liverpool på St. James' Park den 11. december 2010. Det var et skud fra 25 meter. Skuddet var et lavt skud.
Liverpool
Den 31. januar 2011 bød Liverpool 30 millioner pund for Carroll. Dette blev afvist. Newcastle accepterede derefter et bud på 35 millioner pund. Carroll bestod et lægetjek og underskrev snart en kontrakt. Transferen blev gennemført kort før fristen kl. 23.00. Carroll sagde, at han var blevet tvunget til at forlade Newcastle. Men klubben sagde, at han havde anmodet om en transfer, efter at de havde afvist Liverpools bud på £30 millioner. Liverpool bekræftede, at Carroll ville bære trøje nummer 9. Denne blev tidligere båret af Fernando Torres, der samme aften forlod Anfield til Chelsea for 50 millioner pund. Transferen gjorde Carroll til den ottende dyreste fodboldspiller i alt på det tidspunkt. Han var den dyreste britiske fodboldspiller gennem tiderne. Han blev også den næstdyreste fodboldspiller, der spillede for en britisk klub, efter Torres. Carroll havde pådraget sig en skade, mens han var i Newcastle United. Derfor ankede Liverpool, at Carroll ville skulle vente noget tid før sin debut.
Han fik endelig sin debut i Liverpool som indskifter i 3-1-sejren mod Manchester United den 6. marts 2011. Den 10. marts spillede han sin første europæiske kamp for Liverpool. Liverpool tabte kampen 1-0 til Braga i Europa League. Carroll kom ind som indskifter efter pausen. I returopgøret en uge senere fik han sin første Liverpool-startplads. Kampen endte 0-0. Liverpool forlod konkurrencen, fordi de havde tabt 1-0 samlet set. Den 20. marts fik han sin første Premier League-start for Liverpool mod Sunderland. Han scorede ikke. Liverpool vandt kampen 2-0. Den 11. april scorede Carroll sine første mål for Liverpool. Det var i en 3-0 sejr mod Manchester City på Anfield. Hans første mål blev scoret fra langskud. Hans andet var et hovedstød. Han spillede flere gange mere i den sæson. Men, han scorede ikke flere mål.
Den 24. august 2011 scorede han sit første mål i den nye sæson. Han scorede det 20 meter fra målet. Kampen var mod Exeter City. Han gjorde det til 3-0 i anden runde af Liga Cuppen. Den 1. oktober 2011 scorede han sit første mål i Premier League 2011-12 under en 2-0-sejr over Everton på Goodison Park. Hans tredje mål i sæsonen var i en 2-0-sejr ude hos West Brom. Han scorede sit første mål i 2012 i en 5-1 sejr i tredje runde af FA Cuppen mod Oldham Athletic i tredje runde. Han assisterede Dirk Kuyt-målet i det 88. minut mod Manchester United i fjerde runde af FA Cuppen den 28. januar. Som følge heraf vandt Liverpool kampen. Han scorede sit femte mål i sæsonen i en 3-0-sejr ude mod Wolves den 31. januar. Dette var på hans første årsdag efter at han kom til klubben. Liverpool vandt 6-1 over Brighton & Hove Albion i femte runde af FA Cuppen med 6-1. Carroll scorede et mål og assisterede til et mål af Luis Suárez Den 26. februar vandt han sit første trofæ med Liverpool, da de vandt Liga Cuppen. De slog Cardiff i finalen. Den 10. april scorede han et mål fra et hovedstød mod Blackburn i tillægstiden, hvor Liverpool vandt kampen. Dette afsluttede Liverpools serie på fire kampe uden sejr. Fire dage senere headede han endnu et sent mål ind, som gav Liverpool sejren i kampen. Denne gang var det i en 2-1 sejr mod Everton i FA Cup-semifinalen på Wembley. På grund af hans mål kvalificerede Liverpool sig til finalen. Dette var hans 50. kamp spillet for Liverpool. Carroll beskrev sit kampvindende mål som "den bedste følelse nogensinde". Holdkammeraten Jamie Carragher sagde, at målet var "35 millioner pund værd i sig selv". Han sagde også, at Carroll ville "blive husket for evigt". Carroll scorede også i finalen, som Liverpool tabte 2-1 til Chelsea.
West Ham United
Udlånsformel
Den 30. august 2012 skrev Carroll under med West Ham. Han var udlånt for en sæson. Liverpool ønskede en klausul i aftalen, som ville få West Ham til at betale 17 millioner pund for at hente ham permanent til klubben. Men de måtte fjerne den, da West Ham ikke var indforstået. West Ham betalte i sidste ende et gebyr på 2 mio. pund i forbindelse med lånearrangementet. De begyndte også at betale alle Carrolls £80.000 om ugen i Liverpool-lønninger.
Carroll fik sin debut den 1. september. Han lavede (assisterede til) to mål i en 3-0-sejr på hjemmebane mod Fulham. Han scorede sit første mål den 25. november 2012. Det var i et 3-1-nederlag på udebane mod Tottenham Hotspur. Carroll blev skadet i november. Han vendte tilbage den 2. februar 2013 modSwansea City. Han scorede det eneste mål i den kamp. Carroll sluttede låneperioden med syv mål i 24 optrædener.
Permanent overførsel
Den 21. maj 2013 blev West Ham og Liverpool enige om et beløb på omkring 15 millioner pund for at gøre lånet permanent.Carroll accepterede skiftet og underskrev en seksårig kontrakt med West Ham den 19. juni 2013. Gebyret var en klubrekord.
2013-14
Carroll startede sæsonen 2013-14 skadet. Han havde et hælproblem, som han fik i den sidste kamp i sidste sæson. Han optrådte for første gang i sæsonen den 12. januar 2014. Han kom ind som indskifter i det 72. minut i en 2-0-sejr over Cardiff City. Han assisterede Mark Noble til West Hams andet mål.
Den 1. februar 2014 blev Carroll udvist for at være voldelig over for Swansea City-forsvareren Chico Flores i West Hams 2-0-sejr over den walisiske klub. Den 15. marts scorede han sit første Premier League-mål i sæsonen i et 3-1-nederlag mod Stoke City. Den 31. marts blev han kåret som kampens mand af Sky Sports for den måde, han spillede på i en 2-1-sejr mod Sunderland på Stadium of Light. Han scorede et af West Hams mål og assisterede til det andet af West Hams mål.
Carroll sluttede Premier League-sæsonen 2013-14 med kun to mål i 18 kampe.
2014-15
Under en pre-season tour til New Zealand pådrog Carroll sig en ledbåndsskade i anklen. Det betød, at han ikke kunne spille i West Hams første elleve Premier League-kampe. Carroll vendte tilbage til holdet den 8. november 2014. Han kom ind som indskifter for Mark Noble i en 0-0 kamp mod Aston Villa.
Carroll blev valgt til at starte i Hammers' næste kamp. Han spillede samtlige 90 minutter. West Ham tabte kampen 1-2 til Everton. Den 7. december 2014 scorede han sine to første mål i sæsonen. Det var i en kamp mod Swansea City. The Hammers vandt kampen 3-1 på hjemmebane. Det var de første mål, han scorede hjemme siden marts 2013. Den 20. december scorede Carroll det 50. ligamål i sin karriere. West Ham slog Leicester City med 2-0.