Historien foregår på et tidspunkt, hvor Spanien er ved at være ved at afslutte en krig med Frankrig. De to lande er blevet enige om, at Don Carlos, den spanske tronfølger, skal gifte sig med Elisabeth, datter af den franske konge.
Første akt
Don Carlos ønsker at se den pige, han skal giftes med. Han tager til Frankrig og deltager i hemmelighed i en kongelig jagt, som Elisabeth deltager i. Elisabeth og hendes page bliver adskilt fra de andre. Carlos taler med hende og tilbyder at tage hende med hjem. Prinsessen spørger ham om den prins, som hun skal giftes med. Carlos siger, at hun ikke behøver at bekymre sig, for prinsen er venlig og forelsket i hende. Derefter viser han Elisabeth et billede af prinsen, og så forstår Elisabeth selvfølgelig, at det er prinsen, hun taler med. De synger en kærlighedsduet.
Så kommer der nogle spanske embedsmænd og fortæller Elisabeth, at det er blevet besluttet, at hun ikke skal gifte sig med prinsen, men med hans far, Spaniens konge. De to elskende er rystede over denne nyhed. Folkemængden tigger Elisabeth om at gå med til at gifte sig med den spanske konge, så krigen kan stoppe. Til sidst går hun med til det.
Anden akt
Don Carlos er taget til et kloster for at få ro i sin elendighed. Hans bedstefar, Karl V, havde tilbragt sine sidste dage i dette kloster. En munk taler til ham. Carlos synes, at munken ligner hans bedstefar.
Carlos er fuld af glæde, da hans ven Rodrigue kommer. Han er lige kommet hjem fra Flandern, hvor der stadig er mange kampe. Carlos fortæller ham en hemmelighed: at han er forelsket i Elisabeth, som nu har giftet sig med hans far og derfor er dronning af Spanien. Rodrigue fortæller ham, at han burde bruge sin tid på at hjælpe de fattige i Flandern. Kongen og dronningen går forbi graven.
Da dronningen forlader kirken, går hun ud i haven, hvor hendes damer venter på hende. En budbringer giver hende et brev fra hendes mor i Paris, men samtidig giver han hende i hemmelighed et brev fra Carlos. Rodrigue taler stille og roligt med Eboli, dronningens hofdame, mens dronningen læser brevene. Rodrigue beder dronningen om at forsøge at overtale kongen til at lade Carlos tale med ham. Eboli er forelsket i Carlos. Hun har bemærket, hvordan Carlos har været ophidset, når han har været i dronningens nærvær, og hun tror, at det er fordi Carlos elsker hende (Eboli).
Carlos får en chance for at møde Elisabeth privat. Han spørger hende roligt, om hun kan overtale kongen til at sende ham til Flandern. Han er dog ikke rigtig rolig, og snart begynder han at blive vred på hende, fordi hun ikke viser nogen kærlighedsfølelser over for ham. Hun fortæller ham, at det er hendes pligt nu, hvor hun er dronning. Carlos forstår det, men er stadig forelsket i hende. Han falder for hendes fødder. Han griber fat i hende og erklærer sin kærlighed til hende, men dronningen river sig fra ham, og han styrter fortvivlet bort.
Kongerne kommer ud af kirken. Han er meget vred over, at hans kone er blevet overladt til sig selv. Han siger til hofdamen, at hun skal gå væk. Dronningen trøster hende. Så går hun og hendes damer.
Rodrigue beder kongen om at holde op med at kæmpe mod Flanderns folk, som stadig dør og sulter af sult. Kongen siger, at de ikke var trofaste og fortjener at blive straffet. Han fortæller Rodrigue, at han er bange for det, der foregår mellem Elisabeth og Carlos. Han fortæller ham, at han skal være opmærksom på inkvisitionen.
Tredje akt
Der afholdes et maskebal på paladset i Madrid. Carlos venter i dronningens have. En dame kommer ind i haven, iført en maske, ligesom alle andre. Han tror, at det er dronningen og fortæller hende, at han elsker hende. Da damen tager sin maske af, opdager han, at det er Eboni. Hun beskylder ham for at elske dronningen. I det øjeblik kommer Rodrigue. Han siger til Eboni, at Carlos ikke har det godt og ikke forstår, hvad han taler om. Men Eboni lader sig ikke narre og planlægger at ødelægge deres kærlighedsforhold.
Anden scene i handlingen foregår på en plads i Madrid. En auto-da-fé er ved at blive forberedt. Under den spanske inkvisition var dette en ceremoni, hvor alle, der ikke var enige med den romersk-katolske kirke, blev brændt til døde. Munkene træder ind, efterfulgt af de uheldige mennesker, der skal brændes. Folket synger om Spaniens herligheder. Kong Philippe dukker op og gentager, at han vil kæmpe mod alle, der er fjender af den romersk-katolske kirke. Seks personer, herunder Carlos, dukker op og kaster sig for hans fødder og beder ham om at stoppe sine tropper i at dræbe flamlænderne. Kongen vil ikke høre på det. Nogle i mængden støtter kongen, men andre tigger ham om nåde. Carlos beder derefter sin far om at lade ham regere Flandern for ham. Kongen tillader det ikke, fordi han indser, at det kan være en mulighed for Carlos og flamlænderne til at rejse sig mod ham. Carlos er desperat. Han trækker sit sværd og siger, at han vil redde Flandern. Folkemængden er rædselsslagen over at se ham opføre sig sådan foran kongen. Kongen beordrer sine soldater til at tage sværdet fra Carlos, men ingen adlyder ham. Til sidst redder Rodrigue (som indser, at det her vil være skidt for ham) situationen ved roligt at bede Carlos om sværdet. Han overdrager det, og Rodrigue giver det til kongen. Munkene går videre, og en stemme fra himlen lover fred i den kommende verden.
ActIV
Kongen er alene i kirken. I en vidunderlig arie synger han om sin sorg over, at hans kone ikke synes at elske ham. Storinquisitoren kommer ind. Han er meget gammel og blind. Kongen fortæller ham om sin søn, og spørger inkvisitoren, om Carlos skal tilgives eller dømmes til døden. Inquisitoren svarer, at det er Rodrigue, der skal dræbes. Kongen vover at være uenig. Inquisitoren fortæller kongen, at han ikke giver sit hjerte til Gud. Inquisitoren går.
Dronningen skynder sig ind og beder kongen om at hjælpe hende med at lede efter et skrin med juveler, som er forsvundet fra hendes værelse. Kongen viser hende, at den ligger på bordet. Han fortæller hende, at hun skal åbne den. Det gør hun. Øverst er der et portræt af Carlos. Kongen bliver meget vred og beskylder hende for utroskab. Hun besvimer. Kongen tilkalder Eboli og Rodrigue for at få hjælp. Kongen er ked af sin mistanke, men Eboli er endnu mere ked af det, fordi det var hende, der havde taget kisten, fordi hun var jaloux på Carlos og Elisabeth. Det var hende, der havde foreslået, at kongen skulle kigge i smykkeskrinet. Rodrigue føler, at han kun kan redde sin ven ved at tilbyde sig selv at blive dræbt i stedet for Carlos. Kongen og Rodrigue tager af sted. Eboni kaster sig for fødderne af dronningen, der nu er genoplivet, og tilstår, at hun selv er skyldig i utroskab, fordi hun har været i seng med kongen. Elisabeth forbliver rolig, men siger til Eboni, at hun skal gå væk fra hende for evigt og bo i et nonnekloster. Da Eboni bliver efterladt alene, giver hun udtryk for sine følelser af frygtelig elendighed. Inden hun går til nonneklosteret har hun endnu en ting at gøre: at forsøge at redde Carlos fra at blive henrettet.
Anden scene i akten viser Carlos i fængslet. Rodrigue kommer til ham. Han ved, at man har fundet flamske breve til Carlos i hans besiddelse. Nogen kommer ind og dræber Rodrigue. Da han dør, fortæller han Carlos, at dronningen vil vente på ham næste dag uden for nonneklosteret og vil se ham for sidste gang. Han dør.
Nogle gange slutter fjerde akt her, men nogle forestillinger fortsætter med at vise en scene, hvor kongen forsøger at give sin søn sværdet tilbage, men Carlos beskylder ham for at have myrdet sin ven. En gruppe mennesker, heriblandt Eboli, går ind i fængslet og råber til kongen om at sætte Carlos fri. Inquisitoren dukker op. Han siger vredt til mængden, at de er onde, når de går imod Guds vilje. Han beder dem alle om at gå ned på knæ og omvende sig.
Akt V
Elisabeth knæler foran Karl 5.s grav og synger om sin tabte ungdom i Frankrig (noget af musikken fra første akt vender tilbage her). Hun beder om fred. Elisabeth og Carlos mødes derefter for sidste gang (deres tredje duet i operaen) og ønsker sig lykkeligere tider. Kongen og inkvisitoren har gemt sig. De dukker nu op og griber Carlos. Vagterne får besked på at gribe ham, men Carlos forsvarer sig. Pludselig høres Karl V's stemme (eller en munk i forklædning). Han tager sit barnebarn med ind i klostrets sikkerhed.
