Simpsons paradoks er et paradoks fra statistikken. Det er opkaldt efter Edward H. Simpson, en britisk statistiker, som beskrev det første gang i 1951. Statistikeren Karl Pearson beskrev en meget lignende effekt i 1899 - Udny Yules beskrivelse stammer fra 1903. Nogle gange kaldes den for Yule-Simpson-effekten. Når man ser på gruppers statistiske scorer, kan disse scorer ændre sig, alt efter om man ser på grupperne enkeltvis, eller om de kombineres til en større gruppe. Dette tilfælde forekommer ofte inden for samfundsvidenskab og medicinsk statistik. Det kan forvirre folk, hvis frekvensdata bruges til at forklare et årsagssammenhæng. Andre navne for paradokset er bl.a. omvendingsparadokset og amalgamationsparadokset.
Hvad betyder paradokset?
Simpsons paradoks opstår, når en tendens, som er tydelig i flere adskilte grupper, forsvinder eller vendes, når grupperne kombineres. Kort sagt: en behandling eller faktor kan se bedre ud i hver delgruppe, men dårligere (eller omvendt) når man ser på hele datamængden samlet.
Et enkelt numerisk eksempel
Antag to undergrupper (gruppe 1 og gruppe 2) og to behandlinger (A og B). Tallene her viser antal succeser/antal forsøg:
- Gruppe 1: A = 90/100 (90%), B = 19/20 (95%)
- Gruppe 2: A = 1/10 (10%), B = 1/5 (20%)
Hvis man ser på hver gruppe for sig, er behandling B bedre i begge grupper (95% vs. 90% i gruppe 1, 20% vs. 10% i gruppe 2). Men samlet over begge grupper bliver resultatet:
- A samlet = (90+1)/(100+10) = 91/110 ≈ 82,7%
- B samlet = (19+1)/(20+5) = 20/25 = 80%
Så selvom B er bedre i hver undergruppe, ser A bedre ud, når man aggregerer data. Det er netop Simpsons paradoks.
Hvorfor sker det?
Paradokset skyldes ofte en skjult eller forstyrrende variabel (ofte kaldet en "confounder" eller "lurking variable") som differentierer grupperne. Hovedårsagerne er:
- Uens gruppe-størrelser: Når undergrupperne har meget forskellige antal observationer, vægtes deres procentsatser forskelligt i totalen.
- Forskellige baserater: Hvis sandsynligheden for succes varierer kraftigt mellem undergrupper, kan vægtningen ændre det samlede billede.
- Confounding: En tredje variabel påvirker både gruppetilhørsforholdet og udfaldet, så simpel aggregering skjuler den sande sammenhæng.
Betydning i praksis
Simpsons paradoks har praktiske konsekvenser:
- Fejlslutninger: Man kan drage forkerte konklusioner om årsagssammenhænge, hvis man kun ser på aggregerede data.
- Politik og beslutningstagning: Sundheds- og socialpolitik, virksomhedsstrategi og rekruttering kan blive påvirket, hvis man ikke kontrollerer for underliggende grupper.
- Falsk tillid til tal: Statistikker kan være misvisende uden stratificering eller korrektion for confoundere.
Hvordan undgår man fejltolkning?
Nogle gode fremgangsmåder for at håndtere Simpsons paradoks:
- Stratificer data: Se på relevante undergrupper (f.eks. alder, sværhedsgrad, afdeling) frem for kun at bruge samlede tal.
- Justér for confoundere: Brug statistiske metoder som multivariat regression, logistisk regression eller propensity score-matching for at kontrollere for kendte forstyrrende variabler.
- Brug kausale modeller: Kausale diagrammer (DAGs) og metodikker fra kausal inferens hjælper med at identificere, hvilke variabler der skal justeres for.
- Randomiserede forsøg: Randomisering fjerner mange confoundere og er ofte den bedste måde at afdække årsagssammenhænge på.
- Rapportér både aggregeret og stratificeret: Vis resultater på flere niveauer, så læsere kan bedømme stabiliteten af effekten.
Praktiske eksempler
- Optagelsesstatistik: Et universitet kan se ud til at favorisere ét køn i totalen, men når man ser på hvert fakultet, kan mønsteret være anderledes (det klassiske "UC Berkeley"-eksempel).
- Medicinske studier: To behandlinger kan se ens eller fordelagtige ud i undergrupper, men når patientgrupperne kombineres forkert, kan billedet vendes — især hvis sværhedsgraden af sygdommen er uensartet fordelt.
- Arbejdsmarked: Ansættelses- eller løndata kan vise forskelle mellem grupper, som forsvinder eller ændrer tegn efter justering for erfaring, stillingstype eller andre faktorer.
Historie og navn
Effekten forbindes ofte med Edward H. Simpson (1951), men lignende observationer går tilbage til Karl Pearson (1899) og beskrivelser af Udny Yule (1903). Derfor bruges både betegnelserne "Simpson's paradox" og "Yule–Simpson effect".
Opsummering
Simpsons paradoks minder os om, at statistiske sammenhænge kan være følsomme over for, hvordan data grupperes og vægtes. For at trække pålidelige konklusioner bør man:
- Være opmærksom på mulige confoundere
- Analysere relevante undergrupper
- Anvende passende statistiske og kausale metoder
Ved at kombinere god statistikpraksis og kritisk tolkning kan man undgå de vildledende konklusioner, som Simpsons paradoks kan skabe.