Sådan vælger du den rigtige statistiske test

Hvorfor det er vigtigt at vælge den rigtige test

Enhver statistisk analyse ender med et tal — næsten altid p-værdien — der understøtter en konklusion: "der er en forskel", "der er ingen forskel", "variablerne hænger sammen". Men tallet er kun pålideligt, hvis testen, der producerede det, er den rigtige for datatypen og undersøgelsens design. Bruger du den forkerte test, kommer der ingen fejlmeddelelse: du får en p-værdi, der ser helt normal ud — og er fuldstændig vildledende.

Konsekvenserne er konkrete. En upassende test kan erklære en forskel signifikant, som ikke findes, og få dig til at ændre en procedure, lancere et produkt eller publicere en konklusion uden reelt grundlag. Eller den kan skjule en reel forskel, så man kasserer en behandling, der faktisk virker. I et bachelorprojekt eller en artikel er den forkerte test en af de hyppigste grunde til, at vejleder eller reviewer kræver rettelser.

Den gode nyhed er, at valg af test hverken handler om hukommelse eller held. Det er resultatet af en kort række objektive spørgsmål om dine data. Svar på dem i den rigtige rækkefølge, så vælger testen sig selv. Denne guide går gennem spørgsmålene og slutter med en oversigtstabel, der kobler hver situation til den tilsvarende beregner.

Spørgsmålene, der afgør testen

Før du tænker på en formel, så svar på fem spørgsmål. De fungerer som en huskeliste: hvert svar fjerner muligheder og indsnævrer vejen til én test.

1. Hvilken type data har du? Det er det vigtigste spørgsmål. Kategoriske (eller kvalitative) data repræsenterer kategorier, som du tæller: køn, region, "købte eller købte ikke", "blev rask eller ej". Det rå resultat er en optælling eller en proportion. Numeriske (eller kvantitative) data er værdier, du måler: højde, tid, tilfredshedsscore, omsætning, blodtryk. Det rå resultat er et gennemsnit. At bruge en middelværditest på kategoriske data — eller omvendt — invaliderer analysen fra start.

2. Hvad vil du gøre med dataene? Der findes tre typiske formål. Estimere en populationsværdi — fx "hvad er kundernes gennemsnitlige tilfredshed?" — kræver et konfidensinterval, ikke en test. Sammenligne med en referenceværdi — "afviger min proces' gennemsnit fra målet på 100?" — kræver en enkeltstikprøvetest. Sammenligne grupper indbyrdes — "adskiller gruppe A sig fra gruppe B?" — kræver en test for to eller flere stikprøver.

3. Hvor mange grupper sammenligner du? Hvis svaret er at sammenligne grupper, så tæl dem. Én gruppe mod en fast værdi, to grupper mod hinanden, eller tre eller flere grupper på én gang. Antallet af grupper ændrer testen: at sammenligne to grupper er en opgave for t-testen; at sammenligne tre eller flere er en opgave for ANOVA. Man bør ikke sammenligne mange grupper parvis med flere t-test, for det pumper risikoen for en falsk positiv op.

4. Er grupperne uafhængige eller parrede? Uafhængige grupper består af forskellige personer uden forbindelse mellem målingerne — fx patienter i gruppe A og patienter i gruppe B. Parrede (eller afhængige) grupper har sammenkædede målinger: den samme person målt før og efter en behandling, eller par dannet med vilje. Parrede data har en egen test, der udnytter forbindelsen mellem målingerne og er mere følsom.

5. Holder de parametriske forudsætninger? De klassiske parametriske test — t-test, ANOVA — antager, at de numeriske data omtrent følger en normalfordeling, og når man sammenligner grupper, at varianserne er nogenlunde ens. Når disse forudsætninger holder, er de parametriske test de stærkeste. Når de ikke holder — lille stikprøve, skæv fordeling, ekstreme værdier — findes der ikke-parametriske versioner, der ikke afhænger af normalitet.

Kategoriske data: proportioner og chi²

Når dataene er en kategori, du tæller, og ikke et tal, du måler, ændrer testuniverset sig helt. Her er der ingen gennemsnit eller standardafvigelser: der er optællinger og proportioner. To test på sitet dækker de fleste af disse situationer, og valget mellem dem afhænger af, hvad du vil finde ud af.

Brug proportionstesten, når fokus er på en proportion i sig selv. Den løser to tilfælde. Det første er at sammenligne to proportioner: adskiller konverteringsraten på side A sig fra side B? Adskiller andelen af patienter, der følger behandlingen, sig mellem to protokoller? Det andet er at sammenligne en proportion med en referenceværdi: er fejlraten i min proces på 3 % anderledes end den kontraktlige målsætning på 2 %?

Brug chi², når fokus er på sammenhængen mellem to kategoriske variable i en kontingenstabel. Det typiske spørgsmål er "hænger region sammen med foretrukket mærke?" eller "hænger behandlingstype sammen med det kliniske udfald?". Chi² er stærk, når der er mere end to kategorier i mindst én af variablerne — noget proportionstesten ikke dækker.

Et særligt og meget almindeligt tilfælde af sammenligning mellem to proportioner er A/B-testen i marketing og produktudvikling. Til netop det scenarie — to versioner, én konverteringsmetrik — har sitet et dedikeret værktøj, A/B-test-beregneren, som leverer uplift og konfidens i resultatet på det sprog, eksperimenterne taler.

Numeriske data: sammenligne med en referenceværdi

Lad os gå til de numeriske data. Det første mulige formål er ikke at sammenligne to grupper, men at konfrontere gennemsnittet i én enkelt gruppe med en fast, kendt værdi — et mål, en standard, en historisk reference. Eksempler: er gennemsnitsvægten af pakker fra linjen anderledes end de erklærede 500 g? Adskiller call-centrets gennemsnitlige svartid sig fra målet på 4 minutter?

Der findes to værktøjer til det, og valget mellem dem afhænger af ét spørgsmål: kender du populationens standardafvigelse?

• Populationens standardafvigelse er kendt → z-test. Det er tilfældet, når en proces er så veldokumenteret, at populationens variabilitet (σ) regnes som en fast, kendt størrelse. I praksis er det sjældent.
• Standardafvigelse estimeret fra stikprøven selv → enkeltstikprøve-t-test. Det er det næsten universelle tilfælde: du kender ikke populationens σ og udregner den fra de indsamlede data. T-testen indregner den ekstra usikkerhed ved estimatet.

I langt de fleste virkelige undersøgelser er populationens standardafvigelse ukendt — så enkeltstikprøve-t-testen er standardvalget. Z-testen er forbeholdt meget kontrollerede industrielle sammenhænge eller didaktiske øvelser. I store stikprøver er resultaterne praktisk talt ens, men i små stikprøver er t-testen den eneste korrekte.

Numeriske data: sammenligne to grupper

Det er langt det hyppigste scenarie: du har en numerisk variabel og vil vide, om dens gennemsnit adskiller sig mellem to grupper. Er den gennemsnitlige smerte lavere med forbinding A eller B? Er tiden på sitet højere i den nye version eller den gamle? Ændrede den gennemsnitlige butiksomsætning sig efter træningen?

To beslutninger afgør testen. Den første er, om grupperne er uafhængige eller parrede; den anden er, om de parametriske forudsætninger holder.

Uafhængige grupper. Det er forskellige personer i hver gruppe uden forbindelse mellem målingerne. Hvis de numeriske data er omtrent normalfordelte, så brug t-test for uafhængige stikprøver. Den sammenligner de to gennemsnit og leverer p-værdi og konfidensinterval for forskellen.

Parrede grupper. Målingerne er sammenkædede: den samme person før og efter, eller par dannet med vilje. Her er den korrekte test parret t-test, som analyserer forskellene inden for hvert par. At behandle parrede data som uafhængige spilder den største styrke ved det parrede design og skjuler ofte en reel effekt.

Når normaliteten svigter. Hvis stikprøven er lille, der er ekstreme værdier, eller fordelingen tydeligt er skæv, så skift t-testen ud med det ikke-parametriske alternativ, samlet på sitet under Wilcoxon og Mann-Whitney-beregneren. For to uafhængige grupper er testen Mann-Whitney; for to parrede grupper er det Wilcoxon signed-rank. Begge arbejder med rangordenen af værdierne i stedet for gennemsnit og kræver ikke normalfordeling.

Numeriske data: sammenligne tre eller flere grupper

Når der er en numerisk variabel og tre eller flere grupper at sammenligne, dukker en farlig fristelse op: at køre flere t-test parvis. Lad være. Hver t-test bærer en risiko for en falsk positiv; lægger man dem sammen, hober risikoen sig op, og sandsynligheden for at "finde" en ikke-eksisterende forskel skyder i vejret. Løsningen er en enkelt test, der vurderer alle grupperne på én gang.

Denne test er ANOVA (variansanalyse), tilgængelig under ANOVA og k-stikprøver-beregneren. ANOVA besvarer et globalt spørgsmål: "er der nogen forskel mellem gennemsnittene i disse grupper?". Den er den naturlige udvidelse af t-testen til tre eller flere grupper og antager, ligesom den, at data omtrent er normalfordelte, og at gruppevarianserne ligner hinanden.

Når disse forudsætninger ikke holder — skæv fordeling, små stikprøver, ekstreme værdier — er alternativet Kruskal-Wallis, også tilgængelig i samme k-stikprøver-beregner. Kruskal-Wallis er den ikke-parametriske pendant til ANOVA: arbejder med værdiernes rangorden og kræver ikke normalitet. Det er i praksis generaliseringen af Mann-Whitney-testen til tre grupper eller flere.

Det er værd at bemærke, hvad disse test ikke siger: både ANOVA og Kruskal-Wallis fortæller kun, at der findes en eller anden forskel mellem grupperne, uden at pege på hvilke par der adskiller sig. At identificere de specifikke par er opgaven for de såkaldte multiple sammenligninger (post hoc-test), et trin der kommer bagefter og kun giver mening, når den globale test allerede har vist signifikans.

Parametrisk eller ikke-parametrisk?

Valget mellem den parametriske og den ikke-parametriske version af en test er dukket op i alle de tidligere afsnit. Det er værd at samle det ét sted, fordi det er en af de beslutninger, der skaber mest tvivl.

Parametriske test — z-test, t-test, ANOVA — sammenligner gennemsnit og hviler på antagelser om datafordelingen, især normalitet. Når man sammenligner grupper, forventer de også, at varianserne er ens (homogenitet). Når disse forudsætninger holder, er de parametriske test de mest styrkefulde: de opdager reelle forskelle med mindre stikprøver.

Ikke-parametriske test — Mann-Whitney, Wilcoxon, Kruskal-Wallis — kræver ikke normalitet. I stedet for at bruge de rå værdier ordner de dem og arbejder med rangene (positionen for hver værdi i den ordnede række). Derfor er de robuste over for ekstreme værdier og fungerer fint med skæve fordelinger, men på bekostning af lidt mindre styrke, når data ville have været normale.

Parrene er lette at huske: Mann-Whitney erstatter t-testen for uafhængige grupper; Wilcoxon signed-rank erstatter den parrede t-test; Kruskal-Wallis erstatter ANOVA. I alle tilfælde er nulhypotesen ikke længere "gennemsnittene er ens", men i essensen "fordelingerne er ens" — en subtil forskel i fortolkning, der er værd at notere i rapporten.

Estimere i stedet for at teste

Ikke alle statistiske spørgsmål er hypotesetest. Ofte vil du slet ikke sammenligne noget — du vil bare estimere en værdi i populationen med en usikkerhedsmargin. "Hvad er kundernes gennemsnitlige tilfredshed?" "Hvad er prævalensen af et problem?" Til de spørgsmål er instrumentet konfidensintervallet, ikke en p-værdi.

Konfidensintervallet leverer et interval af plausible værdier for populationens reelle parameter, i stedet for et "ja eller nej"-svar. Det er mere informativt end testen selv: det viser samtidig effektstørrelsen og estimatets præcision. Et smalt interval betyder et præcist estimat; et bredt interval betyder stor usikkerhed — typisk på grund af en lille stikprøve.

Og der er et tidspunkt, hvor statistik skal ind før dataindsamlingen: planlægningen af stikprøvestørrelsen. For lidt indsamling giver et studie uden styrke til at opdage effekten; for meget indsamling spilder tid og ressourcer. For at dimensionere stikprøven korrekt har sitet en stikprøvestørrelse-beregner til generelle studier og en stikprøveberegner til A/B-test, specifikt rettet mod konverteringseksperimenter.

Oversigtstabel: hvilken test bruger du

Tabellen nedenfor samler hele guiden. Find rækken, der beskriver din situation, tjek datatypen, og gå videre til den anbefalede test — navnet på hver beregner er et direkte link til værktøjet.

Almindelige fejl, når man vælger test

Selv med huskelisten ved hånden går nogle fejltrin igen. At kende dem på forhånd beskytter din analyse:

1. At bruge en middelværditest på kategoriske data. Grundfejlen. "Købte eller købte ikke" er kategorisk og kræver proportionstest eller chi², aldrig t-test. Fastlæg variabeltypen før alt andet.
2. At ignorere parringen i dataene. Målinger "før og efter" på samme person er parrede. At behandle dem som uafhængige spilder information og skjuler typisk effekten. Det samme gælder par dannet med vilje.
3. At sammenligne tre eller flere grupper med flere t-test. Hver ekstra t-test øger risikoen for en falsk positiv. Til tre eller flere grupper, brug ANOVA eller Kruskal-Wallis, der vurderer det hele på én gang.
4. At fastholde den parametriske test, når forudsætningerne er brudt. En lille skæv stikprøve med ekstreme værdier er ikke terræn for t-testen. Når normaliteten ikke holder, så skift til rangversionen.
5. At bruge z-test, når standardafvigelsen er ukendt. Hvis du estimerede standardafvigelsen ud fra selve stikprøven, er den korrekte test t, ikke z — især med små stikprøver.
6. At forveksle signifikans med effektstørrelse. At vælge den rigtige test giver en pålidelig p-værdi, men p-værdien siger ikke, om forskellen er stor. Kig altid på effektstørrelsen eller konfidensintervallet for at vurdere den praktiske relevans.
7. At vælge testen efter at have set dataene. At beslutte testen først efter at have kigget på, hvilken der "giver signifikans", skævvrider resultatet. Fastlæg testen ud fra datatypen og undersøgelsens design, helst før indsamlingen.

Ofte stillede spørgsmål