A/B-test i dansk digital marketing: sådan læser du resultaterne uden at narre dig selv

A/B-test er det tætteste, en digital marketingafdeling kommer på et kontrolleret eksperiment. Alligevel ender mange danske teams med at afslutte tests for tidligt, fejre falske vindere og bygge en roadmap på resultater, der ikke gentager sig næste kvartal. Denne artikel viser, hvordan du undgår de typiske faldgruber — fra hypotese til rapport — og hvilke beregnere du bruger undervejs.

Af Vinícius Vianna · 12. juni 2026 · Læsetid: ~12 min

Hvad er en A/B-test (og hvorfor kører så mange teams den forkert)

En A/B-test er et randomiseret eksperiment, hvor besøgende på et website, modtagere af et nyhedsbrev eller eksponeringer for en annonce tilfældigt opdeles i to grupper: en kontrol (A), der ser den nuværende oplevelse, og en variant (B), der ser ændringen. Bagefter sammenlignes en på forhånd defineret nøgletal — typisk en konverteringsrate, en click-through-rate eller en gennemsnitlig ordreværdi — mellem de to grupper. Hvis forskellen er stor nok til ikke at kunne forklares af tilfældig variation, har du belæg for at sige, at ændringen virker.

I dansk digital marketing er A/B-tests blevet hverdag for e-commerce-butikker, fintech-onboarding, SaaS-sider og medieproduktets paywall. Meta-annoncer, Google Ads og e-mail-platforme som Apsis, MailerLite og ActiveCampaign har alle indbyggede splittests. Værktøjer som GrowthBook, VWO, Optimizely og Convertize står for selve eksperimentplatformen på sitet, mens dashboards i Looker, Mixpanel eller GA4 leverer tallene.

Problemet er sjældent værktøjet. Det er, at testen ikke designes som et statistisk eksperiment fra start. Resultatet er, at et stort antal "vindere" bliver implementeret, uden at den lovede uplift nogensinde dukker op i kvartalstallene. Studier fra Microsoft og Booking.com viser, at typisk under en tredjedel af de varianter, der ser ud til at vinde, faktisk skaber værdi, når de rulles ud i produktion. For at hæve den andel skal man tænke som en forsker — ikke som en gambler.

Definér hypotesen: hvad tester du egentlig?

En god A/B-test starter med en skriftlig hypotese på én sætning. Skabelonen, mange teams bruger, ser sådan ud:

"Hvis vi ændrer [element] fra [nuværende tilstand] til [ny tilstand], så vil [primær metric] stige med mindst [MDE], fordi [adfærdsteori]."

Et konkret eksempel fra en dansk webshop: "Hvis vi flytter feltet med rabatkoden fra trin 1 til trin 3 i checkout, så vil konverteringsraten stige med mindst 0,5 procentpoint, fordi færre kunder forlader siden for at søge efter en kode, før de har commitet til ordren." Den sætning binder fire ting sammen: hvad du ændrer, hvad du måler, hvor stor en effekt der ville være værd at få, og hvorfor du tror det vil ske. Uden de fire elementer er testen ikke et eksperiment — det er et håb.

Definer også en sekundær metric og en eller flere guardrails. Den primære er den, der afgør om varianten vinder; sekundære giver kontekst (fx gennemsnitlig ordreværdi, scroll-dybde); guardrails er dem, der ikke må forværres, selv hvis primary stiger (fx churn, retention efter 30 dage, antal retursager). At blande alle metrics sammen i én "score" eller at læse den, der ser bedst ud efter testen, er en af de mest udbredte måder at narre sig selv på.

Valg af metric: konvertering, CTR, ARPU, omsætning?

Den måde du måler effekten på, bestemmer hvilken statistisk test, der er korrekt — og dermed hvilken beregner du skal bruge bagefter. Der findes grundlæggende to typer metrics:

• Proportioner og rater: konverteringsrate, CTR, åbningsrate, klik-på-knap-rate, opt-in-rate. Her tæller du to ting pr. besøgende (konverterede eller ej) og beregner andelen. Den statistiske analyse er en proportionstest, og A/B-versionen er A/B-test-beregneren her på sitet.
• Kontinuerlige gennemsnit: ARPU (gennemsnitlig omsætning pr. bruger), gennemsnitlig ordreværdi, gennemsnitlig sessionstid, gennemsnitlig antal sidevisninger. Her analyserer du gennemsnit pr. arm, og den korrekte test er en t-test (Student) — typisk Welchs version, der ikke kræver lige varianser.

Mange teams blander det sammen og kører en proportionstest på omsætning eller en t-test på konverteringer. Det giver mærkelige p-værdier og misvisende konfidensintervaller. Tjek altid om din metric er en tæller÷nævner-andel eller et gennemsnit af en numerisk værdi pr. bruger, før du vælger test.

Et særligt problem opstår med omsætning. Omsætning pr. bruger er ekstremt skæv — de fleste brugere køber ingenting (værdi nul), nogle få køber meget. Et simpelt t-test-gennemsnit kan blive trukket af enkelte storkøbere. Løsningen er typisk at rapportere både konverteringsraten (en proportion) og en separat ARPPU (gennemsnitlig omsætning pr. konverteret bruger), eller bruge bootstrap og winsorizing for at gøre estimatet mere robust.

Før du starter: stikprøvestørrelse og minimum varighed

Den vigtigste regel om A/B-test er den, der oftest brydes: du skal beslutte testens størrelse, før den starter. Hvis du lader trafikken løbe "indtil resultatet bliver signifikant", inflaterer du den falske positive rate massivt — det vender vi tilbage til i sektionen om peeking. Den korrekte rækkefølge er:

1. Estimer den nuværende baseline-konverteringsrate fra historiske data (sidste 4 uger er et fornuftigt udgangspunkt for de fleste sites).
2. Vælg en Minimum Detectable Effect (MDE): den mindste uplift, der ville være forretningsmæssigt værd at implementere. Ikke den, du håber på — den, der ville være kritisk.
3. Vælg alfa (typisk 5 %) og styrke (typisk 80 %).
4. Beregn stikprøvestørrelsen pr. arm med Stikprøve til A/B-test her på sitet.

Et eksempel: din baseline er 4 % konvertering, og du beslutter at en uplift på 0,5 procentpoint absolut (altså fra 4,0 % til 4,5 %) er det mindste, der ville være værd at implementere. Med alfa 5 % og styrke 80 % har du brug for cirka 25.000 besøgende pr. arm — eller 50.000 i alt. På et site med 7.000 besøgende om dagen tager det cirka en uge. På et site med 700 besøgende om dagen tager det cirka 10 uger, og så er testen sandsynligvis ikke det rette værktøj.

Minimum varighed er en separat regel: kør altid i mindst én fuld uge, helst to, uanset hvor hurtigt stikprøven nås. Trafikken på onsdage opfører sig ikke som lørdage, og en test, der kun har set hverdage, kan ikke generaliseres til weekend-trafik. For B2B-sider med tydelig uge-cyklus kan tre uger være nødvendigt for at fange et "normalt" mønster.

Forholdet mellem stikprøvestørrelse og MDE er ikke-lineært. Vil du detektere en lille effekt, skal du have meget mere trafik:

Anvendt eksempel: landing page med 12.000 besøg pr. arm

Lad os arbejde med konkrete tal. En dansk B2C-virksomhed sælger forsikringspakker. På deres prisside ligger den nuværende konverteringsrate på 4,0 % (kontrol, A). De afprøver en ny pris-tabel med tydeligere "anbefalet"-fremhævning (variant, B). Efter en planlagt to-ugers periode har testen samlet:

• Arm A (kontrol): 12.000 besøgende, 480 konverteringer → 4,00 %
• Arm B (variant): 12.000 besøgende, 576 konverteringer → 4,80 %

Den absolutte uplift er 0,80 procentpoint; den relative uplift er 20 %. Indtastet i A/B-test-beregneren giver det en p-værdi på cirka 0,005 og et 95 % konfidensinterval for forskellen mellem 0,25 og 1,35 procentpoint. Det er statistisk signifikant, og hele konfidensintervallet ligger over nul — så vi kan sige med rimelig sikkerhed, at varianten virkelig konverterer bedre.

Læg mærke til, at vi rapporterer tre tal sammen: punktestimatet (uplift 0,80 pp), konfidensintervallet for forskellen (0,25–1,35 pp) og p-værdien (0,005). Det er det fulde billede — p-værdien alene siger ikke noget om effektstørrelsen, og konfidensintervallet alene siger ikke noget om sandsynligheden for at se en lige så stor forskel ved tilfældighed. Vil du selv beregne KI for en enkelt rate eller forskel, så brug Konfidensinterval-beregneren.

P-værdi, konfidensinterval og "peeking"-fejlen

P-værdien er sandsynligheden for at observere en lige så stor (eller større) forskel mellem A og B, under antagelse af at der i virkeligheden ikke er nogen forskel. Hvis p er 0,03, betyder det at i en verden hvor varianten ikke virker, ville du se så stor en stikprøveforskel ca. 3 gange ud af 100 alene af tilfældighed. Når vi vedtager alfa = 5 %, accepterer vi en 5 % risiko for at konkludere "vinder" når der faktisk ikke er nogen reel effekt — en falsk positiv.

Den 5 %-garanti gælder kun, hvis du analyserer testen én gang, på den planlagte slutdato. Den brydes, hvis du kigger flere gange og stopper testen så snart p falder under 0,05 — fænomenet kaldes peeking. Hvis du tjekker dagligt i en to-ugers test, kan din reelle falske positive rate stige til 20–30 %, ikke 5 %. Det er en af de største årsager til, at "vindende" varianter sjældent giver den lovede effekt, når de implementeres.

Der findes tre forsvarslinjer mod peeking:

1. Diskussionsregel: bestem deadline og stikprøve på forhånd og se kun på resultatet til slut. Simpelt og gratis, men kræver disciplin.
2. Sekventielle metoder: design tests så det er statistisk legitimt at tjekke undervejs. Always-Valid p-values, mSPRT og Bayesian-stop-regler er eksempler. GrowthBook og Optimizely tilbyder dem indbygget.
3. Multipel-test-korrektion: hvis du skal kigge N gange, så juster din alfa nedad — fx Bonferroni alfa÷N. Det er konservativt, men sikkert.

Konfidensintervallet er det mere informative tal end p-værdien alene. Et 95 % KI på uplift på [0,25 pp; 1,35 pp] siger, at de værdier for den sande uplift, som er forenelige med dine data, ligger derinde. Hele intervallet over nul betyder signifikans; et interval der spænder fra "lille positiv" til "stor positiv" betyder, at selv worst case er værd at tage med.

Praktisk × statistisk signifikans

Statistisk signifikans betyder ikke automatisk forretningsmæssig værdi. Med tilstrækkeligt store stikprøver bliver selv minimale forskelle "signifikante". Et site med 500.000 besøg pr. arm kan opdage en uplift på 0,1 procentpoint som klart signifikant — men det er måske ikke værd at implementere, hvis det kræver to ugers udviklingstid og en omskrivning af checkout-flowet.

Den modsatte fælde er også reel: en test med 800 besøgende pr. arm kan vise en flot 35 % relativ uplift, der ikke er statistisk signifikant. Det betyder ikke, at varianten ikke virker — det betyder, at testen ikke har nok styrke til at skelne signal fra støj. Mange teams læser sådan et resultat som "B vinder!" og roller varianten ud; lige så mange læser det som "B taber!" og dropper en god idé. Begge er forkerte. Det rigtige svar er, at testen var underdimensioneret.

Definér derfor altid på forhånd hvad der ville være forretningsmæssigt værd at implementere, ikke kun "hvad du håber på". Et godt princip er at sætte MDE til den uplift, hvor break-even på implementeringsomkostningen nås inden for fx tre måneder. Hvis testen ikke har nok trafik til at detektere den effekt, så vid det inden start — og overvej om testen overhovedet er det rigtige værktøj, eller om du skal teste på et trin højere oppe i tragten, hvor trafikken er større.

De 8 mest almindelige fælder i danske A/B-tests

1. Peeking: at tjekke testen dagligt og stoppe ved første signifikante p. Inflaterer falske positiver fra 5 % til 20–30 %. Brug forudplanlagt stop eller sekventiel test.
2. Sample Ratio Mismatch (SRM): når trafikken faktisk fordeler sig 47/53 i stedet for den planlagte 50/50, er der typisk en bug — bot-filtrering, cookie-konflikt, redirect-fejl. Tjek splittet med en chi-i-anden-test før du tolker resultatet.
3. Test i få timer eller dage uden uge-cyklus: hverdage og weekender konverterer forskelligt. Mandagskunder og søndagskunder er ikke samme segment. Kør altid minimum én fuld uge.
4. Swap af gruppe og kontrol midt i: at omdøbe arme, "fryse" tildelinger eller ændre opdelingen efter start, ødelægger randomiseringen. Hvis du opdager en fejl, så start forfra.
5. Betalt media kun på den ene arm: hvis kampagner i Meta eller Google Ads sender trafik direkte til variant-URL'en, blandes effekten af din ændring sammen med kanal-effekten. Sørg for at trafikfordelingen sker efter, brugeren er landet, ikke før.
6. Multiple metrics uden korrektion: tester du 10 metrics samtidigt, vil omtrent én af dem vise p < 0,05 ved ren tilfældighed. Vælg én primær på forhånd og rapportér resten som beskrivende.
7. Måler kun øjeblikkelig konvertering: en variant, der konverterer flere lavkvalitets-leads, kan ligne en vinder på dag ét og være et tab på dag 90 (lavere LTV, højere churn, flere returer). Inkludér en retention-guardrail.
8. Ignorerer segmentering: en variant kan vinde i alt, men tabe på mobil. Eller vinde på nye besøgende og tabe på tilbagevendende. Planlæg evt. segmenteret analyse på forhånd — efter-hoc-jagt efter "her virker det da" er en variant af peeking.

Hvornår skal man stoppe og hvordan rapporteres resultatet

Stop-betingelsen er enten den, du fastlagde på forhånd (typisk: planlagt stikprøve nået + minimum varighed i kalenderuger), eller en på forhånd defineret sekventiel regel. Stop ikke fordi p lige er røget under 0,05 — og lige så vigtigt: stop ikke fordi p stadig er højt, hvis stikprøven er nået. En test, der "ikke er signifikant" efter planlagt n, er et legitimt resultat: det betyder, at hvis der er en effekt, er den mindre end din MDE.

Rapporten skal indeholde mindst seks ting, ikke kun "B vandt":

• Den nøjagtige hypotese, der blev testet (kopieret fra planen).
• Primær metric, sekundær metric og guardrails — med tal for hver arm.
• Effekt-størrelse i absolutte og relative tal (fx +0,80 pp / +20 %).
• Konfidensinterval for forskellen.
• P-værdi og signifikansniveau.
• Beslutning og begrundelse: roll out, drop, eller iterér og test igen.

En kort post-mortem er guld værd: hvad lærte vi om brugeradfærd, der kan informere næste test? Selv en tabt test er en investering i viden, hvis den dokumenteres ordentligt.

Værktøjer i Danmark og internationalt

Eksperimentplatforme bruges typisk til at administrere selve splittet, tracking og opdeling. På det danske marked er Optimizely (med europæisk hovedkvarter i Stockholm) en udbredt enterprise-løsning; VWO og Convertize er mid-market-alternativer; GrowthBook er et populært open source-alternativ med selvhostet eller cloud-version. Mange e-commerce-platforme (Shopify, Centra) har også indbyggede A/B-test-moduler. Til e-mail-tests bruges Apsis, Heyloyalty og MailerLite — pas på, at deres "vinder"-algoritmer ofte er proprietære og sjældent gennemskuelige.

Til selve analysen — særligt når du vil dobbelttjekke et resultat fra platformen, lave en post-hoc-beregning eller validere et SRM — er beregnerne her på Statistik Beregner hurtige og gratis. Brug A/B-test-beregneren til selve sammenligningen, Stikprøve til A/B-test før du starter, Proportionstest for standalone-analyse af en rate, Konfidensinterval for at tolke usikkerheden om en estimeret andel, og Chi-i-anden hvis du har tre eller flere varianter, eller skal tjekke SRM.

Ofte stillede spørgsmål

Referencer

• Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
• Kohavi, R., & Longbotham, R. (2015). Online controlled experiments and A/B tests. In Encyclopedia of Machine Learning and Data Mining. Springer.
• GrowthBook documentation: statistical methods, sequential testing, and SRM checks — docs.growthbook.io/statistics.
• Microsoft Experimentation Platform (ExP): Engineering and statistical foundations for A/B-testing at scale — microsoft.com/research/exp.
• Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.