A/B testa izlases lieluma kalkulators
Pirms A/B testa sākšanas noskaidrojiet, cik apmeklētāju nepieciešams katram variantam. Ievadiet sākotnējo reklāmguvumu rādītāju, mazāko relatīvo uzlabojumu, ko vēlaties noteikt, nozīmīguma līmeni un statistisko jaudu.
Bieži uzdotie jautājumi
Kā aprēķina izlases lielumu?
Ar standarta formulu divu proporciju salīdzināšanai divpusējā testā, izmantojot sākotnējo rādītāju, rādītāju pēc uzlabojuma, nozīmīguma līmeņa kritisko vērtību un jaudas vērtību.
Kas ir minimālais nosakāmais efekts?
Mazākās relatīvās izmaiņas, ko vēlaties, lai tests droši noteiktu. Ja sākotnējais rādītājs ir 3% un efekts 10%, tas nozīmē noteikt izmaiņas līdz 3.3%.
Ko nozīmē statistiskā jauda?
Varbūtība, ka tests noteiks efektu, ja tas patiešām pastāv. Bieži izvēlas 80%; lielākai jaudai vajadzēs vairāk apmeklētāju.
Kāpēc nelielu efektu noteikšanai vajag tik daudz apmeklētāju?
Nepieciešamais izlases lielums aptuveni pieaug apgriezti proporcionāli efekta kvadrātam. Lai noteiktu uz pusi mazāku efektu, vajadzēs aptuveni četras reizes vairāk apmeklētāju.
Cik ilgi ilgs mans tests?
Daliet kopējo izlases lielumu ar apmeklētāju skaitu dienā. Veiciet testu pilnas nedēļas, lai tajā būtu pārstāvētas gan darbdienas, gan nedēļas nogales.
Kādu nozīmīguma līmeni izvēlēties?
Parasti pēc noklusējuma izvēlas 95%. Izmantojiet 99%, ja kļūdaini pozitīvs rezultāts radītu lielas izmaksas; tas palielina nepieciešamo izlases lielumu.