A/B testa statistiskā nozīmīguma kalkulators
Pārbaudiet, vai atšķirība starp diviem reklāmguvumu rādītājiem ir statistiski nozīmīga. Ievadiet A un B variantu apmeklētāju un reklāmguvumu skaitu, lai iegūtu abus rādītājus, relatīvo pieaugumu, atšķirības ticamības intervālu, z rādītāju un divpusējo p-vērtību.
Bieži uzdotie jautājumi
Kāds tests tiek izmantots?
Divpusējs divu proporciju z-tests ar apvienotu standartkļūdu — standarta tests divu grupu reklāmguvumu rādītāju salīdzināšanai.
Ko man parāda p-vērtība?
Tā ir varbūtība novērot vismaz tik lielu atšķirību, ja abu variantu reklāmguvumu rādītāji patiesībā būtu vienādi. Ja p-vērtība ir mazāka par 1 mīnus ticamības līmenis, piemēram, zem 0.05 pie 95% līmeņa, rezultāts tiek uzskatīts par statistiski nozīmīgu.
Kas ir relatīvais pieaugums?
Par cik procentiem B reklāmguvumu rādītājs ir augstāks vai zemāks par A rādītāju. Pieaugums no 2% līdz 2.5% ir 25%.
Vai varu pārtraukt testu, tiklīdz rezultāts kļūst nozīmīgs?
Atkārtotas pārbaudes un apstāšanās pie pirmā nozīmīgā rezultāta palielina kļūdaini pozitīvu rezultātu iespēju. Iepriekš nosakiet izlases lielumu, piemēram, izmantojot A/B testa izlases lieluma kalkulatoru, un novērtējiet rezultātu vienreiz.
Ko parāda atšķirības intervāls?
Ticamo vērtību diapazonu starpībai starp B un A rādītājiem procentpunktos pie izvēlētā ticamības līmeņa. Ja intervālā ietilpst nulle, tests nav statistiski nozīmīgs.
Vai tas darbojas ar ļoti maziem skaitļiem?
z-tests balstās uz normālo tuvinājumu, un katrā grupā vajadzīgs pietiekams reklāmguvumu skaits — parasti vismaz 10. Ja to ir mazāk, rezultāts nav uzticams.