Calcolatrice della significatività del test A/B
Verificate se la differenza tra due tassi di conversione è statisticamente significativa. Inserite visitatori e conversioni per le varianti A e B e ottenete entrambi i tassi, l'incremento relativo, un intervallo di confidenza per la differenza, lo z-score e il p-value bilaterale.
Domande frequenti
Quale test viene usato?
Un test z bilaterale per due proporzioni con errore standard combinato, il test standard per confrontare i tassi di conversione di due gruppi.
Cosa indica il p-value?
È la probabilità di osservare una differenza almeno altrettanto grande se entrambe le varianti avessero effettivamente lo stesso tasso di conversione. Se è inferiore a 1 meno il livello di confidenza, ad esempio inferiore a 0.05 con il 95%, il risultato è considerato significativo.
Cos'è l'incremento relativo?
Indica quanto il tasso di conversione di B è superiore o inferiore a quello di A, espresso come percentuale del tasso di A. Il 2% rispetto al 2.5% corrisponde a un incremento del 25%.
Posso interrompere il test non appena è significativo?
Controllare ripetutamente i risultati e fermarsi alla prima significatività aumenta i falsi positivi. Decidete in anticipo la dimensione del campione, ad esempio con la Calcolatrice della dimensione del campione per test A/B, e valutate i risultati una sola volta.
Cosa mostra l'intervallo della differenza?
L'intervallo dei valori plausibili per il tasso di B meno quello di A, espresso in punti percentuali e al livello di confidenza scelto. Se comprende lo zero, il test non è significativo.
Funziona con numeri molto piccoli?
Il test z si basa su un'approssimazione normale e richiede un numero sufficiente di conversioni in ciascun gruppo: come regola pratica, almeno 10. Con meno conversioni, il risultato non è affidabile.