Calculatrice de significativité du test A/B
Vérifiez si la différence entre deux taux de conversion est statistiquement significative. Saisissez le nombre de visiteurs et de conversions pour les variantes A et B afin d’obtenir les deux taux, le gain relatif, un intervalle de confiance pour la différence, le score z et la valeur p bilatérale.
Foire aux questions
Quel test est utilisé ?
Un test z bilatéral de comparaison de deux proportions avec erreur standard combinée, le test standard pour comparer les taux de conversion de deux groupes.
Que m’indique la valeur p ?
La probabilité d’observer une différence au moins aussi grande si les deux variantes avaient en réalité le même taux de conversion. Si elle est inférieure à 1 moins le niveau de confiance, par exemple à 0.05 pour un niveau de confiance de 95%, le résultat est considéré comme significatif.
Qu’est-ce que le gain relatif ?
La différence entre le taux de conversion de B et celui de A, exprimée en pourcentage du taux de A. Un taux de 2.5% contre 2% représente un gain de 25%.
Puis-je arrêter le test dès qu’il devient significatif ?
Vérifier les résultats à plusieurs reprises et arrêter dès le premier résultat significatif augmente le nombre de faux positifs. Déterminez la taille de l’échantillon à l’avance, par exemple avec la calculatrice de taille d’échantillon pour test A/B, puis évaluez le résultat une seule fois.
Que montre l’intervalle de la différence ?
La plage de valeurs plausibles pour la différence entre le taux de B et celui de A, en points de pourcentage, au niveau de confiance choisi. S’il inclut zéro, le test n’est pas significatif.
Fonctionne-t-il avec de très petits nombres ?
Le test z repose sur une approximation normale et nécessite suffisamment de conversions dans chaque groupe, en règle générale au moins 10. Avec moins de conversions, le résultat n’est pas fiable.