Calculadora de significância de teste A/B
Verifique se a diferença entre duas taxas de conversão é estatisticamente significativa. Insira os números de visitantes e conversões das variantes A e B para obter as duas taxas, o aumento relativo, um intervalo de confiança para a diferença, o escore z e o valor p bicaudal.
Perguntas frequentes
Qual teste é usado?
Um teste z bicaudal para duas proporções, com erro padrão combinado, o teste padrão para comparar as taxas de conversão de dois grupos.
O que o valor p me diz?
É a probabilidade de observar uma diferença pelo menos tão grande quanto esta se as duas variantes tivessem, na realidade, a mesma taxa de conversão. Se for inferior a 1 menos o nível de confiança, por exemplo, inferior a 0.05 com 95% de confiança, o resultado é considerado significativo.
O que é o aumento relativo?
É o quanto a taxa de conversão de B é maior ou menor que a de A, em porcentagem da taxa de A. Uma taxa de 2% contra 2.5% representa um aumento de 25%.
Posso encerrar o teste assim que o resultado for significativo?
Verificar repetidamente e parar no primeiro resultado significativo aumenta os falsos positivos. Defina o tamanho da amostra com antecedência, por exemplo com a Calculadora de tamanho de amostra para teste A/B, e avalie uma vez.
O que mostra o intervalo da diferença?
A faixa de valores plausíveis para a taxa de B menos a taxa de A, em pontos percentuais, no nível de confiança escolhido. Se incluir zero, o teste não é significativo.
Funciona com números muito pequenos?
O teste z depende de uma aproximação normal e precisa de conversões suficientes em cada grupo; como regra prática, pelo menos 10. Com menos, o resultado não é confiável.