Calculadora de significación de pruebas A/B
Comprueba si la diferencia entre dos tasas de conversión es estadísticamente significativa. Introduce el número de visitantes y conversiones de las variantes A y B para obtener ambas tasas, la mejora relativa, un intervalo de confianza para la diferencia, la puntuación z y el valor p bilateral.
Preguntas frecuentes
¿Qué prueba se utiliza?
Una prueba z bilateral para dos proporciones con error estándar combinado, la prueba estándar para comparar las tasas de conversión de dos grupos.
¿Qué me indica el valor p?
La probabilidad de observar una diferencia al menos así de grande si ambas variantes tuvieran realmente el mismo rendimiento de conversión. Si es inferior a 1 menos el nivel de confianza, por ejemplo, inferior a 0.05 con un nivel del 95%, el resultado se considera significativo.
¿Qué es la mejora relativa?
Cuánto más alta o más baja es la tasa de conversión de B que la de A, como porcentaje de la tasa de A. Un 2% frente a un 2.5% supone una mejora del 25%.
¿Puedo detener la prueba en cuanto sea significativa?
Comprobar repetidamente y detenerse al primer resultado significativo aumenta los falsos positivos. Decide el tamaño de la muestra de antemano, por ejemplo, con la calculadora del tamaño de muestra para pruebas A/B, y evalúa los resultados una sola vez.
¿Qué muestra el intervalo de la diferencia?
El rango de valores plausibles de la tasa de B menos la tasa de A en puntos porcentuales, con el nivel de confianza elegido. Si incluye cero, la prueba no es significativa.
¿Funciona con números muy pequeños?
La prueba z se basa en una aproximación normal y necesita suficientes conversiones en cada grupo; como regla práctica, al menos 10. Con menos, el resultado no es fiable.