A/B Testi Anlamlılık Hesaplayıcı
İki dönüşüm oranı arasındaki farkın istatistiksel olarak anlamlı olup olmadığını kontrol edin. A ve B varyantları için ziyaretçi ve dönüşüm sayılarını girerek iki oranı, göreli artışı, farkın güven aralığını, z-skorunu ve çift yönlü p-değerini alın.
Sık sorulan sorular
Hangi test kullanılır?
Birleştirilmiş standart hatayla çift yönlü iki oranlı z-testi kullanılır; iki grubun dönüşüm oranlarını karşılaştırmak için standart test budur.
p-değeri neyi gösterir?
Her iki varyantın da gerçekte eşit oranda dönüşüm sağlaması durumunda, en az bu kadar büyük bir fark görme olasılığını gösterir. Güven düzeyinin 1 eksi değerinden düşükse (örneğin %95 güven düzeyinde 0.05'in altındaysa) sonuç anlamlı sayılır.
Göreli artış nedir?
B'nin dönüşüm oranının, A'nın oranına kıyasla yüzde olarak ne kadar yüksek veya düşük olduğunu gösterir. %2'ye karşı %2.5, %25 artış demektir.
Testi anlamlı sonuç çıkar çıkmaz durdurabilir miyim?
Sonucu tekrar tekrar kontrol edip ilk anlamlı sonuçta durmak yanlış pozitifleri artırır. Örneğin A/B Testi Örneklem Büyüklüğü Hesaplayıcı ile örneklem büyüklüğüne önceden karar verin ve testi bir kez değerlendirin.
Fark aralığı neyi gösterir?
Seçilen güven düzeyinde, yüzde puan olarak B'nin oranı eksi A'nın oranı için makul değerler aralığını gösterir. Sıfırı kapsıyorsa test anlamlı değildir.
Çok küçük sayılarla çalışır mı?
z-testi normal yaklaşımı kullanır ve her grupta yeterli sayıda dönüşüm gerektirir; genel bir kural olarak en az 10 dönüşüm gerekir. Daha azında sonuç güvenilir değildir.