A/B Test Hesaplayıcı
A/B testi istatistiksel anlamlılığını (p-değeri, z-puanı) veya gerekli örneklem büyüklüğünü hesaplayın. İki taraflı z-testi iki oran için. Kayıt gerekmiyor.
Varyant A (kontrol)
Varyant B (test)
Karar
Önemli değil — daha fazla veri toplamak
Özgüven: 84,71% · p-değeri: 0,1529
Dönüşüm oranı A
10%
Dönüşüm oranı B
12%
Yükselme
+20%
z-skoru
1,429
İki orantılı z-test formülü
z = (p₂ − p₁) / √(p̄ · (1 − p̄) · (1/n₁ + 1/n₂))
p̄, her iki grup arasında birleştirilmiş dönüşüm oranıdır. İki taraflı p-değeri, standart normal dağılımla hesaplanır.
Hesap makinesi nasıl kullanılır
Bir araç, bir ürün analistinin her iki işini kapsar: bir testi başlamadan önce planlamak ve bittikten sonra anlamını değerlendirmek.
Bir mod seç
Üstteki anahtarı kullanarak Önemlilik (toplanan verileri analiz etmek) ve Örneklem Boyutu (gelecekteki bir test planlamak) arasında geçiş yapabilirsiniz.
Veri girin
Önem için — her varyant için ziyaretçi ve dönüşümler. Örneklem büyüklüğü için — temel dönüşüm, MDE, anlamlılık seviyesi ve istatistiksel güç.
Sonucu okuyun
p-değeri ve z-puanı ile bir karar alırsınız, yani her test varyantına tahsis etmeniz gereken tam kullanıcı sayısı.
Neden bu hesaplayıcıyı kullanıyorsunuz
İki alet bir arada
Testten önce örnek boyutunu planlayın. Sonrasında istatistiksel anlamlılığı kontrol edin. Hizmetler arasında geçiş yapmaya gerek yok.
Şeffaf formüller
İki oran için klasik iki oranlı z-testi ve standart örnek boyutu formülünü kullanıyoruz. Siyah kutu yok — matematik sayfada gösteriliyor.
Herhangi bir ikili metrik için çalışır
Dönüşüm oranı, CTR, tutma kapasitesi, düğme tıklamaları — benzersiz kullanıcı başına "oldu / olmadı" olarak ölçülen her şey.
A/B testleri hakkında SSS
Hangi p-değeri önemli kabul edilir?
Geleneksel olarak p < 0.05'tir, bu da varyantlar arasındaki farkın rastgele olmadığına %95 güven anlamına gelir. Hassas alanlarda (tıp, finans) insanlar 0.01 gibi daha katı bir eşik kullanır.
MDE nedir?
Minimum Tespit Edilebilir Etki — testin seçilen güçte tespit edebileceği en küçük iyileştirme. Eğer başlangıç %10 ve MDE = %10 ise, test %11 veya daha yüksek bir değişim tespit eder. Daha küçük bir MDE ise orantısız derecede daha büyük bir örneklem büyüklüğü gerektirir.
İstatistiksel güç nedir?
Bir etkinin gerçekten var olması durumunda doğru şekilde tespit edilme olasılığı. Sektördeki temerrüt %80: bu güçle yapılan bir test, %20 zaman gerçek bir iyileşmeyi kaçırır. Yüksek riskli kararlar için %90 kullanın.
Zaten önemli bir sınavda testi erken bırakabilir miyim?
Hayır. Ara sonuçlara göz atmak, yanlış pozitif oranını dramatik şekilde şişirir — gerçek p-değeriniz gösterildiğinden çok daha yüksek olur. Testi planlanan N seviyesinde çalıştırın ve ancak ardından sonucuna bakın. Erken durdurma istiyorsanız, ardışık testler veya Bayes yöntemleri kullanın.
Diğer Hesaplama Araçları
Diğer Araçlar
Görsel Araçları
Sıkıştırma, dönüştürme, kırpma ve daha fazlası
Birleştir, böl, dönüştür
Metin Araçları
Dönüştür, biçimlendir, analiz et
Çevir
Yerel olarak 16 dilde metin ve PDF
Araçlar ve Yardımcı Hizmetler
QR kodlar, JSON, şifreler, kodlayıcılar
Video Araçları
Kesme, sıkıştırma, birleştirme ve ses kaldırma