Sebagian besar uji A/B yang gagal, gagal karena hal-hal yang tidak terlihat oleh nilai p:
- Ketidaksesuaian rasio sampel (SRM, sample ratio mismatch): pembagian 50/50 yang berakhir 51/49 pada ribuan sesi menunjukkan adanya bug, misalnya satu varian crash atau disajikan dari cache. Uji jumlahnya dengan uji kecocokan chi-kuadrat (goodness-of-fit),
stats.chisquare([n_a, n_b]). Tim biasanya memberi peringatan pada p < 0,01 dan berhenti membaca hasil sampai penyebabnya jelas.
- Mengintip hasil (peeking): memeriksa nilai p setiap hari dan berhenti pada nilai pertama di bawah 0,05 membuat positif palsu melonjak jauh di atas 5 %. Tetapkan ukuran sampel sebelumnya, atau gunakan metode yang dirancang untuk pemeriksaan berulang.
- Metrik pengaman (guardrail): checkout yang menaikkan konversi tetapi menurunkan pendapatan per sesi bukanlah kemenangan. Bandingkan pendapatan per sesi pada seluruh sesi, bukan hanya sesi yang berujung pembelian.
Lakukan pemeriksaan ini sebelum Anda melaporkan metrik utama.