失敗するA/Bテストのほとんどは、p値には見えない理由で失敗します:
- サンプル比率のミスマッチ(SRM):何千ものセッションで50/50の割り振りが51/49になるのは、一方のバリアントがクラッシュしている、キャッシュされているといったバグを示しています。件数をカイ二乗適合度検定
stats.chisquare([n_a, n_b])で検定してください。チームは通常p < 0.01で警告を出し、その原因がわかるまで結果を読むのをやめます。
- 途中での確認(ピーキング):毎日p値を確かめ、最初に0.05を下回った時点で止めると、偽陽性が5パーセントをはるかに超えて増えます。標本サイズを事前に決めるか、繰り返しの確認のために作られた方法を使ってください。
- ガードレール指標:コンバージョンを上げてもセッションあたりの売上を下げる決済は、勝ちではありません。購入したセッションだけでなく、すべてのセッションでセッションあたりの売上を比べてください。
主要指標を報告する前に、これらのチェックを行ってください。