テストを始める前に、検出する価値のある変化がどれくらい小さいかを決めてください:最小検出効果(MDE)です。その後、alpha = 0.05でそれを検出する十分な確率、つまり検出力(通常は80パーセント)が得られる標本サイズを計算してください。
コンバージョン率については、statsmodelsは標準化した効果量を使います:proportion_effectsize(new_rate, base_rate)です。その後NormalIndPower().solve_power(effect_size=es, alpha=0.05, power=0.8)が、グループあたりに必要なセッションを返します。平均については、変化をSDで割り、TTestIndPowerを使ってください。
効果量、標本サイズ、alpha、検出力のうち、ちょうど1つを未設定のままにすれば、solve_powerがそれを解きます。
相対的なMDE(「10パーセントのリフト」)と絶対的なMDE(「1ポイント」)では、5パーセントの率でまったく異なる答えになります。小さな率での小さな変化には非常に大きなテストが必要です:それが、A/Bテストの結論が出ない最もよくある理由です。