Sebelum uji dimulai, tentukan perubahan sekecil apa yang layak dideteksi: efek minimum yang dapat dideteksi (MDE). Lalu hitung ukuran sampel yang memberi peluang besar, yaitu daya (biasanya 80 %), untuk mendeteksinya pada alfa = 0,05.
Untuk tingkat konversi, statsmodels bekerja dengan ukuran efek terstandar: proportion_effectsize(new_rate, base_rate). Lalu NormalIndPower().solve_power(effect_size=es, alpha=0.05, power=0.8) mengembalikan jumlah sesi yang dibutuhkan per kelompok. Untuk rata-rata, bagi perubahan dengan SD dan gunakan TTestIndPower.
Biarkan tepat satu dari ukuran efek, ukuran sampel, alfa, dan daya tidak ditetapkan, dan solve_power akan menghitungnya.
MDE relatif ("lift 10 %") dan MDE absolut ("satu poin") memberi jawaban yang sangat berbeda pada tingkat 5 %. Perubahan kecil pada tingkat yang kecil membutuhkan uji yang sangat besar: itulah alasan paling umum uji A/B berakhir tanpa kesimpulan.