Sebuah tinjauan uji membandingkan 20 metrik antara dua versi halaman. Pada alfa = 0,05, meskipun tidak ada yang berubah, kira-kira satu dari dua puluh metrik akan tampak signifikan karena kebetulan. Semakin banyak yang Anda uji, semakin banyak pemenang palsu yang Anda temukan.
Penyesuaian menjaganya tetap terkendali:
- Bonferroni mengalikan setiap nilai p dengan jumlah uji (atau membagi alfa dengannya). Sederhana dan ketat.
- Holm menelusuri nilai p yang telah diurutkan dengan aturan yang sedikit lebih longgar. Metode ini tidak pernah menolak lebih sedikit daripada Bonferroni.
- Benjamini-Hochberg (FDR) mengendalikan proporsi penemuan palsu di antara para pemenang, lebih cocok saat Anda menyaring banyak metrik.
statsmodels: multipletests(p, alpha=0.05, method='bonferroni') (atau 'holm', 'fdr_bh') menghasilkan uji mana yang ditolak beserta nilai p yang disesuaikan.
Tentukan satu metrik utama sebelum uji dimulai; sesuaikan sisanya.