あるテストのレビューで、ページの2つのバージョンの間で20個の指標を比べました。alpha = 0.05では、何も変わっていなくても、20個に約1個の指標が偶然で有意に見えます。検定すればするほど、誤った勝者が見つかります。
調整がこれを抑えます:
- Bonferroniは、各p値に検定の数を掛けます(またはalphaをそれで割ります)。単純で厳しい方法です。
- Holmは、並べ替えたp値を、少し緩いルールで順にたどります。Bonferroniより少なく棄却することはありません。
- Benjamini-Hochberg(FDR)は、勝者の中の偽発見の割合を制御し、多くの指標をふるい分けるときにより適しています。
statsmodels:multipletests(p, alpha=0.05, method='bonferroni')(または'holm'、'fdr_bh')は、どの検定を棄却するかと、調整したp値を返します。
テストを始める前に主要指標を1つ決め、残りは調整してください。