Una revisión de una prueba comparó 20 métricas entre dos versiones de una página. Con alfa = 0,05, aunque no haya cambiado nada, más o menos una métrica de cada veinte parecerá significativa por azar. Cuanto más contrastas, más falsos ganadores encuentras.
Los ajustes lo mantienen a raya:
- Bonferroni multiplica cada valor p por el número de contrastes (o divide alfa entre él). Sencillo y estricto.
- Holm recorre los valores p ordenados con una regla algo más suave. Nunca rechaza menos que Bonferroni.
- Benjamini-Hochberg (FDR) controla la proporción de falsos descubrimientos entre los ganadores, más adecuado cuando revisas muchas métricas.
statsmodels: multipletests(p, alpha=0.05, method='bonferroni') (o 'holm', 'fdr_bh') devuelve qué contrastes rechazar y los valores p ajustados.
Nombra una métrica principal antes de que empiece la prueba; ajusta las demás.