A revisão de um teste comparou 20 métricas entre duas versões de uma página. Com alfa = 0,05, mesmo que nada tenha mudado, cerca de uma métrica em cada vinte vai parecer significativa por acaso. Quanto mais você testa, mais falsos vencedores encontra.
Os ajustes mantêm isso sob controle:
- Bonferroni multiplica cada valor p pelo número de testes (ou divide alfa por ele). Simples e rigoroso.
- Holm percorre os valores p ordenados com uma regra um pouco mais branda. Nunca rejeita menos que Bonferroni.
- Benjamini-Hochberg (FDR) controla a proporção de falsas descobertas entre os vencedores, mais adequado quando você faz a triagem de muitas métricas.
statsmodels: multipletests(p, alpha=0.05, method='bonferroni') (ou 'holm', 'fdr_bh') devolve quais testes rejeitar e os valores p ajustados.
Nomeie uma métrica principal antes de o teste começar; ajuste as demais.