A maioria dos testes A/B que fracassam fracassa por motivos que o valor p não enxerga:
- Desvio na divisão do tráfego (SRM, sample ratio mismatch): uma divisão 50/50 que termina em 51/49 com milhares de sessões aponta para um bug, como uma variante que trava ou é servida do cache. Teste as contagens com um teste qui-quadrado de aderência,
stats.chisquare([n_a, n_b]). As equipes costumam disparar um alerta com p < 0,01 e param de ler os resultados até haver uma explicação.
- Espiar os resultados (peeking): conferir o valor p todo dia e parar no primeiro abaixo de 0,05 faz os falsos positivos disparar muito acima de 5%. Fixe o tamanho da amostra com antecedência ou use um método feito para checagens repetidas.
- Métricas de controle (guardrails): um checkout que aumenta a conversão mas reduz a receita por sessão não é uma vitória. Compare a receita por sessão em todas as sessões, e não só nas que compraram.
Faça essas verificações antes de relatar a métrica principal.