La mayoría de las pruebas A/B fallidas fallan por motivos que el valor p no ve:
- Desajuste del reparto (SRM, sample ratio mismatch): un reparto 50/50 que acaba en 51/49 sobre miles de sesiones apunta a un fallo, como una variante que se cuelga o se sirve desde caché. Contrasta los recuentos con un contraste chi cuadrado de bondad de ajuste,
stats.chisquare([n_a, n_b]). Los equipos suelen avisar con p < 0,01 y dejan de leer los resultados hasta tener una explicación.
- Mirar antes de tiempo (peeking): revisar el valor p cada día y parar en el primero por debajo de 0,05 dispara los falsos positivos muy por encima del 5 %. Fija el tamaño de muestra de antemano o usa un método pensado para revisiones repetidas.
- Métricas de control (guardrails): un proceso de pago que sube la conversión pero baja los ingresos por sesión no es una victoria. Compara los ingresos por sesión sobre todas las sesiones, no solo las que compraron.
Haz estas comprobaciones antes de informar de la métrica principal.