Antes de empezar una prueba, decide qué cambio mínimo merece la pena detectar: el efecto mínimo detectable (MDE). Después calcula el tamaño de muestra que da una buena probabilidad, la potencia (normalmente el 80 %), de detectarlo con alfa = 0,05.
Para tasas de conversión, statsmodels trabaja con un tamaño del efecto estandarizado: proportion_effectsize(new_rate, base_rate). Luego NormalIndPower().solve_power(effect_size=es, alpha=0.05, power=0.8) devuelve las sesiones necesarias por grupo. Para medias, divide el cambio entre la desviación típica y usa TTestIndPower.
Deja sin fijar exactamente uno de estos cuatro: tamaño del efecto, tamaño de muestra, alfa y potencia, y solve_power lo calcula.
Un MDE relativo ("un lift del 10 %") y uno absoluto ("un punto") dan respuestas muy distintas sobre una tasa del 5 %. Los cambios pequeños sobre tasas pequeñas necesitan pruebas enormes: es el motivo más común de que una prueba A/B no sea concluyente.