Fenwick Market probó un nuevo proceso de pago: la mitad de las sesiones vio A y la otra mitad, B. Cada sesión convirtió o no, así que cada grupo tiene una tasa de conversión. El contraste z de dos proporciones pregunta si las tasas difieren más de lo que daría el azar.
En statsmodels: proportions_ztest(counts, nobs), con las conversiones y las sesiones de cada grupo, en el mismo orden. alternative='larger' contrasta si la tasa del primer grupo es mayor.
Da tres cosas: las dos tasas, el lift (la tasa de B dividida entre la de A, menos 1, un cambio relativo) o la diferencia absoluta en puntos, y un intervalo de confianza de la diferencia: confint_proportions_2indep(count_b, n_b, count_a, n_a) da B menos A.
Un contraste t sobre datos de 0 y 1 da casi el mismo valor p con muestras grandes, pero el contraste z es la herramienta estándar y trata bien las tasas pequeñas.