A Fenwick Market testou um novo checkout: metade das sessões viu A e a outra metade, B. Cada sessão converteu ou não, então cada grupo tem uma taxa de conversão. O teste z de duas proporções pergunta se as taxas diferem mais do que o acaso explicaria.
No statsmodels: proportions_ztest(counts, nobs), com as conversões e as sessões de cada grupo, na mesma ordem. alternative='larger' testa se a taxa do primeiro grupo é maior.
Informe três coisas: as duas taxas, o lift (a taxa de B dividida pela de A, menos 1, uma variação relativa) ou a diferença absoluta em pontos, e um intervalo de confiança da diferença: confint_proportions_2indep(count_b, n_b, count_a, n_a) dá B menos A.
Um teste t sobre dados de 0 e 1 dá quase o mesmo valor-p com amostras grandes, mas o teste z é a ferramenta padrão e trata bem as taxas pequenas.