Antes de começar um teste, decida qual é a menor mudança que vale a pena detectar: o efeito mínimo detectável (MDE). Depois calcule o tamanho de amostra que dá uma boa chance, o poder (normalmente 80 %), de detectá-la com alfa = 0,05.
Para taxas de conversão, o statsmodels trabalha com um tamanho do efeito padronizado: proportion_effectsize(new_rate, base_rate). Depois NormalIndPower().solve_power(effect_size=es, alpha=0.05, power=0.8) devolve as sessões necessárias por grupo. Para médias, divida a mudança pelo desvio padrão e use TTestIndPower.
Deixe exatamente um destes quatro sem definir: tamanho do efeito, tamanho da amostra, alfa e poder, e o solve_power o calcula.
Um MDE relativo ("um lift de 10 %") e um absoluto ("um ponto") dão respostas muito diferentes sobre uma taxa de 5 %. Mudanças pequenas sobre taxas pequenas exigem testes enormes: é o motivo mais comum de um teste A/B não ser conclusivo.