Quem pediu: Priya Raman, gerente de produto da Lumen Books, uma livraria on-line.
Por quê: a nova página de checkout (B) está rodando contra a antiga (A) há duas semanas, e Priya precisa decidir na sexta-feira se vai lançá-la.
Os dados: test_summary, com as sessões e os pedidos de cada página, e checkout_orders, uma amostra de 20 valores de pedido por página.
Como fica o resultado final: as taxas de conversão e o ganho, um teste de significância para a conversão e outro para o valor do pedido, a receita por sessão de cada página e uma decisão: lançar B, ficar com A ou manter o teste por mais tempo.
Um teste A/B divide os visitantes aleatoriamente entre a página antiga (A) e uma nova (B). Como a divisão é aleatória, uma diferença maior do que o acaso produziria pode ser atribuída à página. Uma boa análise confere a métrica principal, confere o que mais mudou e transforma as duas coisas em um número que importa para o negócio. Cada passo acrescenta algo ao mesmo script.