Solicitação
A pessoa responsável pelo produto da Maple Cart precisa de uma plataforma de experimentos de checkout e de uma decisão de lançamento.
Dados
A atribuição é feita por usuário elegível, com divisão planejada de 50/50. As atribuições observadas são 6,000 para A e 4,000 para B; B tem 3,200 exposições e 240 pedidos concluídos. A métrica de proteção de erros no checkout falhou. São dados fictícios do exercício, não resultados de pesquisa.
Entrega
Entregue uma configuração de atribuição estável, o modelo de atribuição, as métricas observadas e uma recomendação verificada de acordo com a regra de lançamento indicada.
A Maple Cart quer comparar dois layouts de checkout. A pessoa responsável pelo experimento define a atribuição por usuário elegível, uma divisão prevista de 50/50 e os pedidos concluídos por usuário elegível atribuído como métrica de decisão. Essas palavras definem uma população. Contar apenas quem clicou no novo layout poderia excluir usuários afetados por ele e mudar a pergunta.
Você vai preservar as atribuições entre sessões, registrar a exposição separadamente e manter idempotentes os eventos de conversão. Atualizar a página várias vezes não pode mudar uma pessoa de variante. O experimento também precisa de verificações antes de alguém interpretar um ganho: contagem de atribuições, eventos de exposição ausentes e um limite de erros de checkout. Um resultado com atribuição desigual ou coleta de eventos com defeito pode fazer uma variante parecer melhor mesmo quando a comparação é inválida. Sua recomendação final usará as contagens fornecidas e uma regra operacional declarada, sem afirmar significância estatística a partir de uma porcentagem isolada.
A atribuição define a população do teste. A exposição registra se a experiência atribuída foi exibida.