Um experimento de checkout com um limite de segurança
A Elm Tickets está testando um novo checkout com atribuição aleatória por usuário. O grupo de controle tem 200 compras de 1,000 usuários atribuídos e 8 reembolsos; o de tratamento tem 230 compras de 1,000 usuários atribuídos e 23 reembolsos. A equipe precisa de uma decisão de liberação que leve em conta o aumento de compras e o dano aos clientes.
Rubrica e preparaçãoO que uma resposta de nível mid cobre · 4 lições para se preparar
Pleno padrão
- Relacione as suposições, o método e o resultado: uso as compras por usuário atribuído como resultado principal por intenção de tratar, porque excluir quem não compra muda a população randomizada. Defino um limite de segurança para reembolsos, com uma janela de acompanhamento comum, e verifico primeiro o registro e a atribuição.
- Teste o caso limite que mais importa: verifico a atribuição aleatória, a proporção da amostra, o registro da exposição e se os usuários podem influenciar uns aos outros, porque essas condições sustentam uma interpretação causal. Estimo a incerteza do resultado definido previamente e evito parar no primeiro resultado favorável.
- Explique uma verificação de validação ou operacional pela qual você é responsável: eu seguraria a liberação ampla enquanto verifico a maturação dos reembolsos e o limite de segurança, porque mais compras, por si sós, não demonstram melhores resultados para os clientes. Relato os dois efeitos e a incerteza e, em seguida, combino uma regra de decisão em vez de declarar vitória com base na taxa principal.