Un experimento de checkout con un límite de seguridad
Elm Tickets está probando un nuevo checkout con asignación aleatoria por persona usuaria. El grupo de control tiene 200 compras de 1,000 personas usuarias asignadas y 8 reembolsos; el de tratamiento tiene 230 compras de 1,000 personas usuarias asignadas y 23 reembolsos. El equipo necesita una decisión de despliegue que tenga en cuenta el aumento de compras y el daño a los clientes.
Rúbrica y preparaciónRespuesta de nivel mid: qué cubre · 4 lecciones para prepararte
Intermedio estándar
- Relaciona las suposiciones, el método y el resultado: uso las compras por persona usuaria asignada como resultado principal por intención de tratar, porque excluir a quienes no compran cambia la población aleatorizada. Defino un límite de seguridad de reembolsos con una ventana de seguimiento común y compruebo primero el registro y la asignación.
- Prueba el caso límite que más importa: compruebo la asignación aleatoria, la proporción de la muestra, el registro de la exposición y si las personas usuarias pueden influirse entre sí, porque esas condiciones respaldan una interpretación causal. Estimo la incertidumbre del resultado definido de antemano y evito parar en el primer resultado favorable.
- Explica una comprobación de validación u operativa de la que te encargues: retendría el despliegue amplio mientras compruebo la maduración de los reembolsos y el límite de seguridad, porque más compras por sí solas no demuestran mejores resultados para los clientes. Informo de los dos efectos y de la incertidumbre, y luego acuerdo una regla de decisión en lugar de cantar victoria por la tasa principal.