Quién lo pide: Priya Raman, product manager de Lumen Books, una librería online.
Por qué: la nueva página de pago (B) lleva dos semanas compitiendo con la antigua (A), y Priya tiene que decidir el viernes si la lanza.
Los datos: test_summary, con las sesiones y los pedidos de cada página, y checkout_orders, una muestra de 20 importes de pedido por página.
Cómo es el resultado final: las tasas de conversión y la mejora, una prueba de significación para la conversión y otra para el importe del pedido, los ingresos por sesión de cada página y una decisión: lanzar B, quedarse con A o seguir con la prueba más tiempo.
Una prueba A/B reparte a los visitantes al azar entre la página antigua (A) y una nueva (B). Como el reparto es aleatorio, una diferencia mayor de la que daría el azar se puede atribuir a la página. Un buen análisis revisa la métrica principal, revisa qué más se movió y convierte las dos cosas en una cifra que le importe al negocio. Cada paso se añade al mismo script.