Yang meminta: Priya Raman, product manager di Lumen Books, toko buku online.
Alasannya: halaman pembayaran baru (B) sudah diadu dengan halaman lama (A) selama dua minggu, dan Priya harus memutuskan hari Jumat apakah akan meluncurkannya.
Datanya: test_summary, berisi sesi dan pesanan untuk setiap halaman, serta checkout_orders, sampel 20 nilai pesanan per halaman.
Hasil akhir yang diharapkan: tingkat konversi dan peningkatannya, uji signifikansi untuk konversi dan satu lagi untuk nilai pesanan, pendapatan per sesi untuk setiap halaman, dan sebuah keputusan: luncurkan B, tetap pakai A, atau perpanjang pengujian.
Uji A/B membagi pengunjung secara acak antara halaman lama (A) dan halaman baru (B). Karena pembagiannya acak, selisih yang lebih besar daripada yang bisa dihasilkan kebetulan dapat dikaitkan dengan halamannya. Analisis yang baik memeriksa metrik utama, memeriksa apa lagi yang bergerak, dan mengubah keduanya menjadi satu angka yang penting bagi bisnis. Setiap langkah menambah skrip yang sama.