Diminta oleh: Lena Brandt, kepala keuangan di Fenwick Market, dan tim checkout.
Alasan: tim menjalankan checkout satu halaman yang baru (B) melawan checkout yang sekarang (A) dan ingin meluncurkannya sebelum musim liburan.
Datanya: ab, satu baris per sesi: varian yang ditampilkan, apakah sesi itu menghasilkan pesanan, dan pendapatannya.
Hasil yang diharapkan: pembagian yang sudah diperiksa, tingkat konversi dan lift, sebuah uji dan sebuah interval, metrik pengaman pendapatan, daya uji tersebut, dan keputusan yang mengikuti aturan yang disepakati tim sebelum uji dijalankan.
Kerjakan laporan hasil dengan urutan seorang analis yang teliti: pastikan dulu pembagiannya dapat dipercaya, lalu metrik utama, lalu metrik pengaman, baru kemudian memutuskan. Setiap langkah mempertahankan variabel dari langkah-langkah sebelumnya.