Permintaan
Pemilik produk Maple Cart membutuhkan platform eksperimen checkout dan keputusan peluncuran.
Data
Alokasi dilakukan per pengguna yang memenuhi syarat dengan pembagian 50/50 yang direncanakan. Alokasi yang teramati adalah A 6,000 dan B 4,000; B memiliki 3,200 eksposur dan 240 pesanan yang selesai. Batas pengaman error checkout tidak terpenuhi. Ini adalah masukan latihan fiktif, bukan temuan riset.
Hasil akhir
Serahkan pengaturan alokasi yang stabil, model alokasi, metrik yang teramati, dan rekomendasi yang sudah diperiksa berdasarkan aturan peluncuran yang disebutkan.
Maple Cart ingin membandingkan dua tata letak checkout. Pemilik eksperimen menetapkan alokasi per pengguna yang memenuhi syarat, pembagian 50/50 yang direncanakan, dan pesanan yang selesai per pengguna yang memenuhi syarat yang dialokasikan sebagai metrik keputusan. Kata-kata itu mendefinisikan sebuah populasi. Menghitung hanya orang yang mengeklik tata letak baru dapat mengecualikan pengguna yang terpengaruh olehnya dan mengubah pertanyaannya.
Anda akan menjaga alokasi tetap konsisten antarsesi, mencatat eksposur secara terpisah, dan menjaga event konversi tetap idempoten. Memuat ulang halaman berkali-kali tidak boleh memindahkan seseorang antarvarian. Eksperimen juga memerlukan pemeriksaan sebelum ada yang menafsirkan lift: jumlah alokasi, event eksposur yang hilang, dan batas pengaman error checkout. Hasil dengan alokasi yang tidak merata atau pengumpulan event yang rusak dapat membuat satu varian tampak lebih baik meskipun perbandingannya tidak valid. Rekomendasi akhir Anda akan memakai jumlah yang disediakan dan aturan operasional yang dideklarasikan, tanpa mengklaim signifikansi statistik hanya dari sebuah persentase.
Alokasi menentukan populasi uji. Eksposur mencatat apakah pengalaman yang dialokasikan ditampilkan.