Eksperimen checkout dengan guardrail
Elm Tickets sedang menguji checkout baru dengan alokasi acak per pengguna. Kelompok kontrol memiliki 200 pembelian dari 1,000 pengguna yang dialokasikan dan 8 pengembalian dana; kelompok perlakuan memiliki 230 pembelian dari 1,000 pengguna yang dialokasikan dan 23 pengembalian dana. Tim membutuhkan keputusan peluncuran yang memperhitungkan kenaikan pembelian dan kerugian bagi pelanggan.
Rubrik dan persiapanJawaban level mid mencakup apa saja · 4 pelajaran untuk persiapan
Menengah standar
- Hubungkan asumsi, metode, dan hasilnya: Saya menggunakan pembelian per pengguna yang dialokasikan sebagai hasil utama intent-to-treat karena mengecualikan non-pembeli mengubah populasi yang diacak. Saya menetapkan guardrail pengembalian dana dengan periode tindak lanjut yang sama dan memeriksa pencatatan serta alokasi terlebih dahulu.
- Uji kasus tepi yang paling berpengaruh: Saya memeriksa alokasi acak, rasio sampel, pencatatan paparan, dan apakah pengguna dapat saling memengaruhi, karena kondisi-kondisi itu mendukung interpretasi kausal. Saya memperkirakan ketidakpastian untuk hasil yang ditetapkan sebelumnya dan tidak berhenti pada hasil menguntungkan yang pertama.
- Jelaskan validasi atau pemeriksaan operasional yang menjadi tanggung jawab Anda: Saya akan menahan peluncuran luas sambil memeriksa kematangan pengembalian dana dan guardrail, karena pembelian yang lebih tinggi saja tidak membuktikan hasil yang lebih baik bagi pelanggan. Saya melaporkan kedua efek beserta ketidakpastiannya, lalu menyepakati aturan keputusan alih-alih menyatakan kemenangan hanya dari angka utama.