- Dari
- Tom AshbyKepala Produk
- Kepada
- Tim data
- Subjek
- Uji coba penawaran tahunan, jadi diluncurkan?
Selama dua minggu di bulan September, separuh orang yang sampai di checkout melihat penawaran untuk memulai dengan paket tahunan. Dashboard menunjukkan lebih banyak upgrade di grup penawaran dan saya ingin meluncurkannya untuk semua orang pada hari Senin. Bisakah Anda memeriksa dulu apakah angkanya bisa dipertanggungjawabkan?
Anda memiliki log penempatan grup dan data upgrade. Pengunjung yang berpindah antara ponsel dan tablet kadang ditempatkan ke grup dua kali, dan beberapa orang melakukan upgrade sebelum uji coba dimulai.
Hasil akhir yang diharapkan: kedua grup dihitung secara adil, uji signifikansi atas selisihnya, dan rekomendasi yang jelas: luncurkan, perpanjang uji coba, atau batalkan.