Negara atau wilayah dan bahasa

    Pilih negara atau wilayah dan bahasa Anda.

    Disarankan untuk Anda

      Semua negara dan wilayah

        Pilih karakter Anda

        Karakter ini tampil di bilah atas dan di profil Anda. Ubah kapan saja.

        Metrik dan A/B testing

        Tentukan sebuah hasil, uji penjelasan alternatif, dan putuskan apa yang didukung oleh bukti.

        • 6 skenario
        • 30 menit masing-masing
        • Bicara atau ketik jawaban Anda
        • Laporan untuk level Anda

        Pertanyaan diajukan oleh suara komputer.

        Level wawancara Anda

        Skenario latihan

        Pilih satu skenario. Setiap wawancara diakhiri dengan laporan untuk level yang Anda pilih.

        30 min4 tahapanMenengah level

        Eksperimen checkout dengan guardrail

        Elm Tickets sedang menguji checkout baru dengan alokasi acak per pengguna. Kelompok kontrol memiliki 200 pembelian dari 1,000 pengguna yang dialokasikan dan 8 pengembalian dana; kelompok perlakuan memiliki 230 pembelian dari 1,000 pengguna yang dialokasikan dan 23 pengembalian dana. Tim membutuhkan keputusan peluncuran yang memperhitungkan kenaikan pembelian dan kerugian bagi pelanggan.

        Mulai wawancara
        Rubrik dan persiapanJawaban level mid mencakup apa saja · 4 pelajaran untuk persiapan

        Menengah standar

        • Hubungkan asumsi, metode, dan hasilnya: Saya menggunakan pembelian per pengguna yang dialokasikan sebagai hasil utama intent-to-treat karena mengecualikan non-pembeli mengubah populasi yang diacak. Saya menetapkan guardrail pengembalian dana dengan periode tindak lanjut yang sama dan memeriksa pencatatan serta alokasi terlebih dahulu.
        • Uji kasus tepi yang paling berpengaruh: Saya memeriksa alokasi acak, rasio sampel, pencatatan paparan, dan apakah pengguna dapat saling memengaruhi, karena kondisi-kondisi itu mendukung interpretasi kausal. Saya memperkirakan ketidakpastian untuk hasil yang ditetapkan sebelumnya dan tidak berhenti pada hasil menguntungkan yang pertama.
        • Jelaskan validasi atau pemeriksaan operasional yang menjadi tanggung jawab Anda: Saya akan menahan peluncuran luas sambil memeriksa kematangan pengembalian dana dan guardrail, karena pembelian yang lebih tinggi saja tidak membuktikan hasil yang lebih baik bagi pelanggan. Saya melaporkan kedua efek beserta ketidakpastiannya, lalu menyepakati aturan keputusan alih-alih menyatakan kemenangan hanya dari angka utama.
        30 min5 tahapanMenengah level

        Penurunan penyelesaian onboarding

        Maple Desk mengubah alur pendaftaran penjadwalannya, dan manajer produk ingin mengembalikannya. Alur lama memiliki 240 penyelesaian dari 400 kali memulai; alur baru memiliki 252 dari 600 kali memulai dan menerima lebih banyak lalu lintas mobile. Tentukan apa yang didukung oleh perbandingan ini dan bagaimana Anda akan menyelidiki penurunannya.

        Mulai wawancara
        Rubrik dan persiapanJawaban level mid mencakup apa saja · 3 pelajaran untuk persiapan

        Menengah standar

        • Tentukan kohort pengguna yang memenuhi syarat dan sudah matang, bandingkan komposisi perangkat, dan verifikasi event sebelum mengusulkan uji terkontrol.
        • Saya membandingkan kohort mobile dan desktop secara terpisah, karena perubahan komposisi lalu lintas dapat mengubah tingkat agregat, dan saya merekonsiliasi event mentah sebelum memercayai instrumentasinya. Menyamakan jendela pelaporan membantu menemukan penyelesaian yang hilang di dekat waktu cutoff.
        • Saya menggunakan penugasan acak di tingkat pengguna dengan batas pengaman yang jelas dan aturan penghentian, karena pengguna yang berpindah alur akan mencemari eksperimen terkontrol. Saya menetapkan ukuran sampel berdasarkan efek yang bermakna dan memberi setiap kohort yang ditugaskan jendela penyelesaiannya.
        30 min5 tahapanMenengah level

        Perselisihan soal dashboard retensi

        Northstar Notes ingin tahu apakah paket barunya meningkatkan retensi. Dari 100 pelanggan yang mulai pada April, 80 aktif pada Mei; dari 50 pelanggan yang mulai pada Mei, 30 aktif pada Juni, dan sebuah grafik terpisah menggabungkannya menjadi 110 pengguna yang bertahan. Upgrade dapat membuat catatan akun lain untuk pelanggan yang sama.

        Mulai wawancara
        Rubrik dan persiapanJawaban level mid mencakup apa saja · 3 pelajaran untuk persiapan

        Menengah standar

        • Petakan upgrade ke identitas pelanggan yang stabil, kecualikan observasi yang belum matang, dan bedakan tingkat retensi dari hitungan jumlah.
        • Saya memetakan setiap upgrade dan akun duplikat kembali ke identitas pelanggan yang stabil sebelum menghitung, karena jika tidak, orang yang sama dapat tercatat sekaligus sebagai pelanggan baru dan pelanggan yang kembali. Saya memeriksa pemetaan yang tidak cocok dan membedakan gangguan logging dari aktivitas nol.
        • Saya membandingkan kelompok pelanggan dengan kontrol atau eksperimen acak, karena pemilihan paket dapat berkorelasi dengan aktivitas sebelumnya, bahkan sebelum paket mengubah apa pun. Saya mempertahankan penugasan kelompok untuk analisis intent-to-treat jika sebagian pelanggan menolak paket.
        30 min4 tahapanMenengah level

        Rencanakan eksperimen sebelum mengumpulkan hasil

        Pine Dispatch ingin menguji pengingat yang membantu pengguna menyelesaikan pemesanan. Baseline perencanaannya adalah tingkat penyelesaian 20 persen, dan tim menganggap kenaikan menjadi 22 persen bernilai. Mereka membutuhkan rencana pengujian sebelum rilis berikutnya, termasuk berapa lama harus menunggu dan kapan harus memutuskan.

        Mulai wawancara
        Rubrik dan persiapanJawaban level mid mencakup apa saja · 3 pelajaran untuk persiapan

        Menengah standar

        • Gunakan baseline, efek minimum yang dapat terdeteksi, signifikansi, dan daya uji dalam perhitungan ukuran sampel, lalu ubah traffic yang memenuhi syarat menjadi durasi.
        • Saya membagi jumlah pengguna yang ditugaskan yang dibutuhkan dengan traffic harian yang memenuhi syarat, lalu menambahkan jendela hasil tujuh hari, karena berakhirnya pendaftaran tidak membuat hasil terbaru menjadi matang. Saya mencakup siklus operasional mingguan dan memeriksa keseimbangan penugasan sebelum menafsirkan hasil.
        • Saya mempertahankan keputusan dengan horizon tetap yang ditetapkan sebelumnya, kecuali jika desain sekuensial yang valid telah dipilih, karena berulang kali berhenti saat mencapai signifikansi akan meningkatkan positif palsu. Saya memantau guardrail dampak buruk yang didefinisikan secara terpisah dan dapat menghentikan uji demi keselamatan tanpa menyatakan kemenangan efikasi lebih awal.
        30 min4 tahapanMenengah level

        Lonjakan peluncuran yang memudar

        Birch Boards mengacak pengguna ke tata letak ruang kerja baru selama empat minggu. Perlakuan itu meningkatkan jumlah tugas yang selesai pada minggu pertama, tetapi peningkatan mingguannya menyusut mendekati nol, dan tim memeriksa signifikansi setiap pagi. Putuskan apakah hasil ini mendukung peluncuran permanen.

        Mulai wawancara
        Rubrik dan persiapanJawaban level mid mencakup apa saja · 3 pelajaran untuk persiapan

        Menengah standar

        • Pisahkan minggu pendaftaran dari waktu sejak paparan, pertahankan penugasan, dan bandingkan efek mingguan yang sudah matang beserta ketidakpastiannya.
        • Mengintip data setiap hari lalu berhenti pada hasil signifikan pertama meningkatkan risiko positif palsu, karena uji dengan horizon tetap mengasumsikan rencana analisis yang telah dinyatakan. Saya menggunakan analisis akhir yang ditetapkan sebelumnya atau metode sekuensial yang valid, dan melaporkan semua hasil yang direncanakan.
        • Saya akan menahan peluncuran luas sampai efek yang bertahan dan guardrail kualitas jelas, karena kenaikan awal akibat efek kebaruan tidak membuktikan nilai jangka panjang. Kohort baru yang ditetapkan sebelumnya atau tindak lanjut yang lebih panjang pada data yang sudah matang dapat menguji ketahanan efek tanpa menulis ulang aturan keberhasilan setelah melihat hasil.
        30 min4 tahapanMenengah level

        Rata-rata yang menyembunyikan layanan yang lebih lambat

        Spruce Support melaporkan rata-rata waktu respons yang lebih cepat setelah perubahan routing. Sebelum perubahan, 80 tiket sederhana rata-rata 2 jam dan 20 tiket kompleks rata-rata 10 jam; sesudahnya, 95 tiket sederhana rata-rata 3 jam dan 5 tiket kompleks rata-rata 12 jam. Jelaskan hasilnya dan rekomendasikan analisis berikutnya.

        Mulai wawancara
        Rubrik dan persiapanJawaban level mid mencakup apa saja · 3 pelajaran untuk persiapan

        Menengah standar

        • Jaga campuran tiket tetap konstan, periksa penyensoran tiket yang masih terbuka, dan tentukan kejadian respons sebelum mengaitkan suatu perubahan.
        • Memakai campuran lama 80 banding 20 dengan waktu segmen yang baru menghasilkan 4.8 jam, karena 80 kali 3 ditambah 20 kali 12 sama dengan 480. Kedua segmen menjadi lebih lambat, jadi saya memisahkan penurunan itu dari porsi tiket sederhana yang lebih besar.
        • Saya merekomendasikan penyelidikan respons di dalam setiap jenis tiket, karena rata-rata agregat yang lebih rendah mencerminkan campuran, bukan layanan yang lebih cepat. Saya akan menerbitkan jumlah per segmen dan tail latency di samping rata-rata, lalu menguji routing dengan kedatangan tiket yang sebanding dan guardrail backlog.

        Akses Interview Hub

        Interview Hub termasuk dalam All Access. Pilih paket atau login ke akun Anda untuk melanjutkan.

        Lihat paketLogin atau daftar

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        Bantuan dan masukan

        Ajukan pertanyaan, beri tahu kami apa yang tidak berfungsi, atau bagikan ide. Kami membalas lewat email.

        Tentang apa?

        Kami hanya menggunakannya untuk membalas Anda.