Briar Retail membutuhkan rekomendasi peninjauan untuk kasus koreksi alamat fiktif. Tersedia dua prediksi kandidat dan sebuah review_limit. Serahkan prevalensi, akurasi model A, recall dan precision model B, false negative, jumlah peninjauan, serta model yang dipilih berdasarkan aturan cakupan dan kapasitas yang ditetapkan.
Briar Retail meninjau pesanan yang mungkin memerlukan koreksi alamat secara manual. Kelas 1 menandai pesanan dengan koreksi yang sudah terkonfirmasi. Data yang disisihkan yang fiktif ini berisi banyak pesanan biasa, sehingga model yang tidak pernah memberi peringatan tetap bisa tampak akurat. Penanggung jawab operasional ingin menemukan kasus koreksi dengan tetap menjaga jumlah peninjauan dalam review_limit.
Dua array label kandidat sudah disediakan. Evaluasi keduanya tanpa fit ulang dan tanpa mengubah label data yang disisihkan. Anda akan menghitung tingkat positif, akurasi model A, serta recall dan precision model B, lalu memilih metrik yang sesuai dengan prioritas yang disebutkan penanggung jawab. Akhiri dengan rekomendasi yang sudah diperiksa berdasarkan recall dan kapasitas. Aturan seleksi membuat pertimbangan untung-rugi itu eksplisit. Tim lain bisa memilih prioritas yang berbeda, tetapi metrik dan aturan kapasitasnya harus menggambarkan pilihan tersebut.
Tingkat positif menjelaskan mengapa model tanpa peringatan bisa memiliki akurasi tinggi tanpa menemukan kasus yang perlu dikoreksi.