Briar Retailは、架空の住所修正のケースについて、レビューの推奨を必要としています。2つの候補の予測とreview_limitが与えられます。有病率(陽性の割合)、モデルAの正解率、モデルBの再現率と適合率、偽陰性、レビュー件数、そして示されたカバー範囲と処理能力のルールで選んだモデルを提出してください。
Briar Retailは、住所の手動修正が必要かもしれない注文をレビューしています。クラス1は、修正が確認された注文を表します。架空のホールドアウトには普通の注文が多く含まれているので、アラートを1つも出さないモデルでも正確に見えることがあります。運用の責任者は、レビューの件数をreview_limit以内に保ちながら、修正のケースを見つけたいと考えています。
2つの候補のラベル配列がすでに与えられています。再学習したりホールドアウトのラベルを変えたりせずに、それらを評価してください。陽性の率、モデルAの正解率、モデルBの再現率と適合率を計算し、その後、責任者が示した優先順位に合う指標を選びます。再現率と処理能力に基づく、確かめた推奨で締めくくってください。選択のルールがトレードオフを明示します。別のチームは別の優先順位を選べますが、その指標と処理能力のルールがその選択を表していなければなりません。