Nacre Paymentsが、架空の取引の特徴量について、不正のレビューの方針を準備するよう依頼しています。この練習では、偽陽性のコストはレビュー1単位、見逃した不正のコストは8単位です。訓練の行で当てはめ、検証の行でしきい値を選び、取り分けたデータでの順位付け、発見、キューの負荷の証拠を提出してください。完成したノートブックが引き継ぎになります。コストは課題の前提で、市場価格ではありません。
まれな陽性クラスは、高い正解率の数値の陰に隠れてしまうことがあります。クラスの重みは訓練の誤差がロスにどう寄与するかを変え、判定のしきい値は当てはめた確率のどれがレビューのキューに入るかを変えます。これらは別々の選択です。重み付きのパイプラインを当てはめ、検証のしきい値を適用し、陽性クラスを事象として再現率を計算します。空のキューには割るべき予測された陽性がないので、適合率の取り決めを明示する必要があります。テストセットはしきい値の選択の外に置いてください。実際の不正のレビューでは発見と作業量の両方が重要なので、モデルのスコアだけでは運用の方針を選べません。