まれな陽性クラスは、高い正解率の数値の陰に隠れてしまうことがあります。クラスの重みは訓練の誤差がロスにどう寄与するかを変え、判定のしきい値は当てはめた確率のどれがレビューのキューに入るかを変えます。これらは別々の選択です。重み付きのパイプラインを当てはめ、検証のしきい値を適用し、陽性クラスを事象として再現率を計算します。空のキューには割るべき予測された陽性がないので、適合率の取り決めを明示する必要があります。テストセットはしきい値の選択の外に置いてください。実際の不正のレビューでは発見と作業量の両方が重要なので、モデルのスコアだけでは運用の方針を選べません。