Aster MediaとHarbor Travelが、架空のスコアリングの導入をレビューするよう依頼しています。一部の結果はまだ確定していません。確定したラベルを数え、セグメントごとに確率を評価し、与えられたサポートと品質の基準を適用してください。未確定のラベルと最も悪いセグメントの証拠を残した、確かめた推奨を提出してください。この意図的に小さなデータは判断の仕組みを教えるもので、本番の準備ができていることを示すことはできません。
モニタリングは、すべての結果が手に入る前に始まります。入力とスコアの分布はすぐに観測できますが、不正の申し立てや旅行のキャンセルは後になって確定することがあります。入力の変化を測り、完了したラベルの期間を数え、結果が確定しているところでだけ確率のロスを評価します。未確定のラベルは負の事象ではありません。入力のドリフトは性能の低下なしに起こりえますし、性能は大きな単変量の変化なしに低下しえます。これらの診断は調査を支えるもので、原因を証明するものではありません。モデルの品質のすべての報告の横に、固定した参照母集団、明確な観測期間、確定した結果の明示的な件数を置いてください。