モニタリングは、すべての結果が手に入る前に始まります。入力とスコアの分布はすぐに観測できますが、不正の申し立てや旅行のキャンセルは後になって確定することがあります。入力の変化を測り、完了したラベルの期間を数え、結果が確定しているところでだけ確率のロスを評価します。未確定のラベルは負の事象ではありません。入力のドリフトは性能の低下なしに起こりえますし、性能は大きな単変量の変化なしに低下しえます。これらの診断は調査を支えるもので、原因を証明するものではありません。モデルの品質のすべての報告の横に、固定した参照母集団、明確な観測期間、確定した結果の明示的な件数を置いてください。