リリース時に正確だったモデルも、世の中の変化とともにドリフトします。データドリフトとは入力の変化のことです:新しい顧客セグメント、名前が変わったカテゴリー、再調整されたセンサーなどです。コンセプトドリフトとは入力と結果の関係の変化のことです:同じシグナルが別の意味を持ち始めます。どちらも、エラーを1つも出さずに品質を下げます。
3つのレベルで監視してください。データのチェックで、壊れた入力を早く見つけられます:スキーマ、欠損値、範囲です。分布のチェックでは、ライブの入力と予測を基準ウィンドウと比較します。結果の指標は実際の品質を測りますが、ラベルは予測から数日から数週間後と遅れて届くことが多いので、それより前のチェックが警告の仕組みになります。何をきっかけに再学習するか、誰を呼び出すかを事前に決めてください。