Model yang akurat saat diluncurkan akan mengalami drift seiring perubahan dunia. Data drift adalah perubahan pada input: segmen pelanggan baru, kategori yang diganti namanya, sensor yang dikalibrasi ulang. Concept drift adalah perubahan pada hubungan antara input dan hasil: sinyal yang sama mulai berarti hal lain. Keduanya menurunkan kualitas tanpa memunculkan satu error pun.
Pantau di tiga tingkat. Pemeriksaan data menangkap input yang rusak sejak dini: skema, nilai yang hilang, rentang. Pemeriksaan distribusi membandingkan input dan prediksi live dengan jendela referensi. Metrik hasil mengukur kualitas yang sebenarnya, tetapi label sering datang terlambat, berhari-hari atau berminggu-minggu setelah prediksi, sehingga pemeriksaan sebelumnya menjadi sistem peringatan Anda. Tentukan di muka apa yang memicu pelatihan ulang dan siapa yang diberi peringatan.
Pantau input, prediksi, dan hasil, lalu bertindak saat terjadi drift sebelum label tiba.