Training dan serving memiliki bentuk yang berlawanan. Training membaca data historis berukuran besar secara batch, bisa memakan waktu berjam-jam, dan berjalan sesuai jadwal. Serving menjawab satu request dalam satu waktu dengan anggaran latensi dan harus selalu aktif. Model registry menghubungkan keduanya: setiap model yang dilatih diberi versi beserta data, kode, dan metriknya, dan deployment mempromosikan versi tertentu.
Tidak semua prediksi perlu dihitung saat request masuk. Inferensi batch menghitung skor untuk entitas yang sudah diketahui terlebih dahulu pada malam hari; inferensi online menghitungnya ketika request tiba dengan input yang segar. Model baru harus membuktikan diri sebelum menerima seluruh traffic: deployment shadow memberi skor pada request tanpa memengaruhi pengguna, dan rollout canary mengirim sebagian kecil traffic ke model baru sambil membandingkan metrik.
Pisahkan training dari serving, pilih inferensi batch atau online, dan rilis model dengan aman.