学習とサービングは、正反対の性質を持っています。学習は大量の履歴データをバッチで読み込み、数時間かかることもあり、スケジュールに沿って実行されます。サービングはレイテンシの予算内で1回に1つのリクエストに応答し、停止してはいけません。モデルレジストリがその2つをつなぎます:学習したモデルにはすべてデータ、コード、指標とともにバージョンが付けられ、デプロイでは特定のバージョンを昇格させます。
すべての予測をリクエスト時に計算する必要はありません。バッチ推論は既知のエンティティのスコアを夜間に事前計算し、オンライン推論は新しい入力を伴うリクエストが届いたときにスコアを計算します。新しいモデルは、すべてのトラフィックを受ける前に実力を示す必要があります:シャドーデプロイはユーザーに影響を与えずにリクエストをスコアリングし、カナリアリリースは指標を比較しながら一部のトラフィックを新しいモデルに送ります。