Treinamento e serving têm formatos opostos. O treinamento lê grandes conjuntos de dados históricos em lotes, pode levar horas e roda de forma programada. O serving responde a uma requisição por vez dentro de um orçamento de latência e precisa ficar sempre no ar. Um registro de modelos liga os dois: cada modelo treinado é versionado com seus dados, seu código e suas métricas, e a implantação promove uma versão específica.
Nem toda previsão precisa ser calculada na hora da requisição. A inferência em lote pré-calcula durante a noite as pontuações de entidades conhecidas; a inferência online as calcula quando chega uma requisição com entradas atuais. Modelos novos devem provar seu valor antes de receber todo o tráfego: as implantações em sombra pontuam requisições sem afetar os usuários, e as implantações canário enviam uma pequena parte do tráfego ao modelo novo enquanto as métricas são comparadas.
Separe o treinamento do serving, escolha entre inferência em lote ou online e implante os modelos com segurança.