El entrenamiento y el servicio tienen formas opuestas. El entrenamiento lee grandes conjuntos de datos históricos por lotes, puede tardar horas y se ejecuta según una programación. El servicio responde una petición cada vez dentro de un presupuesto de latencia y tiene que estar siempre disponible. Un registro de modelos los conecta: cada modelo entrenado se versiona con sus datos, su código y sus métricas, y el despliegue promociona una versión concreta.
No todas las predicciones hay que calcularlas al recibir la petición. La inferencia por lotes precalcula durante la noche las puntuaciones de entidades conocidas; la inferencia en línea las calcula cuando llega una petición con entradas frescas. Los modelos nuevos deberían demostrar su valía antes de recibir todo el tráfico: los despliegues en sombra puntúan peticiones sin afectar a los usuarios, y los despliegues canario envían una pequeña parte del tráfico al modelo nuevo mientras se comparan las métricas.
Separa el entrenamiento del servicio, elige inferencia por lotes o en línea y despliega los modelos con seguridad.