Evaluación de LLM y casos reservados
Desarrollo y evaluación
Un caso utilizado para cambiar un prompt deja de ser una prueba independiente de generalización. Separa las identidades de los casos de desarrollo y de evaluación. Para un asistente ficticio de políticas, reserva un caso con una revisión de fuente ausente de los ejemplos de desarrollo; comprueba la separación por identificador antes de puntuar.
Fija los casos y las versiones de cada comparación. Informa de las salidas ausentes y de los fallos nuevos en lugar de eliminarlos del denominador. Una versión candidata con mejor media sigue sin poder publicarse si vulnera un límite obligatorio entre clientes.
Evaluación local
El curso puntúa salidas preparadas mediante reglas explícitas de Python. Enseña separación de casos, denominadores y condiciones de publicación, no la calidad medida de un LLM real. Continúa con la rúbrica y la comparación de regresiones.
La configuración de los productos cambia. La documentación de OpenAI Evals, comprobada el 14 de noviembre de 2026, marca su servicio alojado como obsoleto y de solo lectura, con cierre previsto el 30 de noviembre. Esta lección no te pide crear un trabajo nuevo en ese servicio. Consulta la documentación vigente al aplicar el método en un entorno real.