Avaliação de LLM e casos reservados
Desenvolvimento e avaliação
Um caso usado para alterar um prompt deixa de ser uma evidência independente de generalização. Separe as identidades dos casos de desenvolvimento e de avaliação. Para um assistente fictício de políticas, reserve um caso com uma revisão de fonte ausente dos exemplos de desenvolvimento; confira a separação por identificador antes de pontuar.
Fixe os casos e as versões de cada comparação. Informe saídas ausentes e falhas novas em vez de removê-las do denominador. Uma versão candidata com média melhor ainda não pode ser publicada se violar um limite obrigatório entre clientes.
Avaliação local
O curso pontua saídas preparadas com regras explícitas de Python. Ele ensina separação de casos, denominadores e condições de publicação, não a qualidade medida de um LLM real. Continue com a rubrica e a comparação de regressões.
A configuração dos produtos muda. A documentação do OpenAI Evals, consultada em 14 de novembro de 2026, marca seu serviço hospedado como descontinuado e somente leitura, com encerramento previsto para 30 de novembro. Esta lição não pede que você crie um trabalho novo nesse serviço. Consulte a documentação vigente ao aplicar o método em um ambiente real.