Observabilidade de LLM e rastros seguros
Identidade do rastro
Um rastro útil relaciona a requisição às versões e aos resultados que a explicam. Preserve o identificador da requisição, as revisões do prompt e das fontes, o estado final e as unidades de uso fictícias exigidos na tarefa. Essas unidades são dados didáticos, não tokens medidos de um provedor. Um registro que diga apenas “falhou” não diferencia uma falha de recuperação de uma gravação negada.
Em uma aplicação fictícia de transporte, uma ferramenta esgota o tempo após solicitar uma gravação. Preserve a identidade da operação para reconciliar o resultado incerto durante a recuperação. Tentar novamente com outra identidade pode duplicar a ação mesmo quando o rastro original parece indicar uma falha.
Minimização de dados
Guardar metadados não autoriza armazenar todos os prompts ou documentos. Oculte os campos sensíveis conforme a política fornecida e preserve os identificadores não sensíveis necessários à investigação. Teste tanto campos aninhados quanto campos de primeiro nível.
O notebook gera registros locais de eventos fictícios. Não há conexão com fornecedores de observabilidade nem medição de um serviço de produção. Continue com a ocultação de dados, os resultados incertos e os denominadores dos alertas.