A seleção de hiperparâmetros consome evidências de validação. Informar a melhor pontuação de seleção como estimativa final de desempenho ignora essa escolha adicional. A validação aninhada repete o processo de seleção completo dentro de cada partição externa de treinamento e o avalia no conjunto reservado externo. Você vai calcular perdas externas, compará-las com as pontuações internas e informar a dispersão entre partições com suas limitações. Três partições não dão um intervalo de confiança, sobretudo quando os modelos ajustados compartilham observações de treinamento. O orçamento do teste final também importa: inspecioná-lo repetidamente pode influenciar decisões posteriores. Mantenha um registro de qual partição forneceu cada estimativa para que outra pessoa entenda as evidências por trás da escolha de um modelo.
A validação aninhada avalia a seleção com linhas externas que não escolheram o hiperparâmetro interno.