Escolher um modelo também é uma forma de usar os dados. Se você olha várias vezes a pontuação de teste enquanto muda as configurações, o conjunto de teste passa a fazer parte da seleção do modelo. Reserve uma partição de validação dentro do treinamento para essas decisões e avalie a abordagem escolhida uma única vez no conjunto reservado final.
O vazamento também pode entrar por meio de uma variável. Um reembolso lançado depois do cancelamento pode prever muito bem o cancelamento, mas não existe no momento da previsão. O pré-processamento pode vazar informações quando você o ajusta com todo o conjunto de dados antes de dividir. As tarefas distinguem as linhas de seleção das linhas de avaliação final e pedem que você remova uma cópia direta do resultado. Um bom desempenho só é útil quando a informação e o momento coincidem com a decisão que você pretende tomar.
O conjunto de validação serve para escolhas como a profundidade do modelo. O conjunto de teste final responde a uma pergunta posterior, quando essas escolhas já estão fixadas.