Elegir un modelo también es una forma de usar los datos. Si miras una y otra vez la puntuación de prueba mientras cambias ajustes, el conjunto de prueba pasa a formar parte de la selección del modelo. Reserva una partición de validación dentro del entrenamiento para esas decisiones y evalúa el enfoque elegido una sola vez con el conjunto reservado final.
La filtración también puede entrar a través de una variable. Un reembolso registrado después de una cancelación puede predecir muy bien la cancelación, pero no existe en el momento de la predicción. El preprocesamiento puede filtrar información si lo ajustas con todo el conjunto de datos antes de dividir. Las tareas distinguen las filas de selección de las de evaluación final y te piden quitar una copia directa del resultado. Un buen rendimiento solo es útil cuando la información y el momento coinciden con la decisión que vas a tomar.
El conjunto de validación sirve para elecciones como la profundidad del modelo. El conjunto de prueba final responde a una pregunta posterior, cuando esas elecciones ya están fijadas.