Memilih model juga merupakan penggunaan data. Jika Anda berulang kali memeriksa skor uji sambil mengubah pengaturan, set uji sudah menjadi bagian dari pemilihan model. Sisihkan partisi validasi di dalam data pelatihan untuk keputusan-keputusan itu, lalu evaluasi pendekatan yang dipilih satu kali pada holdout akhir.
Kebocoran data juga bisa masuk lewat sebuah fitur. Pengembalian dana yang dicatat setelah pembatalan bisa memprediksi pembatalan dengan sangat baik, tetapi data itu tidak ada pada saat prediksi dibuat. Prapemrosesan dapat membocorkan informasi bila Anda melakukan fit pada seluruh dataset sebelum membagi data. Tugas-tugas ini membedakan baris seleksi dari baris evaluasi akhir dan meminta Anda menghapus salinan langsung dari hasil. Performa yang baik hanya berguna jika informasi dan waktunya sesuai dengan keputusan yang akan Anda ambil.
Set validasi mendukung pilihan seperti kedalaman model. Set uji akhir menjawab pertanyaan berikutnya setelah pilihan-pilihan itu ditetapkan.