Pemilihan hyperparameter menghabiskan bukti validasi. Melaporkan skor seleksi terbaik sebagai estimasi performa akhir mengabaikan pilihan tambahan itu. Validasi bersarang mengulang seluruh proses seleksi di dalam setiap fold pelatihan luar dan mengevaluasinya pada holdout luar. Anda akan menghitung loss luar, membandingkannya dengan skor dalam, dan melaporkan sebaran antar fold beserta keterbatasannya. Tiga fold tidak memberikan interval kepercayaan, terutama ketika model yang dilatih di fold-fold itu memakai observasi pelatihan yang sama. Anggaran uji akhir juga penting: pemeriksaan berulang dapat memengaruhi keputusan berikutnya. Catat partisi mana yang menyediakan setiap estimasi agar orang lain dapat memahami bukti di balik pilihan sebuah model.
Validasi bersarang mengevaluasi pemilihan pada baris luar yang tidak ikut memilih hyperparameter dalam.