モデルを選ぶことも、データの使用の1つです。設定を変えながら繰り返しテストのスコアを調べると、テストセットはモデルの選択の一部になってしまいます。そうした判断のために訓練の中に検証の区分を確保し、その後、選んだ方法を最終的なホールドアウトで一度だけ評価してください。
リークは特徴量を通じて入り込むこともあります。キャンセルの後に計上された返金はキャンセルをとてもよく予測するかもしれませんが、予測の時点では存在しません。分割する前にデータセット全体で前処理を当てはめると、前処理を通じて情報が漏れることがあります。課題では、選択の行と最終的な評価の行を区別し、結果の直接のコピーを取り除くよう求めます。良い性能が役に立つのは、情報とタイミングが下そうとしている判断に合っているときだけです。