決定木は、しきい値のルールの連続で入力を分割します。線形モデルと違って、先に交互作用の列を加えなくても交互作用を表現できます。分類木はカテゴリーを予測し、回帰木はその葉の中で数値を予測します。どちらも、自由に成長させると、小さな訓練標本を丸暗記してしまうことがあります。
深さの制限は、連続する判断の数を抑えます。課題では小さなmax_depthとrandom_stateを指定しているので、当てはめを再現性をもって比べられます。尺度を変えても数値の特徴量の順序は保たれるので、木には一般に標準化は必要ありません。それでも誠実なホールドアウトは必要です。テストの行で訓練したり、分類器を回帰器に取り替えたりすると、たとえ結果のコードが実行されて行ごとに1つの数値を返しても、実験の条件を満たしません。