HorizontalPodAutoscalerは、メトリクスをターゲットの近くに保つように、Deployment(またはStatefulSet)のレプリカ数を変更します。CPUの場合、使用率はリクエストに対する使用量の割合をPod全体で平均したもので、目標のレプリカ数はおおよそceil(現在のレプリカ数 × 現在の使用率 ÷ ターゲット)となり、minReplicasとmaxReplicasの範囲内に保たれます。
kubectl autoscale deployment NAME --min=2 --max=10 --cpu-percent=60でHPAを作成できます。kubectl get hpaでは、TARGETSに現在の値とターゲットが表示されます。メトリクスはmetrics serverから取得され、kubectl topと同じソースです。
よく起きる問題は3つあります。CPUリクエストがないと、割る数がないため、HPAには<unknown>と表示されます。最大値に達するとスケールが止まり、describeにはScalingLimitedとTooManyReplicasが表示されます。また、Deploymentを手動でスケールするとHPAと競合し、HPAがレプリカ数を元に戻します。代わりにHPAを変更してください。実際のクラスターでは、スケールダウンの前に安定化ウィンドウの時間も待ちますが、このクラスターでは結果がすぐに確定します。