ランキングは、膨大なカタログを、1人のユーザーのその瞬間に向けた短い順序付きリストに変えます。ランキングはファネルとして動作します:候補取得では低コストの手法(埋め込みの類似度、フォロー、併せ買い)で数百から数千件の候補を集め、ランキングではより高度なモデルで順位を付け、再ランキングでは多様性、新しさ、ユーザーがすでに持っているアイテムの除外といったビジネスルールを適用します。
ランキングは、実際に使われる形で評価してください。NDCGなどのオフラインの指標は過去の行動と比較しますが、過去のクリックは表示されたものしかカバーしておらず、最初に表示されたアイテムは位置のせいだけでより多くクリックされます。最終的な判断を下すのはオンライン実験です。ファネルは予算内に収めてください:候補ごとに取得する特徴量は、すぐに膨れ上がります。