Ranking mengubah katalog yang sangat besar menjadi daftar pendek yang berurutan untuk satu pengguna dan satu momen. Prosesnya berjalan sebagai funnel: retrieval mengumpulkan beberapa ratus hingga beberapa ribu kandidat dengan metode murah (kemiripan embedding, follow, pembelian bersamaan), ranking mengurutkannya dengan model yang lebih kaya, dan re-ranking menerapkan aturan bisnis seperti diversitas, kebaruan, atau menghapus item yang sudah dimiliki pengguna.
Ukur ranking sesuai cara pemakaiannya. Metrik offline seperti NDCG membandingkan dengan perilaku masa lalu, tetapi klik masa lalu hanya mencakup apa yang ditampilkan, dan item yang tampil pertama mendapat lebih banyak klik hanya karena posisinya. Eksperimen online adalah penentu akhir. Jaga agar funnel tetap dalam anggaran: feature yang diambil per kandidat berlipat ganda dengan cepat.
Rancang funnel retrieval dan ranking, anggarkan pengambilan feature, dan ukur secara adil.