O ranking transforma um catálogo enorme em uma lista curta e ordenada para um usuário e um momento. Ele funciona como um funil: a recuperação reúne de algumas centenas a alguns milhares de candidatos com métodos baratos (similaridade de embeddings, contas seguidas, compras em conjunto), o ranking os ordena com um modelo mais rico e a reordenação aplica regras de negócio, como diversidade, novidade ou a remoção do que o usuário já tem.
Meça os rankings do jeito que eles são usados. Métricas offline como o NDCG comparam com o comportamento passado, mas os cliques passados só cobrem o que foi exibido, e o que aparece primeiro recebe mais cliques só pela posição. Os experimentos online são o juiz final. Mantenha o funil dentro do orçamento: as features obtidas por candidato se multiplicam rápido.
Projete um funil de recuperação e ranking, faça o orçamento da obtenção de features e meça tudo de forma justa.