O sharding distribui os registros entre máquinas. Sua chave decide qual máquina é dona de cada registro e, portanto, também quais requisições ficam caras. Aplicar hash aos IDs de cliente distribui os clientes comuns, mas não consegue dividir um único cliente cujo tráfego supera uma partição. Marlin Logs tem exatamente esse problema.
Verifique a maior chave, não só a carga média. Uma faixa de timestamps pode colocar todo evento novo em um único shard quente. Um sufixo aleatório distribui as gravações, mas obriga as leituras a visitar várias partições. Você também precisa de um plano de migração: um shard novo não recebe os registros antigos sozinho. Escolha a chave de partição a partir do padrão de acesso, indique o fan-out de consultas resultante e mantenha identidades de registro estáveis para que as novas tentativas durante uma movimentação não criem duplicatas.
Equilibre a chave mais carregada e mantenha explícito o fan-out das consultas.