A Quarry Cloud pede um agendador que execute 4,320,000 tarefas por dia para seus clientes, com um pico de 20 vezes no início de cada hora. Entregue o escopo, uma estimativa do pico de despacho, uma API de tarefas, uma tabela de execuções, o caminho de despacho, uma barreira para workers obsoletos e um plano para o pico horário.
Como quem entrevista avalia este design, por nível
- Júnior: guarda de forma durável as execuções pendentes e as despacha para os workers por meio de uma fila.
- Pleno: reivindica cada execução uma única vez com uma restrição de unicidade, usa leases e entrega pelo menos uma vez, e tenta de novo com backoff.
- Sênior: bloqueia workers obsoletos, achata os picos, isola clientes barulhentos e explica por que efeitos exatamente uma vez exigem handlers idempotentes.
A Quarry Cloud executa milhões de tarefas agendadas por dia para seus clientes: exportações noturnas, sincronizações a cada hora, lembretes. Os clientes esperam que uma tarefa comece perto do horário agendado, que seja repetida se falhar e que nunca seja executada duas vezes ao mesmo tempo. Muitas tarefas são agendadas para o início da hora, então a carga chega em picos bem marcados.
O núcleo do design é uma lista durável de execuções pendentes, um passo de reivindicação que só um dispatcher consegue vencer e workers que mantêm um lease enquanto trabalham. A entrega é pelo menos uma vez, então os handlers das tarefas precisam poder ser repetidos sem risco, e um worker que congela além do lease não deve continuar gravando. Você vai estimar o pico, definir a API e a tabela de execuções, desenhar o caminho de despacho e fechar as duas janelas de falha clássicas.
Reivindique cada execução uma única vez, entregue pelo menos uma vez com leases, bloqueie os workers obsoletos e achate os picos do início da hora.