A Mallow Search pede que você rastreie uma coleção fictícia aprovada de 6,000 hosts e 18 milhões de páginas candidatas em 100,000 segundos. Entregue os requisitos, uma estimativa da taxa, um modelo durável da fronteira e um quadro de rastreador verificado. O trabalho está concluído quando houver cortesia por host, verificações de acesso após os redirecionamentos, novas tentativas sem duplicação e loops de redirecionamento limitados, além de uma indicação clara quando os limites de um host impedirem a taxa-alvo.
A Mallow Search precisa de um rastreador para uma coleção fictícia de sites públicos de parceiros. A fronteira dele contém URLs a visitar, mas várias URLs podem identificar a mesma página e alguns hosts respondem devagar. Um pool de workers sem restrições pode sobrecarregar um host enquanto outros workers ficam parados. Agende por host e mantenha explícito o próximo horário de busca permitido.
Um rastreamento é um trabalho repetível. Um worker pode buscar uma página e falhar antes de marcar a entrada da fronteira como concluída, então elimine o conteúdo duplicado e mantenha identidades de busca estáveis. Normalize apenas os componentes da URL que o contrato do site trata como equivalentes; remover às cegas todos os parâmetros de consulta pode unir páginas diferentes. Você vai criar uma fronteira durável, aplicar limites por host e produzir um pipeline de rastreamento verificado que lide com novas tentativas, loops de redirecionamento e descobertas duplicadas.
Crie um rastreador cortês com agendamento durável e saída sem duplicação.