Mallow Search te pide rastrear una colección ficticia aprobada de 6,000 hosts y 18 millones de páginas candidatas en 100,000 segundos. Entrega los requisitos, una estimación de la tasa, un modelo duradero de la frontera y un tablero de rastreador comprobado. El trabajo está terminado cuando haya cortesía por host, comprobaciones de acceso después de las redirecciones, reintentos sin duplicados y bucles de redirección limitados, además de una indicación clara cuando los límites de un host impidan la tasa objetivo.
Mallow Search necesita un rastreador para una colección ficticia de sitios públicos de socios. Su frontera contiene las URL que hay que visitar, pero varias URL pueden identificar la misma página y algunos hosts responden despacio. Un grupo de workers sin restricciones puede saturar un host mientras otros workers están parados. Programa por host y mantén explícita la siguiente hora de descarga permitida.
Un rastreo es un trabajo repetible. Un worker puede descargar una página y fallar antes de marcar como completada la entrada de la frontera, así que elimina el contenido duplicado y mantén identidades de descarga estables. Normaliza solo los componentes de la URL que el contrato del sitio trata como equivalentes; quitar a ciegas todos los parámetros de consulta puede fusionar páginas distintas. Crearás una frontera duradera, aplicarás límites por host y producirás un pipeline de rastreo comprobado que gestione los reintentos, los bucles de redirección y los descubrimientos duplicados.
Crea un rastreador cortés con una programación duradera y una salida sin duplicados.