Mallow Searchは、承認済みの6,000個のホストと18百万件の候補ページからなる架空の集合を、100,000秒かけてクロールするよう求めています。要件、レートの見積もり、永続的なフロンティアのモデル、検証済みのクローラーのボードを提出してください。完了の条件は、ホストごとの節度あるアクセス、リダイレクト後のアクセスチェック、重複に安全な再試行、上限のあるリダイレクトループに加えて、ホストの制限で目標のレートに届かない場合にそれを明記することです。
Mallow Searchは、パートナーの公開サイトからなる架空の集合のためのクローラーを必要としています。フロンティアには訪問するURLが入っていますが、複数のURLが同じページを指すことがあり、応答の遅いホストもあります。制限のないワーカーのプールでは、他のワーカーが待機している間に、1つのホストを過負荷にしてしまうことがあります。ホストごとにスケジュールし、次に許可される取得時刻を明示してください。
クロールは、繰り返し実行されうる作業です。ワーカーがページを取得した後、フロンティアのエントリを完了にする前にクラッシュすることがあるため、内容の重複を排除し、取得の識別子を安定させてください。クエリパラメーターをやみくもにすべて削除すると別々のページが1つにまとめられてしまうことがあるので、サイトの取り決めで同等と扱われるURLの構成要素だけを正規化してください。永続的なフロンティアを構築し、ホストごとの制限を適用し、再試行、リダイレクトループ、重複した発見に対処できる検証済みのクロールのパイプラインを作ります。