Mallow Search meminta Anda melakukan crawl terhadap koleksi fiktif yang sudah disetujui, berisi 6,000 host dan 18 juta halaman kandidat, dalam 100,000 detik. Serahkan persyaratan, estimasi laju, model frontier yang persisten, dan papan crawler yang sudah diperiksa. Pekerjaan dianggap selesai jika ada kesantunan per host, pemeriksaan akses setelah redirect, retry yang aman dari duplikasi, dan loop redirect yang dibatasi, ditambah pernyataan yang jelas ketika batas host menghalangi tercapainya laju target.
Mallow Search membutuhkan crawler untuk koleksi fiktif situs mitra publik. Frontier-nya berisi URL yang harus dikunjungi, tetapi beberapa URL bisa merujuk ke halaman yang sama dan sebagian host merespons dengan lambat. Pool worker tanpa batasan dapat membanjiri satu host sementara worker lain menganggur. Jadwalkan per host dan tuliskan waktu fetch berikutnya yang diizinkan secara eksplisit.
Crawl adalah pekerjaan yang bisa diulang. Sebuah worker bisa mengambil halaman lalu crash sebelum menandai entri frontier sebagai selesai, jadi hapus duplikasi konten dan pertahankan identitas fetch yang stabil. Normalisasikan hanya komponen URL yang dianggap setara oleh kontrak situs; membuang setiap parameter query secara membabi buta dapat menggabungkan halaman yang berbeda. Anda akan membangun frontier yang persisten, menerapkan batas per host, dan menghasilkan pipeline crawl yang sudah diperiksa dan menangani retry, loop redirect, serta penemuan duplikat.
Bangun crawler yang santun dengan penjadwalan persisten dan output yang aman dari duplikasi.