Harbor Supply memiliki beban kerja yang tidak saling terkait dan berbagi satu platform ingestion. Koreksi stok gudang datang dalam bentuk file, telemetri pengiriman datang secara kontinu, dan tim keuangan menutup ledger harian. Anda harus memilih setiap jalur berdasarkan tenggat yang dinyatakan, bukan menerapkan satu arsitektur di mana-mana. Tugas-tugas ini memakai kembali keterampilan dari unit pipeline pada data yang baru.
Pisahkan aritmetika dari pilihan desain. Jadwal lima menit bisa gagal memenuhi janji kesegaran lima menit begitu transfer dan komputasi ikut dihitung. Prosesor yang cepat juga bisa membutuhkan waktu berjam-jam untuk pulih jika kapasitasnya hampir tidak melebihi laju kedatangan. Untuk tugas pemodelan, jelaskan unit yang diwakili sebuah baris sebelum menghitungnya. Tugas-tugas terakhir kembali ke input duplikat dan batas historis, di mana hasil yang tampak rapi bisa menyembunyikan definisi yang salah.
Gunakan kontrak beban kerja untuk jalur pemrosesan dan granularitas baris untuk metrik.