Laporan event Blue Heron Rides
Pemimpin operasional membutuhkan jumlah keberangkatan dan kedatangan per rute untuk tinjauan dispatch. Feed event bronze berisi satu keberangkatan yang berulang dan satu referensi perjalanan yang tidak cocok; tabel trips menyediakan kunci yang valid dan nama rute. Serahkan tabel pipeline mentah dan yang diterima, satu baris per event bisnis, sebuah audit kualitas, dan laporan per rute. Audit harus menghitung referensi yang tidak cocok dan event duplikat secara terpisah.
Blue Heron Rides menerima event perjalanan dari sistem dispatch-nya. Dua baris feed menggambarkan keberangkatan yang sama, dan satu event lain menunjuk ke perjalanan yang tidak ada. Tim operasional membutuhkan jumlah keberangkatan dan kedatangan per rute tanpa salah satu dari kedua masalah itu menggelembungkan laporan.
Muat snapshot event yang terbatas, deklarasikan aturan referensi perjalanan sebagai expectation, dan hapus event bisnis yang berulang. Id event mengidentifikasi satu baris ingestion; trip_id, event_type dan event_at mengidentifikasi event yang ingin dihitung oleh bisnis. Simpan satu id sumber yang representatif agar Anda dapat menelusuri pilihan itu. Bangun ringkasan rute hanya setelah aturan-aturan itu diterapkan, lalu rekonsiliasi jumlah input, yang ditolak, dan duplikat. Workspace ini memproses snapshot yang terbatas. Output dan grafik dependensinya memungkinkan Anda berlatih logika pipeline, tetapi tidak menetapkan kebijakan watermark atau throughput streaming produksi.
Deklarasi mentah mempertahankan keberangkatan dan kedatangan agar penghitungan kualitas dan event berikutnya dapat direkonsiliasi.