Loader seperti Fivetran atau Airbyte menyalin record ke data warehouse.
dbt baru mulai bekerja setelah record tersebut tiba. dbt mentransformasi data di warehouse; dbt tidak berubah menjadi konektor ingesti hanya karena sebuah source dideklarasikan di YAML. Di Harbor Cart, tabel pesanan mentah adalah titik serah terima antara operator loader dan tim analitik.
Source freshness membandingkan timestamp loaded-at dengan ambang batas yang dikonfigurasi. Pilih field yang mewakili waktu kedatangan atau pembaruan untuk pertanyaan yang ingin Anda pantau.
Timestamp bisnis sebuah event bisa saja sudah lama meskipun record-nya tiba tepat waktu. Lulusnya pemeriksaan freshness juga tidak mengatakan apa pun tentang duplikat atau identifier yang hilang. Padukan sinyal freshness dengan data test, dan pisahkan insiden ingesti dari cacat SQL saat Anda menentukan siapa yang harus menanganinya.
Pola yang sudah dikerjakan dengan record fiktif. Sesuaikan nama model dan aturan bisnis dengan setiap tugas.