Model incremental mempertahankan tabel yang sudah ada dan memproses batch terpilih pada run berikutnya.
Run pertama membutuhkan query sumber yang lengkap karena target belum ada. Pada run berikutnya, is_incremental() dapat mengaktifkan filter yang membaca relasi tersimpan melalui this. Pengaturan materialisasi tidak membuatkan filter itu untuk Anda.
Append menyisipkan setiap baris yang diterimanya. Cocok untuk event immutable jika batch dapat mengidentifikasi kedatangan baru. Gunakan jam ingestion untuk kontrak itu: event yang terjadi minggu lalu bisa tiba hari ini.
Watermark dengan operator lebih besar dari yang ketat menangani run berulang ketika jam kedatangan maju di antara batch, tetapi timestamp yang sama memerlukan aturan tambahan.
Latihan ini membuat target, mengubah sumber, dan menjalankan model Anda dua kali. Anda akan melihat kedatangan terlambat yang terlewat, replay yang menduplikasi data, dan jam kedatangan kembar yang membutuhkan batas inklusif sekaligus pemeriksaan key yang sudah ada.
Query awal membaca event yang memenuhi syarat; cabang kondisional membatasi batch append berikutnya berdasarkan waktu kedatangan yang tersimpan.