Pemuatan inkremental Aster Supply
Penanggung jawab ingestion memerlukan pemuatan berulang dari direktori landing JSON yang disediakan, tabel perubahan yang sudah dikurasi, dan upsert untuk pesanan saat ini. Serahkan ringkasan perubahan gold dan hitungan audit tanpa menduplikasi file yang sama saat dijalankan ulang.
Direktori landing Aster Supply berisi batch perubahan, bukan snapshot lengkap pesanan. Tugas Anda adalah memuatnya sekali, menjaga keterulangan di tingkat file, dan menerapkan aturan validasi nilai uang sebelum memperbarui pesanan saat ini. Output akhir harus memperlihatkan data yang diterima beserta jumlahnya.
Setiap langkah dibangun di atas tabel tersimpan dari langkah sebelumnya. COPY INTO mengingat identitas file di direktori dalam sesi. Menjalankannya untuk kedua kalinya tidak boleh menambahkan file-file itu lagi. Jaminan tersebut tidak menghilangkan duplikat record bisnis yang datang dalam file lain, sehingga tabel pesanan saat ini di hilir memakai MERGE. Jaga agar batas itu tetap eksplisit. Batch perubahan yang disediakan memiliki amount yang diketahui dan tidak negatif; menerapkan aturan validasinya tidak membuktikan bahwa file cacat yang belum Anda lihat akan berhasil di-parse. Publikasikan total batch perubahan hanya setelah feed yang dikurasi dan upsert berbasis kunci tersedia.
Target landing dimulai dalam keadaan kosong; jangan isi dengan baris historis.