Pipeline data warehouse membutuhkan pemeriksaan data sekaligus kontrak output yang jelas. Snapshot dan change feed dalam set latihan ini memungkinkan Anda melatih pemeriksaan tersebut tanpa menulis ke dataset sumber Lumen. Feed berisi kunci pelanggan yang berulang dengan revisi berbeda, sehingga harus direduksi sebelum upsert.
Gunakan metadata ketika pertanyaannya tentang kolom atau desain tabel. Gunakan query sumber ketika pertanyaannya tentang nilai baris, cakupan, atau kunci duplikat. Keduanya adalah jenis bukti yang berbeda. Sebuah tabel bisa memiliki skema yang benar namun tetap berisi transaksi yang berulang.
Tugas terakhir membangun tabel pesanan selektif dan memverifikasi desain fisiknya. Baca estimasi sebelum eksekusi, sebelum menjalankan query sumber. Semua output yang bisa ditulis berada di practice. Biarkan jumlah kunci tetap terlihat selama Anda bekerja, dan buat aturan pemilihan revisi eksplisit, jangan bergantung pada urutan kedatangan baris.
Tahap sumber yang deterministik memberikan upsert satu baris terkini per pelanggan.