Dari: Priya, Data Engineering
Subjek: Tabel bersih untuk baris pesanan web
Para analis terus menulis FLATTEN mereka sendiri di atas RAW.ORDERS_JSON, dan hasilnya selalu sedikit berbeda. Tolong buat RIDGELINE.SANDBOX.WEB_ORDER_LINES: satu baris per baris pesanan, dengan tipe data yang tepat, agar mereka dapat melakukan query seperti pada tabel biasa.
Kolom: ORDER_ID, PLACED_AT (sebuah timestamp), CUSTOMER_ID, LINE_NO (1 untuk baris pertama), SKU, QTY, PRICE. Setelah itu kita perlu proses load untuk setiap file baru: file pagi ini mengoreksi satu pesanan yang sudah ada dan menambahkan satu pesanan baru, jadi proses itu harus melakukan update sekaligus insert.
Dalam proyek ini Anda membangun pipeline kecil seperti yang dikerjakan data engineer di Snowflake: lihat data mentah, tulis query yang membentuknya, simpan sebagai tabel, gunakan tabel itu, lalu muat perubahan ke dalamnya dengan MERGE.
Langkah yang melanjutkan sebuah query dimulai dari apa yang Anda tulis pada langkah sebelumnya. Langkah yang membutuhkan tabel dimulai dengan tabel yang sudah dibuat dari jawaban acuan, sehingga kesalahan di awal tidak menghalangi langkah-langkah berikutnya.