差出人: Priya(データエンジニアリング)
件名: webの注文明細のきれいなテーブル
アナリストたちが、RAW.ORDERS_JSONに対してそれぞれ独自のFLATTENを書いていて、みんな少しずつ違う結果になっています。RIDGELINE.SANDBOX.WEB_ORDER_LINESを作ってもらえますか。注文明細ごとに1行で、型がきちんと付いていれば、ほかのテーブルと同じようにクエリできます。
列はORDER_ID、PLACED_AT(タイムスタンプ)、CUSTOMER_ID、LINE_NO(最初の明細が1)、SKU、QTY、PRICEです。そのうえで、新しいファイルごとの読み込みが必要です。今朝のファイルは既存の注文を1件修正し、新しい注文を1件追加するので、更新と挿入の両方が必要です。
このプロジェクトでは、データエンジニアがSnowflakeで行うのと同じ方法で、小さなパイプラインを作ります。元のデータを見て、それを整えるクエリを書き、テーブルとして保存し、使い、そしてMERGEで変更を読み込みます。
クエリを積み上げるステップは、前のステップで書いたものから始まります。テーブルが必要なステップは、模範解答からすでに作られたテーブルで始まるため、早い段階での間違いが残りの作業を妨げることはありません。