De: Priya, Engenharia de dados
Assunto: Tabela limpa para as linhas de pedidos web
Os analistas continuam escrevendo seus próprios FLATTEN sobre RAW.ORDERS_JSON, e cada um obtém um resultado um pouco diferente. Crie RIDGELINE.SANDBOX.WEB_ORDER_LINES: uma linha por linha de pedido, com os tipos adequados, para que eles possam consultá-la como qualquer tabela.
Colunas: ORDER_ID, PLACED_AT (um timestamp), CUSTOMER_ID, LINE_NO (1 para a primeira linha), SKU, QTY, PRICE. Depois, precisamos de uma carga para cada arquivo novo: o arquivo desta manhã corrige um pedido existente e adiciona um novo, então ela precisa atualizar e inserir.
Este projeto monta um pequeno pipeline do jeito que os profissionais de engenharia de dados fazem no Snowflake: observe os dados brutos, escreva a consulta que dá forma a eles, salve o resultado como tabela, use-a e depois carregue alterações nela com MERGE.
Os passos que se baseiam em uma consulta partem do que você escreveu no passo anterior. Os passos que precisam da tabela já começam com ela criada a partir da resposta-modelo, para que um deslize no início não bloqueie o resto.