Um pipeline declarativo descreve as tabelas que você quer e as consultas que as produzem. A plataforma usa essas referências para montar um grafo de dependências. Uma tabela de streaming processa a entrada de forma incremental, segundo a semântica de streaming. Uma view materializada armazena o resultado de uma consulta e o atualiza para refletir as origens. Uma view comum armazena a definição de uma consulta e lê as origens quando é consultada.
A Aster Supply precisa de um feed silver limpo e de um resumo gold por região. Dê a cada saída um nome explícito para que o grafo mostre qual depende de qual. Neste navegador, as atualizações processam um snapshot finito da origem e mostram contagens de linhas. Você pode praticar as dependências e a qualidade dos dados, mas uma atualização local não consegue provar a latência nem a capacidade de um stream de produção. Escolha o tipo de saída pela semântica de atualização necessária, não pelo nome de comando que parece mais rápido.
Mantenha toda a entrada nesta declaração; a filtragem de qualidade vem em outra tarefa.