Um pipeline de data warehouse precisa tanto de verificações de dados quanto de um contrato de saída claro. O snapshot e o feed de alterações desta lista de exercícios permitem ensaiar essas verificações sem gravar nos conjuntos de dados de origem da Lumen. O feed contém chaves de cliente repetidas com revisões diferentes, então precisa ser reduzido antes de um upsert.
Use metadados quando a pergunta for sobre colunas ou design de tabelas. Use consultas na origem quando a pergunta for sobre valores de linhas, cobertura ou chaves duplicadas. São tipos de evidência diferentes. Uma tabela pode ter o esquema certo e ainda assim conter transações repetidas.
As tarefas finais criam uma tabela seletiva de pedidos e verificam seu design físico. Leia a estimativa anterior à execução antes de rodar a consulta de origem. Todas as saídas com permissão de gravação ficam em practice. Mantenha as contagens de chaves visíveis enquanto trabalha e deixe explícita a regra de revisão escolhida, em vez de depender da ordem em que as linhas chegaram.
Uma etapa de origem determinística fornece ao upsert uma linha atual por cliente.