Uma ferramenta de carga, como Fivetran ou Airbyte, copia registros para um data warehouse.
O dbt começa depois que esses registros chegam. Ele transforma dados do data warehouse; não vira um conector de ingestão só porque uma origem foi declarada em YAML. Na Harbor Cart, a tabela de pedidos brutos é o ponto de entrega entre quem opera a carga e a equipe de análise.
A atualidade da origem compara um timestamp de carga com um limite configurado. Escolha um campo que represente o momento de chegada ou de atualização relevante para o que você precisa monitorar.
O timestamp de negócio de um evento pode ser antigo mesmo que o registro tenha chegado a tempo. Além disso, passar na verificação de atualidade não diz nada sobre duplicatas nem identificadores ausentes. Combine o sinal de atualidade com testes de dados e separe os incidentes de ingestão dos defeitos de SQL ao decidir quem precisa responder.
Um padrão resolvido com registros fictícios. Adapte o nome do modelo e a regra de negócio a cada tarefa.