Relatório de eventos da Blue Heron Rides
A pessoa responsável pelas operações precisa da contagem de saídas e chegadas por rota para a revisão de despacho. A fonte de eventos do bronze contém uma saída repetida e uma referência de viagem sem correspondência; a tabela de viagens fornece as chaves válidas e os nomes das rotas. Entregue tabelas de pipeline brutas e aceitas, uma linha por evento de negócio, uma auditoria de qualidade e um relatório por rota. A auditoria deve contabilizar separadamente as referências sem correspondência e os eventos duplicados.
A Blue Heron Rides recebe eventos de viagem do sistema de despacho dela. Duas linhas da fonte descrevem a mesma saída, e outro evento aponta para uma viagem que não existe. A equipe de operações precisa das contagens de saídas e chegadas por rota sem que nenhum dos dois problemas infle o relatório.
Carregue o snapshot finito de eventos, declare a regra de referência à viagem como uma expectativa e remova os eventos de negócio repetidos. O id do evento identifica uma linha de ingestão; trip_id, event_type e event_at identificam o evento que o negócio quer contar. Mantenha um id de origem representativo para poder rastrear essa escolha. Monte o resumo por rota somente depois de aplicar essas regras e, em seguida, concilie as contagens de entrada, rejeitados e duplicados. Este espaço de trabalho processa um snapshot limitado. As saídas e o grafo de dependências permitem que você pratique a lógica do pipeline, mas não estabelecem uma política de watermark nem o desempenho de um streaming de produção.
A declaração bruta preserva as saídas e as chegadas para que as contagens de qualidade e de eventos posteriores possam ser conciliadas.