A Harbor Supply tem cargas de trabalho sem relação entre si que compartilham uma plataforma de ingestão. As correções de estoque do armazém chegam em arquivos, a telemetria de entregas chega de forma contínua e a equipe financeira fecha um livro-razão diário. Você precisa escolher cada caminho de acordo com o prazo indicado, em vez de aplicar a mesma arquitetura em todos os lugares. Estas tarefas reutilizam as habilidades da unidade de pipelines com dados novos.
Separe a aritmética da decisão de design. Um agendamento a cada cinco minutos pode descumprir uma promessa de atualidade de cinco minutos quando a transferência e o cálculo entram na conta. Um processador rápido também pode levar horas para se recuperar se a capacidade dele mal supera a taxa de chegada. Nas tarefas de modelagem, descreva a unidade que uma linha representa antes de contá-la. As últimas tarefas retomam a entrada duplicada e os limites históricos, onde um resultado aparentemente arrumado pode esconder uma definição errada.
Use o contrato da carga de trabalho para o caminho de processamento e a granularidade das linhas para a métrica.