Projeto com Dagster: um manifesto diário corrigido
A empresa fictícia Alder Dispatch recebe versões imutáveis de arquivos de entregas. Operações precisa de um manifesto diário publicado, uma verificação de IDs duplicados e uma correção controlada de um dia já publicado. Desenhe a entrada, a orquestração com Dagster, a execução, o armazenamento persistente das execuções, as saídas candidatas e o limite da publicação. O sucesso de um processo sozinho não pode publicar um manifesto incompleto.
Rubrica e preparaçãoO que uma resposta de nível mid cobre · 1 lição para se preparar
Pleno padrão
- O armazenamento de objetos de origem alimenta um sensor, que pede ao serviço de controle do Dagster para iniciar um processo de trabalho. O serviço mantém execuções e eventos em armazenamento persistente. O processo lê uma versão exata e grava uma saída candidata imutável porque o estado da execução e os dados têm caminhos de recuperação diferentes.
- Executo uma verificação bloqueante de IDs duplicados antes do ativo de publicação porque o ponteiro precisa manter a revisão aprovada anterior se a validação falhar. Guardo o manifesto candidato e as evidências das duplicatas para correção, sem apagar a origem.
- Use um contraexemplo e consulte o resultado de novo para justificá-lo com outras entradas.