Quem pediu: Dana Whitlock, diretora financeira da Marigold Grocers (uma rede de supermercados fictícia).
Por quê: A receita das lojas chega ao financeiro por planilha, com um dia de atraso e às vezes duas vezes. A Dana quer um único pipeline noturno que carregue as vendas de cada dia no data warehouse, informe o total, aguente a API de preços instável do fornecedor e avise a equipe de dados quando algo quebrar ou atrasar.
Os dados: marigold.py (as vendas diárias das lojas e o data warehouse), fernway.py (a API de preços do fornecedor, que dá timeout nas primeiras chamadas do dia) e chat.py (o canal da equipe). A conexão com o data warehouse marigold_warehouse é definida como variável de ambiente.
Pronto significa: marigold_nightly_sales roda à meia-noite UTC sobre o dia anterior; busca os preços com novas tentativas; substitui o dia em daily_sales para que as reexecuções sejam seguras; retorna um relatório de receita de uma linha; publica em #data-alerts quando uma execução falha e em #oncall quando uma execução está atrasada; e o histórico de 1 a 7 de novembro é carregado com backfill.
Neste projeto você transforma um arquivo com uma tarefa no pipeline noturno do qual a equipe financeira da Marigold depende, passo a passo. Cada passo parte da sua resposta anterior. O relógio do espaço de trabalho marca 06:00 UTC do dia 9 de novembro; cada verificação ativa o Dag, então o agendador executa a meia-noite que acabou de passar.