Um asset dá nome a um dado que seus Dags compartilham: uma tabela, um arquivo, um modelo. Basta Asset("daily_sales"); uma URI como postgres://warehouse/analytics/public/daily_sales também serve. Duas declarações ligam os Dags por meio dele:
- A tarefa que escreve os dados os coloca em
outlets: @task(outlets=[DAILY_SALES]). Quando essa tarefa termina com sucesso, o Airflow registra um evento de asset. Uma tarefa com falha ou ignorada não registra nada.
- Um Dag que lê os dados é agendado sobre ele:
@dag(schedule=[DAILY_SALES]). Cada evento coloca na fila uma execução de cada consumidor que esteja ativado, e o scheduler inicia uma execução disparada por asset (asset-triggered).
O produtor não precisa saber quem lê a tabela, e ninguém precisa adivinhar quando a carga vai terminar. Dois detalhes do Airflow 3 pegam muita gente de surpresa: um evento que acontece enquanto um consumidor está pausado não é colocado na fila para ele, então ativá-lo depois não recupera nada; e uma execução disparada por asset não tem data lógica, então ds e {{ ds }} não existem (as próximas lições passam o dia no evento).
No Airflow 3.3, a versão que este espaço de trabalho modela, os eventos que se acumulam antes de um consumidor começar são tratados por uma única execução. O Airflow 3.4 mudou o comportamento padrão dos agendamentos de um único asset e com | para uma execução por evento, com uma opção para agrupá-los de novo.
A carga declara o que escreve; o relatório é executado sempre que essa tabela é atualizada.