Parte do trabalho se espalha por uma lista que você só conhece na hora da execução: os depósitos de hoje, os arquivos que chegaram, as encomendas ainda em aberto. O mapeamento dinâmico de tarefas (dynamic task mapping) cria uma instância de tarefa para cada item quando a execução chega à tarefa:
@task
def depots(ds=None):
return bramble.depots_reporting(ds)
@task
def count(depot, ds=None):
return len(bramble.scans(depot, ds))
total(count.expand(depot=depots()))
count.expand(depot=...) recebe uma lista (ou um dicionário, ou a saída de outra tarefa) e cria count[0], count[1] e assim por diante: cada uma com seu map index. A Grid as mostra como uma única tarefa com um contador; clique nela para ver cada cópia e seu log. Uma tarefa que recebe a saída mapeada, como total, recebe todos os resultados em uma lista, na ordem do map index.
Por que não um loop for? Um loop é executado quando o arquivo passa pelo parse, então ele cria tarefas a partir da lista que o parser viu, a mesma para todas as execuções. O mapeamento usa a lista que cada execução produz. Se essa lista estiver vazia, a tarefa mapeada é pulada, e as tarefas seguintes também, com a trigger rule padrão. O Airflow limita um mapeamento a 1,024 cópias por padrão (max_map_length).