実行時にしかわからないリストに対してファンアウトする作業もあります:今日の拠点、届いたファイル、まだ未処理の荷物です。動的なタスクのマッピングは、実行がタスクに達したときに、項目ごとに1つのタスクインスタンスを作ります:
@task
def depots(ds=None):
return bramble.depots_reporting(ds)
@task
def count(depot, ds=None):
return len(bramble.scans(depot, ds))
total(count.expand(depot=depots()))
count.expand(depot=...)はリスト(または辞書、ほかのタスクの出力)を受け取り、count[0]、count[1]などを作ります:それぞれが1つのマップのインデックスです。Gridでは件数付きの1つのタスクとして表示され、クリックするとそれぞれのコピーとそのログが表示されます。totalのようにマッピングされた出力を受け取るタスクは、すべての結果をリストとして、マップのインデックスの順に受け取ります。
なぜforループではないのでしょうか?ループはファイルが解析されるときに実行されるので、パーサーが見たリストからタスクを作り、それはすべての実行で同じです。マッピングは、それぞれの実行が作るリストを使います。そのリストが空なら、マッピングされたタスクはスキップされ、デフォルトのトリガールールではその後のタスクもスキップされます。Airflowは、デフォルトでマップを1,024個のコピーまでに制限します(max_map_length)。