Hay trabajo que se abre en abanico sobre una lista que solo conoces al ejecutar: los depósitos de hoy, los archivos que han llegado, los paquetes aún sin entregar. El mapeo dinámico de tareas (dynamic task mapping) crea una instancia de tarea por elemento cuando la ejecución llega a la tarea:
@task
def depots(ds=None):
return bramble.depots_reporting(ds)
@task
def count(depot, ds=None):
return len(bramble.scans(depot, ds))
total(count.expand(depot=depots()))
count.expand(depot=...) recibe una lista (o un diccionario, o la salida de otra tarea) y crea count[0], count[1], etc.: cada una con su map index. La Grid las muestra como una sola tarea con un contador; haz clic para ver cada copia y su log. Una tarea que recibe la salida mapeada, como total, recibe todos los resultados como una lista, en el orden del map index.
¿Por qué no un bucle for? Un bucle se ejecuta al parsear el archivo, así que crea tareas a partir de la lista que vio el parser, la misma para todas las ejecuciones. El mapeo usa la lista que produce cada ejecución. Si esa lista está vacía, la tarea mapeada se omite, y también las tareas que van después con la trigger rule por defecto. Airflow limita un mapeo a 1,024 copias por defecto (max_map_length).