Cuando ningún sensor ya hecho encaja, escribe uno con @task.sensor. La función se llama en cada poke; devuelve True cuando se cumple la condición y False para seguir esperando. Para pasar un valor a la siguiente tarea, devuelve un PokeReturnValue (de airflow.sdk): is_done dice si parar y xcom_value pasa a ser el XCom del sensor.
@task.sensor(poke_interval=600, timeout=3600, mode="reschedule")
def report_ready(ds=None):
status = bramble.report_status(ds)
return PokeReturnValue(is_done=status["ready"], xcom_value=status["rows"])
El decorador acepta los argumentos habituales de los sensores: poke_interval, timeout, mode, soft_fail. Haz que cada poke sea rápido y sin efectos secundarios: se ejecuta muchas veces.
Espera a que el socio publique el informe y luego pasa su número de filas.