Quando nenhum sensor pronto atende, escreva um com @task.sensor. A função é chamada em cada poke; devolva True quando a condição for atendida e False para continuar esperando. Para entregar um valor à próxima tarefa, devolva um PokeReturnValue (de airflow.sdk): is_done diz se deve parar e xcom_value passa a ser o XCom do sensor.
@task.sensor(poke_interval=600, timeout=3600, mode="reschedule")
def report_ready(ds=None):
status = bramble.report_status(ds)
return PokeReturnValue(is_done=status["ready"], xcom_value=status["rows"])
O decorador aceita os argumentos usuais dos sensores: poke_interval, timeout, mode, soft_fail. Mantenha cada poke rápido e sem efeitos colaterais: ele é executado muitas vezes.
Espera até o parceiro publicar o relatório e então repassa o número de linhas dele.