Redes caem, APIs dão timeout, bancos de dados reiniciam. As novas tentativas transformam esses tropeços em um pequeno atraso em vez de uma noite perdida: @task(retries=2, retry_delay=timedelta(minutes=1)) dá a uma tarefa até três tentativas, com um minuto entre elas. Entre uma tentativa e outra, a instância da tarefa fica em up_for_retry (amarelo no Grid), e cada tentativa tem o próprio log.
retry_exponential_backoff=True dobra a espera depois de cada falha, até max_retry_delay, o que é mais gentil com um serviço que está com dificuldades. Para dar a todas as tarefas a mesma política, coloque-a nos default_args do Dag: default_args={"retries": 2, "retry_delay": timedelta(minutes=1)}. Por padrão, o Airflow não faz novas tentativas.
Algumas falhas nunca se resolvem sozinhas: uma senha rejeitada, uma coluna que falta, um bug. Tentar de novo só atrasa o alerta. Lance AirflowFailException (de airflow.exceptions) e a tarefa falha na hora, não importa quantos retries ela tenha.
Tente de novo nos timeouts, mas pare na hora diante de uma chave rejeitada.