Redes dão timeout e APIs limitam a taxa de requisições. retry_policy=dg.RetryPolicy(max_retries=3, delay=10, backoff=dg.Backoff.EXPONENTIAL) em um asset ou em um op tenta de novo uma etapa que falhou até três vezes a mais, esperando 10, 20 e 40 segundos. Cada tentativa aparece no log de eventos como STEP_UP_FOR_RETRY e STEP_RESTARTED, e context.retry_number diz ao código em qual tentativa ele está.
Nem todo erro merece uma nova tentativa. Uma conta suspensa ou um esquema que mudou vão falhar sempre. Lance dg.Failure(description="...", metadata={...}, allow_retries=False) para parar na hora, com uma mensagem que a pessoa de plantão consiga usar para agir. A descrição e os metadados aparecem na etapa que falhou.
As novas tentativas escondem sintomas se você deixar. Tente de novo o que é passageiro, dispare um alerta para o que não é e mantenha max_retries baixo o bastante para que uma queda real ainda falhe em poucos minutos.
Até quatro tentativas, esperando mais a cada vez.