ネットワークはタイムアウトし、APIはレート制限をかけます。アセットやopのretry_policy=dg.RetryPolicy(max_retries=3, delay=10, backoff=dg.Backoff.EXPONENTIAL)は、失敗したステップを10秒、20秒、40秒待ちながら、最大であと3回再試行します。それぞれの試行はイベントログにSTEP_UP_FOR_RETRYとSTEP_RESTARTEDとして表示され、context.retry_numberで、コードは何回目の試行かがわかります。
すべてのエラーを再試行すべきではありません。停止されたアカウントや変更されたスキーマは、毎回失敗します。当番の担当者が対応できるメッセージですぐに止めるには、dg.Failure(description="...", metadata={...}, allow_retries=False)を発生させてください。説明とメタデータは、失敗したステップに表示されます。
放っておくと、再試行は症状を隠してしまいます。一時的なものは再試行し、そうでないものは通知し、本当の障害が数分以内に失敗するようにmax_retriesを小さく保ってください。