何年も静かに動くDagと、呼び出しの通知が来るDagを分けるのは、いくつかの習慣です:
- トップレベルで処理をしない。 タスクの外にあるものはすべて、解析のたびに、1時間に何度も、解析時の値で実行されます。データベースの呼び出し、APIの呼び出し、
Variable.get、「今日の日付」はタスクの中に置きます。
- 日付は実行から得る。
datetime.now()ではなくdsかデータ間隔を使い、過去の日の再実行やバックフィルでその日が処理されるようにします。
- 冪等でアトミックなタスク。 それぞれのタスクは自分の部分を置き換え(日ごとに削除してから挿入する、または一時テーブルに書き込んで入れ替える)、再試行や再実行でデータが重複しないようにします。
- 小さなXCom。 行の数、パス、キーを渡し、データそのものはストレージに置きます。
- 失敗に合わせた大きさのタスク。 単独で再試行したいステップごとに1つのタスクで、1つの巨大なタスクでも、何百もの小さなタスクでもありません。
- 重いインポートはタスクの中に。 実行時にだけ必要なら、解析が速いままになるようにします。