依頼者: Marigold Grocers(架空の食料品チェーン)の財務責任者、Dana Whitlockです。
理由: 店舗の売上はスプレッドシートで財務チームに届き、1日遅れで、ときには2回届きます。Danaは、毎日の売上をデータウェアハウスに読み込み、合計を報告し、仕入先の不安定な価格のAPIを乗り切り、何かが壊れたり遅れたりしたらデータチームに知らせる、1つの夜間のパイプラインを求めています。
データ: marigold.py(店舗の日次の売上とデータウェアハウス)、fernway.py(その日の最初の呼び出しでタイムアウトする、仕入先の価格のAPI)、chat.py(チームのチャンネル)です。データウェアハウスの接続marigold_warehouseは、環境変数として設定済みです。
完成の目安: marigold_nightly_salesがUTCの深夜0時に前日について実行され、再試行付きで価格を取得し、再実行が安全になるようにdaily_salesのその日を置き換え、1行の売上のレポートを返し、実行が失敗したら#data-alertsに、実行が遅れたら#oncallに投稿し、11月1日から7日までの履歴がバックフィルされていることです。
このプロジェクトでは、1つのタスクのファイルを、Marigoldの財務チームが頼りにする夜間のパイプラインに、1ステップずつ変えていきます。それぞれのステップは、前の答えから始まります。ワークスペースの時計は11月9日のUTCの06:00です。それぞれのチェックでDagをオンにするので、スケジューラーは過ぎたばかりの深夜0時の分を実行します。