Peminta: Dana Whitlock, kepala keuangan di Marigold Grocers (jaringan supermarket fiktif).
Alasan: Pendapatan toko sampai ke tim keuangan lewat spreadsheet, terlambat sehari dan kadang dua kali. Dana menginginkan satu pipeline malam yang memuat penjualan setiap hari ke warehouse, melaporkan totalnya, tahan terhadap API harga pemasok yang sering gagal, dan memberi tahu tim data ketika ada yang rusak atau terlambat.
Datanya: marigold.py (penjualan harian toko dan warehouse), fernway.py (API harga pemasok, yang timeout pada panggilan-panggilan pertama setiap hari) dan chat.py (kanal tim). Koneksi warehouse marigold_warehouse diatur sebagai environment variable.
Selesai berarti: marigold_nightly_sales berjalan tengah malam UTC untuk hari sebelumnya; mengambil harga dengan retry; mengganti data hari itu di daily_sales sehingga run ulang aman; mengembalikan laporan pendapatan satu baris; memposting ke #data-alerts ketika run gagal dan ke #oncall ketika run terlambat; dan riwayat tanggal 1 sampai 7 November sudah di-backfill.
Dalam proyek ini Anda mengubah file dengan satu task menjadi pipeline malam yang diandalkan tim keuangan Marigold, selangkah demi selangkah. Setiap langkah dimulai dari jawaban Anda sebelumnya. Jam workspace menunjukkan pukul 06:00 UTC pada 9 November; setiap pemeriksaan menyalakan Dag, sehingga scheduler menjalankan tengah malam yang baru saja lewat.