Quién lo pide: Dana Whitlock, directora financiera de Marigold Grocers (una cadena de supermercados ficticia).
Por qué: Los ingresos de las tiendas llegan a finanzas en una hoja de cálculo, con un día de retraso y a veces dos veces. Dana quiere un único pipeline nocturno que cargue las ventas de cada día en el almacén de datos, informe del total, aguante la API de precios del proveedor, que falla a menudo, y avise al equipo de datos cuando algo se rompa o vaya tarde.
Los datos: marigold.py (las ventas diarias de las tiendas y el almacén de datos), fernway.py (la API de precios del proveedor, que da timeout en las primeras llamadas del día) y chat.py (el canal del equipo). La conexión al almacén marigold_warehouse está definida como variable de entorno.
Qué es estar terminado: marigold_nightly_sales se ejecuta a medianoche UTC sobre el día anterior; obtiene los precios con reintentos; sustituye el día en daily_sales para que las repeticiones sean seguras; devuelve una línea con los ingresos; publica en #data-alerts cuando falla una ejecución y en #oncall cuando una ejecución va tarde; y el histórico del 1 al 7 de noviembre está cargado con un backfill.
En este proyecto conviertes un archivo con una tarea en el pipeline nocturno del que depende el equipo financiero de Marigold, paso a paso. Cada paso parte de tu respuesta anterior. El reloj del espacio de trabajo marca las 06:00 UTC del 9 de noviembre; cada comprobación activa el Dag, así que el planificador ejecuta la medianoche que acaba de pasar.