Desain Dagster: manifest harian yang dikoreksi
Perusahaan fiktif Alder Dispatch menerima versi file pengiriman yang tidak dapat diubah. Tim Operasional membutuhkan manifest harian yang dipublikasikan, pemeriksaan ID duplikat, dan koreksi terkendali untuk hari yang sudah dipublikasikan. Gambarlah ingestion, orkestrasi Dagster, eksekusi, penyimpanan run yang persisten, output kandidat, dan batas publikasi. Proses worker yang berhasil saja tidak boleh mempublikasikan manifest yang tidak lengkap.
Rubrik dan persiapanJawaban level mid mencakup apa saja · 1 pelajaran untuk persiapan
Menengah standar
- Penyimpanan objek mentah memberi masukan ke sebuah sensor, yang meminta layanan kontrol Dagster untuk meluncurkan worker. Layanan ini menyimpan status run dan event di penyimpanan run yang persisten. Worker membaca versi mentah yang tepat dan menulis output kandidat yang immutable karena status eksekusi dan data bisnis memiliki jalur pemulihan yang berbeda.
- Saya menjalankan asset check ID duplikat yang bersifat memblokir sebelum asset publikasi karena pointer publikasi harus tetap berada pada revisi yang disetujui sebelumnya ketika validasi gagal. Saya menyimpan manifest kandidat dan bukti duplikat untuk perbaikan, bukan menghapus sumbernya.
- Gunakan contoh tandingan dan pembacaan ulang untuk mempertahankan hasil ketika input berubah.