Pipeline pertama sebuah tim data sering kali berupa beberapa script yang berjalan dengan timer: memuat pesanan pukul 6:00, membuat laporan pukul 6:30, dan berharap yang pertama sudah selesai. Sebuah orchestrator menggantikan harapan itu. Orchestrator tahu bahwa laporan bergantung pada pesanan, menjalankannya dalam urutan itu, mencoba ulang yang gagal, menyimpan catatan setiap run, dan memberi tahu Anda ketika ada yang terlambat atau rusak.
Dagster mengorganisasi pekerjaan itu di sekitar asset: tabel, file, dan model yang dihasilkan pipeline Anda. Anda mendeklarasikan setiap asset sebagai fungsi Python, Dagster membaca dependensi di antaranya, dan asset graph menampilkan seluruh pipeline. Mematerialisasi sebuah asset berarti menjalankan fungsinya dan menyimpan apa yang dikembalikannya.
Workspace ini menjalankan simulasi Dagster 1.13 di browser Anda: editor Python di sebelah kiri, dan di sebelah kanan asset graph, run, job, otomatisasi, serta terminal dengan perintah dg.
Tiga asset untuk Juniper & Pine, sebuah toko fiktif. Setiap parameter menyebutkan nama asset yang dibacanya, sehingga Dagster menjalankannya dari kiri ke kanan.