Negara atau wilayah dan bahasa

    Pilih negara atau wilayah dan bahasa Anda.

    Disarankan untuk Anda

      Semua negara dan wilayah

        Pilih karakter Anda

        Karakter ini tampil di bilah atas dan di profil Anda. Ubah kapan saja.

        Kursus / Alat data dan analitik

        Tutorial Apache Airflow: latihan Dag online

        Belajar Apache Airflow dengan menulis Dag sungguhan di workspace Airflow yang berfungsi. Setiap pelajaran punya contoh yang dibahas, lalu task yang menjalankan Dag Anda dan memeriksa hasilnya: TaskFlow, penjadwalan, XCom, sensor, retry, dan pengujian.

        Mulai pelajaran 1Latihan wawancaraIkuti asesmenBerlatih di unit pertama setiap kursus. Tidak perlu akun.
        68pelajaran
        395latihan yang diperiksa
        11proyek, studi kasus, dan ujian
        Mempersiapkan Anda untuk Wawancara data engineer dan tes bergaya sertifikasi Airflow

        Yang akan dapat Anda lakukan

        • Menulis Dag dengan with DAG dan @dag, serta task dengan TaskFlow API dan operator klasik
        • Mengatur dependensi dengan >>, list, dan chain, serta memperbaiki error import yang menyembunyikan sebuah Dag
        • Men-trigger, menjeda, dan menjalankan ulang Dag run untuk hari-hari yang lalu, serta membaca log task untuk mencari tahu mengapa sebuah task gagal
        • Mengoper nilai dengan XCom, memberi Dag param bertipe, dan membaca pengaturan serta kredensial dari variable dan connection
        • Memasukkan tanggal, param, dan variable ke dalam perintah dengan template Jinja dan macro
        • Menjadwalkan Dag, melakukan backfill untuk histori, mengulang yang gagal dengan retry, menunggu file dengan sensor, dan men-trigger Dag dari asset (di unit-unit berikutnya)

        Untuk siapa

        Anda data engineer atau analytics engineer yang baru mulai dengan Airflow
        Pelajari cara menulis Dag ala Airflow 3 lewat task pendek yang diperiksa, tanpa menginstal apa pun.
        Anda merawat Dag yang ditulis orang lain
        Berlatih membaca Grid dan log task, memperbaiki error import, dan menjalankan ulang hari yang tepat.
        Anda akan menghadapi wawancara data engineering atau sertifikasi Airflow
        Kursus ini ditutup dengan set pertanyaan wawancara dan tes kerja berwaktu yang dimodelkan pada topik sertifikasi Airflow 3.

        Yang dapat Anda latih secara gratis

        Unit 1, Dag, task, dan dependensi: 6 pelajaran dan 33 latihan yang diperiksa, tanpa akun atau kartu.

        Mulai unit gratis

        Sisa kursus terbuka dengan paket One Course atau All Access. Lihat paket dan harga

        Lanjutkan belajar Apache Airflow

        Pilih akses di sini. Kursus Anda sudah dipilih.

        One Course

        Setiap pelajaran, proyek, dan tryout di Apache Airflow.

        Memuat harga/ bulan

        Ditagih bulanan. Batalkan kapan saja.

        All Access

        Setiap kursus, ujian, dan proyek, ditambah Pusat Wawancara.

        Memuat harga/ bulan

        Ditagih bulanan. Batalkan kapan saja.

        Proyek, studi kasus, dan tryout

        Proyek · MenengahPipeline penjualan malam Marigold

        Bangun pipeline penjualan malam Marigold selangkah demi selangkah: hari yang benar, retry, load idempoten, laporan, peringatan, tenggat, dan backfill.

        8 langkah
        Proyek · LanjutanTracker paket pagi Bramble

        Bangun tracker pagi Bramble: petakan ke depo yang sudah melapor, lacak setiap paket yang belum terkirim sesuai batas mitra, simpan hasilnya, dan jalankan pesan ke pelanggan.

        7 langkah
        Studi kasus · AhliSeminggu tertahan di belakang satu hari yang buruk

        Cari tahu mengapa buku besar harian berhenti pada hari Kamis, urai kemacetan satu minggu itu dengan aman, dan pastikan kegagalan berikutnya diketahui pada hari yang sama.

        5 langkah
        Studi kasus · AhliUpgrade yang menggeser hari

        Telusuri tanggal yang salah setelah upgrade ke Airflow 3 sampai ke cron timetable yang baru, perbaiki tanpa menyentuh kode task, dan lakukan backfill untuk riwayatnya.

        5 langkah
        Studi kasus · AhliPagi ketika scanner macet

        Jelaskan mengapa depo yang tepat waktu harus menunggu di belakang depo yang terlambat, bebaskan slotnya, berhenti menunggu selamanya untuk depo yang mungkin tidak mengunggah file, dan rekomendasikan sebuah desain.

        5 langkah
        Proyek · AhliRekonsiliasi settlement Fenwick Pay

        Bangun rekonsiliasi malam Fenwick Pay: lakukan mapping per merchant, simpan hasil, beri peringatan jika ada ketidaksesuaian, tunggu file jaringan, jadwalkan per hari kerja, dan teruskan hasilnya sebagai asset.

        7 langkah
        Tryout · AhliTes kerja Airflow A: dasar-dasar (berwaktu)

        Tes Airflow berwaktu dengan 20 soal tentang Dag, penjadwalan, run, UI dan CLI, XCom, variabel, koneksi, dan debugging.

        20 pertanyaan · 40 min
        Tryout · AhliTes kerja Airflow B: penulisan Dag (berwaktu)

        Tes Airflow berwaktu dengan 20 pertanyaan tentang TaskFlow, templating, branching, trigger rule, sensor, pemetaan, asset, pengujian, dan pool.

        20 pertanyaan · 45 min

        Berlatih Apache Airflow di workspace browser yang mem-parse file Dag Anda dan menjalankannya pada simulasi Airflow 3.3: daftar Dag, tampilan Grid dan Graph, log task, XCom, variabel, koneksi, pool, asset, dan terminal dengan command line airflow. Mulailah dari Dag pertama Anda dan TaskFlow API, lalu jadwalkan, teruskan data antar-task, ulangi yang gagal, tunggu file dengan sensor, buat percabangan, petakan task atas daftar, dan picu Dag dari asset. Level berikutnya mencakup backfill, pengujian, pola produksi, dan insiden, lengkap dengan proyek, set latihan wawancara, dan tes kerja berwaktu. Setiap task diperiksa pada data Anda dan pada salinan tersembunyi. Tidak perlu instalasi.

        Latihan wawancara

        Jelaskan apa yang sudah Anda pelajari dalam wawancara layar penuh. Berbicaralah atau ketik, lalu tinjau jawaban Anda berdasarkan rubrik untuk level Anda.

        Proses wawancara per posisi

        Pemula

        GratisTidak perlu akun atau kartu. Semua pelajaran di unit ini terbuka untuk Anda latih.

        Dag, task, dan dependensi

        Tulis file Dag dengan DAG dan @dag, oper data dengan TaskFlow, atur dependensi, dan gunakan operator klasik.

        6 pelajaran

        Menjalankan Dag dan membaca log

        Picu dan jeda eksekusi, baca log task, gunakan command line airflow, dan perbaiki error impor.

        5 pelajaran

        XCom, params, variables, dan connections

        Oper nilai antar task, beri input pada Dag, baca pengaturan dan kredensial, dan render template.

        6 pelajaran

        Menengah

        Jadwal, data interval, dan backfill

        Pilih jadwal, pahami logical date dan data interval di Airflow 3, proses ulang riwayat dengan catchup dan backfill, dan jadwalkan dalam waktu lokal.

        5 pelajaran

        Retry, timeout, peringatan, dan eksekusi ulang

        Coba ulang hal yang bersifat sementara, hentikan yang menggantung, beri peringatan untuk kegagalan dan eksekusi yang terlambat, buat load bersifat idempoten dan jalankan ulang task dengan aman, lalu bangun pipeline malam hari milik Marigold.

        8 pelajaran

        Lanjutan

        Trigger rule, branching, dan grup

        Tentukan kapan task berjalan dengan trigger rule, pilih jalur dengan branch dan short circuit, dan atur task dengan grup, setup, dan teardown.

        5 pelajaran

        Sensor dan dependensi antar-Dag

        Tunggu file, laporan, dan Dag lain tanpa membuang slot worker, dan hubungkan Dag yang saling bergantung.

        5 pelajaran

        Asset dan penjadwalan berbasis data

        Jalankan Dag saat data yang dibacanya diperbarui, gabungkan asset dengan kondisi dan jadwal berbasis waktu, teruskan detail melalui asset event, dan tulis asset dengan @asset.

        5 pelajaran

        Dynamic task mapping

        Lakukan fan out pada list yang baru diketahui saat dijalankan, pasangkan dan tetapkan argumen, lindungi sistem yang punya rate limit, lalu bangun pelacak paket pagi hari milik Bramble.

        5 pelajaran

        Ahli

        Menguji Dag

        Tangkap file yang rusak dengan tes DagBag, uji logika task dengan pytest, dan jalankan seluruh Dag di CI dengan dag.test().

        4 pelajaran

        Airflow di production

        Bagikan sistem dengan aman menggunakan pool dan prioritas, kenali komponen Airflow 3, tulis file Dag yang ringan di-parse dan aman dijalankan ulang, serta bandingkan Airflow dengan Dagster.

        5 pelajaran

        Insiden dan proyek pembayaran

        Tangani insiden realistis mulai dari gejala, perbaikan, hingga ringkasan untuk pihak bisnis, lalu bangun rekonsiliasi settlement Fenwick Pay dari awal sampai akhir.

        4 pelajaran

        Wawancara dan tes kerja

        Latih pertanyaan wawancara Airflow di tiga tingkat dan kerjakan dua tes kerja dengan batas waktu tentang dasar-dasar dan penulisan Dag.

        5 pelajaran

        Dag di Airflow 3

        Setiap pelajaran dibangun di atas file seperti ini: sebuah Dag yang didefinisikan dengan @dag, task yang ditulis sebagai fungsi Python dengan @task, dan tanggal run yang dibaca dari Airflow, bukan diketik sendiri.

        import pendulum
        from airflow.sdk import dag, task
        
        
        @dag(schedule="@daily", start_date=pendulum.datetime(2026, 11, 1, tz="UTC"))
        def marigold_daily():
            @task
            def extract_sales(ds=None):
                return fetch_sales(ds)
        
            @task
            def total_revenue(rows):
                return round(sum(r["revenue"] for r in rows), 2)
        
            total_revenue(extract_sales())
        
        
        marigold_daily()

        Topik Airflow di kursus ini

        Topik Pelajaran
        Dag, task, run, dan task instance Dasar-dasar Airflow
        with DAG dan @dag Dag Airflow pertama Anda
        TaskFlow API TaskFlow: task sebagai fungsi Python
        >>, list, dan chain Dependensi task
        BashOperator dan PythonOperator Operator klasik
        Men-trigger dan menjeda Dag Trigger, jeda, dan baca Dag run
        Log task Log task
        CLI airflow Command line Airflow
        Error import Memperbaiki error import Dag
        XCom XCom: mengoper nilai kecil antar task
        Param dan konfigurasi run Param dan konfigurasi run
        Variable Variable: pengaturan di luar kode
        Koneksi Koneksi dan hook
        Template Jinja dan macro Template Jinja dan macro
        Jadwal, cron, dan timedelta Jadwal Airflow
        Logical date dan data interval Logical date dan data interval
        Catchup dan backfill Catchup dan backfill
        Zona waktu Zona waktu dan waktu musim panas
        Retry Retry: kapan mencoba lagi dan kapan berhenti
        Timeout Timeout untuk task dan run
        Callback saat gagal Callback: beri peringatan saat task gagal
        Deadline alert (pengganti SLA) Deadline alerts
        Task idempoten Task idempoten
        Clear dan menjalankan ulang task Clear, tandai, dan jalankan ulang task
        Trigger rule Trigger rule: kapan sebuah task boleh berjalan
        Branching dengan @task.branch Branching dengan @task.branch
        Short circuit Short circuit: hentikan run lebih awal
        Task group, setup, dan teardown Task group, setup, dan teardown
        FileSensor File sensor: tunggu file-nya
        Mode sensor dan sensor deferrable Mode sensor: poke, reschedule, dan deferrable
        @task.sensor Sensor kustom dengan @task.sensor
        ExternalTaskSensor dan TriggerDagRunOperator Dependensi antar Dag
        Asset dan penjadwalan berbasis data Asset: mulai Dag saat datanya berubah
        Kondisi asset dan AssetOrTimeSchedule Kondisi asset: dan, atau, dan sebuah jam
        Event asset, outlet_events, dan triggering_asset_events Teruskan detail lewat event asset
        Dekorator @asset Dekorator @asset
        Dynamic task mapping dengan expand Dynamic task mapping: satu task per item
        partial dan expand_kwargs partial, beberapa argumen, dan expand_kwargs
        Batas dan retry untuk task terpetakan Task terpetakan: retry, batas, dan rantai
        Tes import dan tes policy dengan DagBag Tes integritas Dag dengan DagBag
        Unit test untuk task TaskFlow Unit test untuk fungsi task
        dag.test() di pytest Jalankan seluruh Dag dalam sebuah tes dengan dag.test()
        Pool dan priority weight Pool dan priority weight
        Scheduler, Dag processor, API server, triggerer, dan executor Bagaimana Airflow 3 menjalankan Dag Anda
        Praktik terbaik Airflow File Dag yang murah di-parse dan aman dijalankan ulang
        Airflow vs Dagster Airflow dan Dagster: perbandingan yang adil
        Studi kasus insiden Studi kasus: seminggu tertahan di belakang satu hari yang buruk, upgrade yang menggeser hari, pagi ketika scanner macet
        Proyek rekonsiliasi dari awal sampai akhir Proyek: rekonsiliasi settlement Fenwick Pay
        Pertanyaan wawancara Airflow Mudah, menengah, sulit
        Tes kerja Airflow berwaktu Dasar-dasar, Penulisan Dag

        Pertanyaan umum

        Apakah saya perlu menginstal Airflow?

        Tidak. Workspace ini menjalankan simulasi Airflow 3.3 di browser Anda: file Dag Anda di-parse dan dijalankan di scheduler simulasi, lalu hasilnya tampil lewat daftar Dag, Grid, Graph, log, dan terminal dengan command line airflow. Jika ada yang disederhanakan, pelajarannya menyebutkannya.

        Airflow versi berapa yang diajarkan?

        Airflow 3, dengan import Task SDK (from airflow.sdk import dag, task), schedule sebagai pengganti schedule_interval, dan default Airflow 3 untuk catchup dan timetable. Perubahan di versi 3.4 disebutkan di bagian yang relevan.

        Apakah gratis?

        Unit pertama gratis dan tidak perlu akun. Sisa kursus terbuka dengan paket One Course atau All Access, dan halaman harga menampilkan harga untuk negara Anda.

        Bagaimana pekerjaan saya diperiksa?

        Dengan menjalankannya: pemeriksaan mem-parse file Dag Anda, menjalankan Dag, lalu melihat hasilnya (status task, nilai XCom, perintah yang sudah dirender, baris yang dimuat), pada data Anda dan pada salinan tersembunyi. Jawaban yang salah mendapat petunjuk tentang apa yang kemungkinan keliru.

        Apakah kursus ini dibuat oleh Apache Software Foundation?

        Bukan. The Work Gym independen dan tidak berafiliasi dengan Apache Software Foundation. Apache, Apache Airflow, dan Airflow adalah merek dagang Apache Software Foundation.

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        Ubah paket Anda

        Memeriksa harga

        Bantuan dan masukan

        Ajukan pertanyaan, beri tahu kami apa yang tidak berfungsi, atau bagikan ide. Kami membalas lewat email.

        Tentang apa?

        Kami hanya menggunakannya untuk membalas Anda.