Negara atau wilayah dan bahasa

    Pilih negara atau wilayah dan bahasa Anda.

    Disarankan untuk Anda

      Semua negara dan wilayah

        Pilih karakter Anda

        Karakter ini tampil di bilah atas dan di profil Anda. Ubah kapan saja.

        Cara menjadi data engineer

        Pelajari SQL secara mendalam, Python secukupnya untuk memindahkan dan memeriksa data, data warehouse di cloud, transformasi yang diuji di dbt, dan orchestrator yang menjalankan semuanya sesuai jadwal. Setiap latihan diperiksa, dan jalur ini ditutup dengan proyek pipeline, penilaian berwaktu yang mencakup semua tool, dan wawancara latihan.

        Alat
        SQL, PostgreSQL untuk engineer, Python, SQL Snowflake, dbt, Dagster, Apache Airflow, Apache Kafka
        Unit
        41 unit, 208 pelajaran
        Latihan yang diperiksa
        1.091
        Proyek lintas alat
        3
        Penilaian akhir
        12 tugas, 50 menit

        Sekitar 53 jam pelajaran, berdasarkan perkiraan di setiap pelajaran.

        Kemajuan Anda

        Belum ada yang selesai. Progres tersimpan di browser ini saat Anda menyelesaikan pelajaran, dan di akun Anda saat Anda login.

        Pelajaran
        0 dari 208 pelajaran
        Proyek
        0 dari 3 selesai
        Penilaian
        Belum dikerjakan

        Mulai dengan Query sebuah tabel

        Jalurnya, unit demi unit

        Ikuti langkah-langkah ini sesuai urutan. Setiap langkah adalah sekumpulan unit dari satu kursus, bukan seluruh kursus: unit yang dipakai posisi ini. Buka sebuah unit untuk memulai pelajaran pertamanya.

        1. PostgreSQL untuk pengembang

          Rancang tabel dengan batasan, pilih indeks sesuai kueri, dan uji transaksi di PostgreSQL. Pelajari rencana eksekusi dan perubahan skema sebelum menghubungkan layanan ke basis data.

          1. Index sesuai workloadMenengah · 5 pelajaran · 26 latihan
          2. Plan queryLanjutan · 5 pelajaran · 26 latihan
          3. Perubahan skema yang amanLanjutan · 5 pelajaran · 28 latihan
        2. Python untuk pekerjaan data

          Python memindahkan data antarsistem dan memeriksanya di tengah jalan. Anda mempelajari bahasanya dari nilai dan koleksi sampai fungsi, lalu membaca dan menulis file serta format data, dan menulis kode yang gagal dengan jelas, bukan diam-diam.

          1. Dasar-dasarPemula · 5 pelajaran · 26 latihanGratis
          2. KoleksiPemula · 6 pelajaran · 33 latihan
          3. Alur kontrolPemula · 5 pelajaran · 30 latihan
          4. FungsiPemula · 4 pelajaran · 24 latihan
          5. Bekerja dengan dataMenengah · 7 pelajaran · 40 latihan
          6. Kode yang andalLanjutan · 4 pelajaran · 23 latihan
        3. Data warehouse di cloud: Snowflake

          Di banyak perusahaan, data analitik berakhir di data warehouse cloud. Anda mengenali seluk-beluk Snowflake, melakukan query dengan cara Snowflake, meratakan JSON dan array ke grain yang tepat, mengubah data dengan aman, dan memuat file secara inkremental.

          1. Mengenal SnowflakePemula · 5 pelajaran · 27 latihanGratis
          2. Dasar-dasar query ala SnowflakePemula · 6 pelajaran · 36 latihan
          3. JSON dan granularitas arrayMenengah · 7 pelajaran · 38 latihan
          4. Perubahan data yang amanLanjutan · 5 pelajaran · 28 latihan
          5. File dan pipeline inkrementalAhli · 7 pelajaran · 35 latihan
        4. Transformasi di dbt

          dbt mengubah tabel mentah menjadi model teruji yang bisa dipercaya orang. Anda menyiapkan proyek, mendeklarasikan source, membangun dan menguji model, menulis model analitik, menambahkan test kualitas data dan dokumentasi, memproses secara inkremental, dan menyimpan riwayat dengan snapshot.

          1. Fondasi proyekPemula · 4 pelajaran · 20 latihanGratis
          2. Sumber dan relasiPemula · 4 pelajaran · 20 latihan
          3. Bangun dan ujiPemula · 5 pelajaran · 28 latihan
          4. Model analitikMenengah · 5 pelajaran · 26 latihan
          5. Kualitas data dan dokumentasiMenengah · 5 pelajaran · 26 latihan
          6. Pemrosesan inkrementalLanjutan · 5 pelajaran · 26 latihan
          7. Record historisLanjutan · 4 pelajaran · 22 latihan
        5. Orkestrasi di Dagster

          Pipeline harus berjalan sendiri, berurutan, dan memberi tahu Anda saat gagal. Anda mendefinisikan asset beserta dependensinya, menjadwalkan job, membagi pekerjaan menjadi partisi untuk backfill, dan menambahkan check yang menangkap data basi atau salah.

          1. Asset dan asset graphPemula · 5 pelajaran · 27 latihanGratis
          2. Job dan scheduleMenengah · 4 pelajaran · 22 latihan
          3. Partisi dan backfillMenengah · 6 pelajaran · 30 latihan
          4. Asset check dan freshnessMenengah · 6 pelajaran · 28 latihan
        6. Streaming di Apache Kafka

          Buat topic dan partisi, kirim record dengan key, lalu periksa consumer group, offset, dan lag tanpa menghapus pekerjaan yang belum diproses.

          1. Log, topic, dan replicaPemula · 4 pelajaran · 20 latihanGratis
          2. Key, partition, dan offsetPemula · 4 pelajaran · 20 latihan
          3. Posisi consumer dan consumer groupPemula · 4 pelajaran · 20 latihan

        Proyek untuk posisi ini

        Setiap proyek dimulai dari brief sebuah perusahaan fiktif dan berpindah antar alat seperti dalam pekerjaan sebenarnya: apa yang Anda buat di satu tahap menjadi titik awal tahap berikutnya. Setiap brief gratis dibaca.

        Wayfriend
        DatabricksdbtSQLDagster
        Proyek

        Dari undangan menjadi meetup

        Wayfriend ingin tahu apakah teman yang berencana bertemu benar-benar menghabiskan waktu bersama. Bersihkan event mentah, modelkan meetup, ukur keberhasilannya, dan rencanakan pekerjaan hari berikutnya.

        5 tahap · 3 h 30 minLihat brief
        Wayfriend
        DatabricksSQL
        Studi kasus

        Pertanyaan tentang pengingat

        Denver menguji notifikasi pengingat sebelum meetup yang direncanakan. Putuskan apakah Wayfriend sebaiknya mengirimnya di setiap kota.

        3 tahap · 45 minLihat brief
        Copperline Freight
        SnowflakedbtTableau
        Proyek

        Pindahkan laporan ketepatan waktu ke data warehouse

        Laporan ketepatan waktu Copperline adalah spreadsheet yang dibuat ulang seseorang setiap hari Senin. Bangun ulang di data warehouse: satu baris terbaru per kiriman di Snowflake, model dbt yang sudah diuji, dan tampilan Tableau yang bisa dipercaya tim operasional.

        4 tahap · 2 h 40 minLihat brief
        Wayfriend
        DatabricksdbtSQLDagster
        Journey

        90 hari pertama Anda sebagai data engineer

        Anda bergabung dengan tim data Wayfriend yang beranggotakan dua orang. Bangun pipeline meetup, jawab pertanyaan pertama dari tim growth, lalu jaga agar tetap berjalan.

        4 bab · 8 hLihat journey

        Penilaian kesiapan kerja

        Setelah menyelesaikan unit, uji kemampuan Anda di seluruh alat kerja sekaligus: 12 tugas praktik dalam 50 menit, masing-masing di alat yang dibahas dan diperiksa secara otomatis. Waktu terus berjalan meskipun Anda menutup halaman.

        ToolTugasMenit
        SQL311
        Python313
        SQL Snowflake311
        dbt313

        Cara penilaiannya

        Setiap alat
        Siap jika Anda menjawab dua pertiga tugasnya dengan benar atau lebih, Tutup pada sepertiga, selain itu Belum. Tugas pemrograman mendapat skor sesuai bagian pengujiannya yang lulus.
        Siap untuk wawancara
        75% atau lebih secara keseluruhan, dan setiap alat berstatus Siap.
        Hampir siap
        50% atau lebih secara keseluruhan, dan tidak ada alat yang berstatus Belum.
        Terus berlatih
        Hasil lainnya. Laporan mencantumkan setiap tugas yang salah Anda kerjakan beserta pelajaran yang mengajarkannya.

        Buka penilaian

        Penilaian ini gratis. Hasilnya berupa umpan balik latihan dalam format laporan Interview Hub, bukan keputusan perekrutan. Pengulangan mengambil tugas yang berbeda selama bank soal memungkinkan.

        Wawancara

        Interview Hub menjalankan wawancara data engineer tahap demi tahap, di sebuah perusahaan fiktif: Anda menjawab secara lisan atau tertulis, pewawancara mengajukan pertanyaan lanjutan, dan laporan mengutip jawaban Anda.

        Latihan wawancara data engineer

        Yang dibuka setiap paket

        Gratis
        Unit pertama setiap kursus, tanpa akun: 7 dari 41 unit di jalur ini. Setiap brief proyek gratis dibaca, dan penilaian kesiapan kerja gratis.
        One Course
        Satu kursus penuh. Di jalur ini, itu salah satu dari: SQL (10 unit), PostgreSQL untuk engineer (3 unit), Python (6 unit), SQL Snowflake (5 unit), dbt (7 unit), Dagster (4 unit), Apache Airflow (3 unit), Apache Kafka (3 unit).
        All Access
        Seluruh jalur: setiap unit, setiap tahap proyek, dan latihan wawancara lisan.

        Lihat paket dan harga

        Apa yang dikerjakan data engineer

        Data engineer membangun dan menjalankan pipeline yang membawa data dari sistem yang dipakai perusahaan ke warehouse, dalam keadaan bersih, termodelkan, dan tepat waktu. Analis, dashboard, dan model bergantung pada data yang benar itu. Pekerjaannya sebagian membangun, sebagian menjaga agar semuanya tetap berjalan: sumber mengubah kolom, sebuah load berjalan dua kali, dibutuhkan backfill untuk bulan lalu. Data engineer yang baik membuat kejadian seperti itu menjadi urusan rutin.

        Dari SQL sampai orchestrator

        SQL datang lebih dulu dan paling dalam, karena setiap tool berikutnya berjalan di atasnya. Python menyusul untuk pekerjaan yang tidak bisa dilakukan SQL. Warehouse adalah tempat keduanya bertemu. dbt menambahkan struktur dan test di atas warehouse, dan orchestrator menjalankan semuanya dalam urutan yang benar pada waktu yang tepat.

        Proyek Wayfriend adalah beberapa bulan pertama sebuah tim data. Anda membersihkan event mentah, memodelkan meetup, dan mengukur keberhasilan dalam “Dari undangan ke meetup”, lalu menjawab pertanyaan produk tentang pengingat dari data yang Anda bangun. Laporan ketepatan waktu Copperline pindah dari spreadsheet ke Snowflake, model dbt yang diuji, dan view yang bisa dipercaya tim operasi. Masing-masing memberi Anda pipeline yang bisa dijelaskan dari sumber sampai dashboard. Lalu penilaian menunjukkan tool mana yang perlu dilatih sebelum Anda melamar.

        Pertanyaan umum

        Apakah saya harus menjadi software engineer dulu?

        Tidak. Banyak data engineer memulai sebagai analis yang makin banyak menulis SQL, yang lain sebagai software engineer. Anda membutuhkan SQL yang kuat, Python yang berfungsi, dan pemahaman tentang bagaimana data bergerak dan rusak. Jalur ini melatih semuanya, langkah demi langkah.

        Mengapa Snowflake, bukan BigQuery atau Databricks?

        Konsepnya berlaku di semua warehouse: grain, perubahan yang aman, pemuatan inkremental, dan biaya. Kalau pekerjaan yang Anda incar menyebut platform lain, kursus BigQuery dan kursus Databricks mengajarkan pekerjaan yang sama di tool tersebut.

        Berapa lama waktu yang dibutuhkan?

        Seluruh pelajaran di jalur ini berjumlah sekitar 53 jam. SQL sengaja dibuat menjadi langkah terpanjang: wawancara mengujinya paling keras. Kami tidak menjanjikan berapa lama waktu yang dibutuhkan sampai Anda diterima bekerja.

        Berapa biayanya?

        Unit pertama setiap kursus gratis, tanpa perlu akun. One Course membuka satu kursus secara penuh; All Access membuka seluruh jalur. Halaman harga menampilkan harga untuk negara Anda.

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        Bantuan dan masukan

        Ajukan pertanyaan, beri tahu kami apa yang tidak berfungsi, atau bagikan ide. Kami membalas lewat email.

        Tentang apa?

        Kami hanya menggunakannya untuk membalas Anda.