Dari undangan menjadi meetup
Wayfriend ingin tahu apakah teman yang berencana bertemu benar-benar menghabiskan waktu bersama. Bersihkan event mentah, modelkan meetup, ukur keberhasilannya, dan rencanakan pekerjaan hari berikutnya.
Level 1: Pendatang baru
0 poin
Login untuk menyimpan progres Anda di berbagai perangkat.
Pelajari SQL secara mendalam, Python secukupnya untuk memindahkan dan memeriksa data, data warehouse di cloud, transformasi yang diuji di dbt, dan orchestrator yang menjalankan semuanya sesuai jadwal. Setiap latihan diperiksa, dan jalur ini ditutup dengan proyek pipeline, penilaian berwaktu yang mencakup semua tool, dan wawancara latihan.
Sekitar 53 jam pelajaran, berdasarkan perkiraan di setiap pelajaran.
Belum ada yang selesai. Progres tersimpan di browser ini saat Anda menyelesaikan pelajaran, dan di akun Anda saat Anda login.
Ikuti langkah-langkah ini sesuai urutan. Setiap langkah adalah sekumpulan unit dari satu kursus, bukan seluruh kursus: unit yang dipakai posisi ini. Buka sebuah unit untuk memulai pelajaran pertamanya.
SQL adalah bahasa pekerjaan ini. Selain query, join, dan window function, seorang data engineer membuat dan mengubah tabel, merancang skema, mengubah data dengan aman di dalam transaksi, dan membaca query plan saat ada yang lambat.
Rancang tabel dengan batasan, pilih indeks sesuai kueri, dan uji transaksi di PostgreSQL. Pelajari rencana eksekusi dan perubahan skema sebelum menghubungkan layanan ke basis data.
Python memindahkan data antarsistem dan memeriksanya di tengah jalan. Anda mempelajari bahasanya dari nilai dan koleksi sampai fungsi, lalu membaca dan menulis file serta format data, dan menulis kode yang gagal dengan jelas, bukan diam-diam.
Di banyak perusahaan, data analitik berakhir di data warehouse cloud. Anda mengenali seluk-beluk Snowflake, melakukan query dengan cara Snowflake, meratakan JSON dan array ke grain yang tepat, mengubah data dengan aman, dan memuat file secara inkremental.
dbt mengubah tabel mentah menjadi model teruji yang bisa dipercaya orang. Anda menyiapkan proyek, mendeklarasikan source, membangun dan menguji model, menulis model analitik, menambahkan test kualitas data dan dokumentasi, memproses secara inkremental, dan menyimpan riwayat dengan snapshot.
Pipeline harus berjalan sendiri, berurutan, dan memberi tahu Anda saat gagal. Anda mendefinisikan asset beserta dependensinya, menjadwalkan job, membagi pekerjaan menjadi partisi untuk backfill, dan menambahkan check yang menangkap data basi atau salah.
Definisikan DAG, jalankan task, lalu periksa jadwal dan dependensi sebelum mengulang pekerjaan yang gagal.
Buat topic dan partisi, kirim record dengan key, lalu periksa consumer group, offset, dan lag tanpa menghapus pekerjaan yang belum diproses.
Setiap proyek dimulai dari brief sebuah perusahaan fiktif dan berpindah antar alat seperti dalam pekerjaan sebenarnya: apa yang Anda buat di satu tahap menjadi titik awal tahap berikutnya. Setiap brief gratis dibaca.
Wayfriend ingin tahu apakah teman yang berencana bertemu benar-benar menghabiskan waktu bersama. Bersihkan event mentah, modelkan meetup, ukur keberhasilannya, dan rencanakan pekerjaan hari berikutnya.
Denver menguji notifikasi pengingat sebelum meetup yang direncanakan. Putuskan apakah Wayfriend sebaiknya mengirimnya di setiap kota.
Laporan ketepatan waktu Copperline adalah spreadsheet yang dibuat ulang seseorang setiap hari Senin. Bangun ulang di data warehouse: satu baris terbaru per kiriman di Snowflake, model dbt yang sudah diuji, dan tampilan Tableau yang bisa dipercaya tim operasional.
Anda bergabung dengan tim data Wayfriend yang beranggotakan dua orang. Bangun pipeline meetup, jawab pertanyaan pertama dari tim growth, lalu jaga agar tetap berjalan.
Setelah menyelesaikan unit, uji kemampuan Anda di seluruh alat kerja sekaligus: 12 tugas praktik dalam 50 menit, masing-masing di alat yang dibahas dan diperiksa secara otomatis. Waktu terus berjalan meskipun Anda menutup halaman.
| Tool | Tugas | Menit |
|---|---|---|
| SQL | 3 | 11 |
| Python | 3 | 13 |
| SQL Snowflake | 3 | 11 |
| dbt | 3 | 13 |
Penilaian ini gratis. Hasilnya berupa umpan balik latihan dalam format laporan Interview Hub, bukan keputusan perekrutan. Pengulangan mengambil tugas yang berbeda selama bank soal memungkinkan.
Interview Hub menjalankan wawancara data engineer tahap demi tahap, di sebuah perusahaan fiktif: Anda menjawab secara lisan atau tertulis, pewawancara mengajukan pertanyaan lanjutan, dan laporan mengutip jawaban Anda.
Data engineer membangun dan menjalankan pipeline yang membawa data dari sistem yang dipakai perusahaan ke warehouse, dalam keadaan bersih, termodelkan, dan tepat waktu. Analis, dashboard, dan model bergantung pada data yang benar itu. Pekerjaannya sebagian membangun, sebagian menjaga agar semuanya tetap berjalan: sumber mengubah kolom, sebuah load berjalan dua kali, dibutuhkan backfill untuk bulan lalu. Data engineer yang baik membuat kejadian seperti itu menjadi urusan rutin.
SQL datang lebih dulu dan paling dalam, karena setiap tool berikutnya berjalan di atasnya. Python menyusul untuk pekerjaan yang tidak bisa dilakukan SQL. Warehouse adalah tempat keduanya bertemu. dbt menambahkan struktur dan test di atas warehouse, dan orchestrator menjalankan semuanya dalam urutan yang benar pada waktu yang tepat.
Proyek Wayfriend adalah beberapa bulan pertama sebuah tim data. Anda membersihkan event mentah, memodelkan meetup, dan mengukur keberhasilan dalam “Dari undangan ke meetup”, lalu menjawab pertanyaan produk tentang pengingat dari data yang Anda bangun. Laporan ketepatan waktu Copperline pindah dari spreadsheet ke Snowflake, model dbt yang diuji, dan view yang bisa dipercaya tim operasi. Masing-masing memberi Anda pipeline yang bisa dijelaskan dari sumber sampai dashboard. Lalu penilaian menunjukkan tool mana yang perlu dilatih sebelum Anda melamar.
Tidak. Banyak data engineer memulai sebagai analis yang makin banyak menulis SQL, yang lain sebagai software engineer. Anda membutuhkan SQL yang kuat, Python yang berfungsi, dan pemahaman tentang bagaimana data bergerak dan rusak. Jalur ini melatih semuanya, langkah demi langkah.
Konsepnya berlaku di semua warehouse: grain, perubahan yang aman, pemuatan inkremental, dan biaya. Kalau pekerjaan yang Anda incar menyebut platform lain, kursus BigQuery dan kursus Databricks mengajarkan pekerjaan yang sama di tool tersebut.
Seluruh pelajaran di jalur ini berjumlah sekitar 53 jam. SQL sengaja dibuat menjadi langkah terpanjang: wawancara mengujinya paling keras. Kami tidak menjanjikan berapa lama waktu yang dibutuhkan sampai Anda diterima bekerja.
Unit pertama setiap kursus gratis, tanpa perlu akun. One Course membuka satu kursus secara penuh; All Access membuka seluruh jalur. Halaman harga menampilkan harga untuk negara Anda.