国または地域と言語

    国または地域と、言語を選んでください。

    おすすめ

      すべての国と地域

        キャラクターを選ぶ

        上部のバーとプロフィールに表示されます。いつでも変更できます。

        データエンジニアになるには:必要なスキルと学ぶ順番

        SQLを深く学び、データを動かして点検できるだけのPythonを身につけ、クラウドのウェアハウス、テスト付きのdbtの変換、すべてを決まった時刻に動かすオーケストレーターへと進みます。データエンジニアの仕事内容に沿って、スキルを使う順番に練習します。練習問題はその場で採点され、最後はパイプラインのプロジェクト、時間制限付きのアセスメント、面接です。

        ツール
        SQL, エンジニアのためのPostgreSQL, Python, Snowflake SQL, dbt, Dagster, Apache Airflow, Apache Kafka
        ユニット
        41ユニット、208レッスン
        採点付きの練習問題
        1,091
        ツール横断のプロジェクト
        3
        最終アセスメント
        12個の課題、50分

        各レッスンの目安時間に基づくと、レッスンは合計約53時間です。

        自分の進捗

        まだ何も完了していません。進捗はレッスンを終えるたびにこのブラウザーに保存され、サインインするとアカウントにも保存されます。

        レッスン
        208レッスン中0レッスン
        プロジェクト
        3件中0件完了
        アセスメント
        未受験

        テーブルを照会するから始める

        ユニットごとのパスウェイ

        この順番でステップを進めてください。各ステップはコース全体ではなく、1つのコースのうちこの職種で使うユニットのセットです。ユニットを開くと、その最初のレッスンが始まります。

        1. エンジニアのためのPostgreSQL

          制約付きのテーブルを設計し、ワークロードに合うインデックスを選び、PostgreSQLでトランザクションの境界をテストします。サービスがデータベースに頼るようになる前に、実行計画を読み、安全なスキーマ変更を練習します。

          1. ワークロードに合ったインデックス中級 · 5レッスン・練習問題26問
          2. クエリの実行計画上級 · 5レッスン・練習問題26問
          3. 安全なスキーマ変更上級 · 5レッスン・練習問題28問
        2. データ処理のためのPython

          Pythonは、システムの間でデータを動かし、その途中で中身を点検します。値とコレクションから関数まで言語を学び、ファイルと形式の読み書き、黙って失敗せずにはっきりエラーを出すコードへと進みます。

          Python6ユニット・31レッスン
          1. 基礎初級 · 5レッスン・練習問題26問無料
          2. コレクション初級 · 6レッスン・練習問題33問
          3. 制御フロー初級 · 5レッスン・練習問題30問
          4. 関数初級 · 4レッスン・練習問題24問
          5. データを扱う中級 · 7レッスン・練習問題40問
          6. 信頼できるコード上級 · 4レッスン・練習問題23問
        3. クラウドのウェアハウス:Snowflake

          多くの会社では、分析用のデータはクラウドのウェアハウスに集まります。Snowflakeの使い方に慣れ、Snowflake流にクエリを書き、JSONと配列を正しい粒度に展開し、安全にデータを変更し、ファイルを増分で読み込みます。

          1. Snowflakeの使い方に慣れる初級 · 5レッスン・練習問題27問無料
          2. Snowflake流のクエリの基本初級 · 6レッスン・練習問題36問
          3. JSONと配列の粒度中級 · 7レッスン・練習問題38問
          4. 安全なデータの変更上級 · 5レッスン・練習問題28問
          5. ファイルと増分のパイプラインエキスパート · 7レッスン・練習問題35問
        4. dbtによる変換

          dbtは、生のテーブルを、テストされて信頼できるモデルに変えます。プロジェクトを準備し、ソースを宣言し、モデルをビルドしてテストし、分析用のモデルを書き、データ品質のテストとドキュメントを加え、増分で処理し、スナップショットで履歴を残します。

          dbt7ユニット・32レッスン
          1. プロジェクトの基礎初級 · 4レッスン・練習問題20問無料
          2. ソースとリレーション初級 · 4レッスン・練習問題20問
          3. ビルドとテスト初級 · 5レッスン・練習問題28問
          4. 分析のモデル中級 · 5レッスン・練習問題26問
          5. データの品質とドキュメント中級 · 5レッスン・練習問題26問
          6. 増分の処理上級 · 5レッスン・練習問題26問
          7. 履歴のレコード上級 · 4レッスン・練習問題22問
        5. Dagsterによるオーケストレーション

          パイプラインは、決まった順番で自動で動き、失敗したら知らせてくれなければなりません。アセットとその依存関係を定義し、ジョブをスケジュールし、バックフィルのために処理をパーティションに分け、古いデータや誤ったデータを見つけるチェックを加えます。

          Dagster4ユニット・21レッスン
          1. アセットとアセットグラフ初級 · 5レッスン・練習問題27問無料
          2. ジョブとスケジュール中級 · 4レッスン・練習問題22問
          3. パーティションとバックフィル中級 · 6レッスン・練習問題30問
          4. アセットチェックと鮮度中級 · 6レッスン・練習問題28問
        6. Airflowによるスケジュール

          タスクの依存関係を定義し、実行とログを調べ、パイプラインに再試行やバックフィルが必要になる前にスケジュールを決めます。

          1. Dag、タスク、依存関係初級 · 6レッスン・練習問題33問無料
          2. Dagの実行とログの読み方初級 · 5レッスン・練習問題27問
          3. スケジュール、データ間隔、バックフィル中級 · 5レッスン・練習問題28問
        7. Kafkaによるイベントストリーミング

          トピックのパーティション、キー付きのイベント、コミットされたコンシューマーのオフセットを調べます。障害やリバランスで、処理が残る範囲がどう変わるかを説明します。

          1. ログ、トピック、レプリカ初級 · 4レッスン・練習問題20問無料
          2. キー、パーティション、オフセット初級 · 4レッスン・練習問題20問
          3. コンシューマーの位置とグループ初級 · 4レッスン・練習問題20問

        この職種のプロジェクト

        各プロジェクトは架空の会社の依頼から始まり、実際の仕事と同じようにツールを行き来します。あるステージで作ったものが、次のステージの出発点になります。概要はすべて無料で読めます。

        Wayfriend
        DatabricksdbtSQLDagster
        プロジェクト

        招待から合流へ

        Wayfriendは、会う計画を立てた友人が実際に一緒に過ごしているかを知りたいと考えています。生のイベントをクリーニングし、合流をモデル化し、成功を測定して、翌日の作業を計画してください。

        5ステージ · 3 h 30 min概要を見る
        Wayfriend
        DatabricksSQL
        ケーススタディ

        リマインダーの問い

        デンバーでは、予定された合流の前にリマインダーの通知をテストしました。Wayfriendがすべての都市でそれを送るべきかを判断してください。

        3ステージ · 45 min概要を見る
        Copperline Freight
        SnowflakedbtTableau
        プロジェクト

        定時率のレポートをウェアハウスに移す

        Copperlineの定時率のレポートは、誰かが毎週月曜日に作り直すスプレッドシートです。ウェアハウスで作り直してください。Snowflakeで出荷ごとに現在の行を1行、テスト済みのdbtモデル、そしてオペレーションが信頼できるTableauのビューです。

        4ステージ · 2 h 40 min概要を見る
        Wayfriend
        DatabricksdbtSQLDagster
        ジャーニー

        データエンジニアとしての最初の90日

        Wayfriendの2人のデータチームに加わりました。合流のパイプラインを作り、グロースチームの最初の問いに答え、その後もパイプラインを動かし続けます。

        職務への準備度アセスメント

        ユニットを終えたら、その職種のツールを横断して実力を確かめましょう。50分で12個の実践的な課題に取り組み、どの課題もそのツールの中で行い、自動で確認されます。ページを閉じてもタイマーは止まりません。

        ツール課題分
        SQL311
        Python313
        Snowflake SQL311
        dbt313

        採点方法

        各ツール
        課題の3分の2以上が正解なら準備完了、3分の1なら閉じる、それ以外はまだですです。コーディングの課題では、合格したテストの割合が得点になります。
        面接の準備完了
        全体で75%以上、かつすべてのツールが準備完了であること。
        あと少しで準備完了
        全体で50%以上、かつまだですのツールがないこと。
        練習を続ける
        上記以外。レポートには、間違えたすべての課題が、それを教えるレッスンとともに表示されます。

        アセスメントを開く

        アセスメントは無料です。結果は面接ハブのレポート形式による練習のフィードバックで、採用の判断ではありません。問題のプールが許す範囲で、再受験では別の課題が出題されます。

        面接

        面接ハブでは、架空の雇用主でのデータエンジニアの面接をラウンドごとに進めます。口頭または文章で回答すると、面接官が掘り下げて質問し、レポートでは回答が引用されます。

        データエンジニアの面接を練習する

        各プランで利用できる内容

        無料
        アカウントなしで、すべてのコースの最初のユニット(このパスウェイの41ユニットのうち7ユニット)。プロジェクトの概要はすべて無料で読め、職務への準備度アセスメントも無料です。
        One Course
        1つのコースをすべて利用できます。このパスウェイでは、次のいずれかです: SQL(10ユニット), エンジニアのためのPostgreSQL(3ユニット), Python(6ユニット), Snowflake SQL(5ユニット), dbt(7ユニット), Dagster(4ユニット), Apache Airflow(3ユニット), Apache Kafka(3ユニット).
        All Access
        パスウェイ全体:すべてのユニット、すべてのプロジェクトのステージ、音声面接の練習。

        プランと料金を見る

        データエンジニアとは:仕事内容

        データエンジニアは、会社が使っているさまざまなシステムからデータをウェアハウスに集めるパイプラインを作り、動かし続けます。データはきれいに整えられ、モデル化され、決まった時刻までに届いていなければなりません。アナリストもダッシュボードも機械学習のモデルも、そのデータが正しいことを前提にしています。仕事の半分は作ること、もう半分は動かし続けることです。ソースの列が変わる、読み込みが二重に走る、先月分のバックフィルが必要になる。優れたデータエンジニアは、こうした出来事を何でもない日常の作業にしてしまいます。

        SQLからオーケストレーターまで、学ぶ順番

        最初のSQLに一番深く取り組みます。あとのツールはすべてSQLの上で動くからです。次に、SQLではできない作業のためにPythonを学びます。ウェアハウスは、その2つが出会う場所です。dbtはウェアハウスの上に構造とテストを加え、オーケストレーターがすべてを正しい順番で、正しい時刻に動かします。

        成果を見せる

        Wayfriendのプロジェクトでは、データチームの最初の数か月をそのまま体験します。「招待から合流へ」では生のイベントをクリーニングし、合流をモデル化して成果を測ります。「リマインダーの問い」では、自分で作ったデータを使ってリマインダーについての製品の問いに答えます。「定時率のレポートをウェアハウスに移す」では、Copperlineのスプレッドシートのレポートを、Snowflake、テスト付きのdbtのモデル、運用チームが信頼できるビューに移します。どれも、ソースからダッシュボードまで説明できるパイプラインになります。そのあとのアセスメントで、応募の前にどのツールを練習すればよいかがわかります。面接は、面接ハブのデータエンジニアの面接で練習できます。

        データベースのレポートを担当するなら、SQLクエリの最適化:実行計画の根拠で、実行計画を読み、結果を変えずにクエリを書き直す練習をしてください。構文はSQLチートシートにまとめてあります。

        よくある質問

        先にソフトウェアエンジニアになる必要がありますか?

        ありません。SQLを書く量がだんだん増えていったアナリストからデータエンジニアになる人もいれば、ソフトウェアエンジニアから移る人もいます。必要なのは、しっかりしたSQL、実務で使えるPython、そしてデータがどう動き、どこで壊れるかの理解です。このパスウェイは、それを1ステップずつ練習します。

        なぜSnowflakeで、BigQueryやDatabricksではないのですか?

        粒度、安全な変更、増分の読み込み、コストといった考え方は、どのウェアハウスでも共通です。目指す求人が別のプラットフォームを挙げているなら、BigQuery SQLとDatabricksのコースで、同じ作業をそのツールで練習できます。

        どのくらいかかりますか?

        このパスウェイのレッスンは、合計で約53時間です。面接で最も厳しく試されるのがSQLなので、SQLのステップをあえて長くしています。採用までの期間はお約束できません。

        料金はかかりますか?

        どのコースも最初のユニットは無料で、アカウントなしで始められます。One Courseでは1つのコースのすべてを、All Accessではパスウェイ全体を利用できます。料金は料金ページに載っています。

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        ヘルプとフィードバック

        質問、うまく動かない点、アイデアなどをお寄せください。メールで返信します。

        どのような内容ですか?

        返信のためだけに使用します。