招待から合流へ
Wayfriendは、会う計画を立てた友人が実際に一緒に過ごしているかを知りたいと考えています。生のイベントをクリーニングし、合流をモデル化し、成功を測定して、翌日の作業を計画してください。
レベル1:ビギナー
0 ポイント
サインインすると、デバイスをまたいで進捗を保存できます。
SQLを深く学び、データを動かして点検できるだけのPythonを身につけ、クラウドのウェアハウス、テスト付きのdbtの変換、すべてを決まった時刻に動かすオーケストレーターへと進みます。データエンジニアの仕事内容に沿って、スキルを使う順番に練習します。練習問題はその場で採点され、最後はパイプラインのプロジェクト、時間制限付きのアセスメント、面接です。
各レッスンの目安時間に基づくと、レッスンは合計約53時間です。
まだ何も完了していません。進捗はレッスンを終えるたびにこのブラウザーに保存され、サインインするとアカウントにも保存されます。
この順番でステップを進めてください。各ステップはコース全体ではなく、1つのコースのうちこの職種で使うユニットのセットです。ユニットを開くと、その最初のレッスンが始まります。
SQLはこの仕事の言語です。照会、結合、ウィンドウ関数に加えて、データエンジニアはテーブルを作って変更し、スキーマを設計し、トランザクションの中で安全にデータを変更し、遅いクエリの実行計画を読みます。
制約付きのテーブルを設計し、ワークロードに合うインデックスを選び、PostgreSQLでトランザクションの境界をテストします。サービスがデータベースに頼るようになる前に、実行計画を読み、安全なスキーマ変更を練習します。
Pythonは、システムの間でデータを動かし、その途中で中身を点検します。値とコレクションから関数まで言語を学び、ファイルと形式の読み書き、黙って失敗せずにはっきりエラーを出すコードへと進みます。
多くの会社では、分析用のデータはクラウドのウェアハウスに集まります。Snowflakeの使い方に慣れ、Snowflake流にクエリを書き、JSONと配列を正しい粒度に展開し、安全にデータを変更し、ファイルを増分で読み込みます。
dbtは、生のテーブルを、テストされて信頼できるモデルに変えます。プロジェクトを準備し、ソースを宣言し、モデルをビルドしてテストし、分析用のモデルを書き、データ品質のテストとドキュメントを加え、増分で処理し、スナップショットで履歴を残します。
パイプラインは、決まった順番で自動で動き、失敗したら知らせてくれなければなりません。アセットとその依存関係を定義し、ジョブをスケジュールし、バックフィルのために処理をパーティションに分け、古いデータや誤ったデータを見つけるチェックを加えます。
タスクの依存関係を定義し、実行とログを調べ、パイプラインに再試行やバックフィルが必要になる前にスケジュールを決めます。
トピックのパーティション、キー付きのイベント、コミットされたコンシューマーのオフセットを調べます。障害やリバランスで、処理が残る範囲がどう変わるかを説明します。
各プロジェクトは架空の会社の依頼から始まり、実際の仕事と同じようにツールを行き来します。あるステージで作ったものが、次のステージの出発点になります。概要はすべて無料で読めます。
Wayfriendは、会う計画を立てた友人が実際に一緒に過ごしているかを知りたいと考えています。生のイベントをクリーニングし、合流をモデル化し、成功を測定して、翌日の作業を計画してください。
Copperlineの定時率のレポートは、誰かが毎週月曜日に作り直すスプレッドシートです。ウェアハウスで作り直してください。Snowflakeで出荷ごとに現在の行を1行、テスト済みのdbtモデル、そしてオペレーションが信頼できるTableauのビューです。
Wayfriendの2人のデータチームに加わりました。合流のパイプラインを作り、グロースチームの最初の問いに答え、その後もパイプラインを動かし続けます。
ユニットを終えたら、その職種のツールを横断して実力を確かめましょう。50分で12個の実践的な課題に取り組み、どの課題もそのツールの中で行い、自動で確認されます。ページを閉じてもタイマーは止まりません。
| ツール | 課題 | 分 |
|---|---|---|
| SQL | 3 | 11 |
| Python | 3 | 13 |
| Snowflake SQL | 3 | 11 |
| dbt | 3 | 13 |
アセスメントは無料です。結果は面接ハブのレポート形式による練習のフィードバックで、採用の判断ではありません。問題のプールが許す範囲で、再受験では別の課題が出題されます。
面接ハブでは、架空の雇用主でのデータエンジニアの面接をラウンドごとに進めます。口頭または文章で回答すると、面接官が掘り下げて質問し、レポートでは回答が引用されます。
データエンジニアは、会社が使っているさまざまなシステムからデータをウェアハウスに集めるパイプラインを作り、動かし続けます。データはきれいに整えられ、モデル化され、決まった時刻までに届いていなければなりません。アナリストもダッシュボードも機械学習のモデルも、そのデータが正しいことを前提にしています。仕事の半分は作ること、もう半分は動かし続けることです。ソースの列が変わる、読み込みが二重に走る、先月分のバックフィルが必要になる。優れたデータエンジニアは、こうした出来事を何でもない日常の作業にしてしまいます。
最初のSQLに一番深く取り組みます。あとのツールはすべてSQLの上で動くからです。次に、SQLではできない作業のためにPythonを学びます。ウェアハウスは、その2つが出会う場所です。dbtはウェアハウスの上に構造とテストを加え、オーケストレーターがすべてを正しい順番で、正しい時刻に動かします。
Wayfriendのプロジェクトでは、データチームの最初の数か月をそのまま体験します。「招待から合流へ」では生のイベントをクリーニングし、合流をモデル化して成果を測ります。「リマインダーの問い」では、自分で作ったデータを使ってリマインダーについての製品の問いに答えます。「定時率のレポートをウェアハウスに移す」では、Copperlineのスプレッドシートのレポートを、Snowflake、テスト付きのdbtのモデル、運用チームが信頼できるビューに移します。どれも、ソースからダッシュボードまで説明できるパイプラインになります。そのあとのアセスメントで、応募の前にどのツールを練習すればよいかがわかります。面接は、面接ハブのデータエンジニアの面接で練習できます。
データベースのレポートを担当するなら、SQLクエリの最適化:実行計画の根拠で、実行計画を読み、結果を変えずにクエリを書き直す練習をしてください。構文はSQLチートシートにまとめてあります。
ありません。SQLを書く量がだんだん増えていったアナリストからデータエンジニアになる人もいれば、ソフトウェアエンジニアから移る人もいます。必要なのは、しっかりしたSQL、実務で使えるPython、そしてデータがどう動き、どこで壊れるかの理解です。このパスウェイは、それを1ステップずつ練習します。
粒度、安全な変更、増分の読み込み、コストといった考え方は、どのウェアハウスでも共通です。目指す求人が別のプラットフォームを挙げているなら、BigQuery SQLとDatabricksのコースで、同じ作業をそのツールで練習できます。
このパスウェイのレッスンは、合計で約53時間です。面接で最も厳しく試されるのがSQLなので、SQLのステップをあえて長くしています。採用までの期間はお約束できません。
どのコースも最初のユニットは無料で、アカウントなしで始められます。One Courseでは1つのコースのすべてを、All Accessではパスウェイ全体を利用できます。料金は料金ページに載っています。