One Course
Dagsterのすべてのレッスン、プロジェクト、模擬試験。
月払い。いつでも解約できます。
レベル1:ビギナー
0 ポイント
サインインすると、デバイスをまたいで進捗を保存できます。
Dagsterとは、テーブルやファイルなど、パイプラインが作るデータを「アセット」として定義し、その実行と監視を行うオープンソースのデータオーケストレーションのツールです。このコースでは、ブラウザーで動くDagsterのワークスペースでアセットとリソースを定義し、ジョブをスケジュールし、パーティションを分けてバックフィルし、センサーでイベントに反応し、アセットチェックを加えます。実行のたびに結果を確かめ、最後はdbtを使った物流のパイプラインや、決済のインシデントのプロジェクトに取り組みます。
ここでプランを選んでください。コースはすでに選択されています。
Juniper & Pineの日次の売上のパイプラインを作りましょう:パーティション、メタデータ、チェック、ジョブ、夜間のスケジュールです。
6ステッププロジェクト · 上級Dagsterのプロジェクト:宅配業者の日次の拠点の指標Larkspur Freightの日次の拠点の指標を作りましょう:パーティション、メタデータ付きのKPI、警告のチェック、ジョブ、スケジュール、バックフィルです。
6ステップケーススタディ · 上級Dagsterのケーススタディ:半分失敗したバックフィル遅延率のバックフィルが、一部の日で失敗しました。理由を見つけて直し、失敗したものだけを再実行しましょう。
5ステップケーススタディ · エキスパートDagsterのケーススタディ:2回動いたセンサーデプロイの後、北の拠点のファイルが2回読み込まれました。実行の履歴から原因を見つけ、センサーを再評価しても安全にしましょう。
5ステップケーススタディ · エキスパートDagsterのケーススタディ:誰も気づかなかったパーティションの欠け1週間後、財務チームが欠けた日を見つけます。それを埋め、スケジュールが埋めなかった理由を説明し、次の欠けを見えるようにしましょう。
4ステップケーススタディ · エキスパートDagsterのケーススタディ:環境によって違う秘密情報ステージングは動き、本番はショップのAPIで失敗します。原因を設定までたどり、すべての設定を環境に移しましょう。
4ステッププロジェクト · エキスパートDagsterのプロジェクト:決済会社の加盟店ごとの日次の精算Tallywayの精算のパイプラインを作りましょう:重複の除去、精算、ブロッキングのチェック、鮮度、スケジュールです。
5ステップ模擬試験 · エキスパートDagsterの採用試験A(時間制限あり)時間制限のある20問のDagsterの採用試験:アセット、選択、config、リソース、スケジュール、パーティション、センサー、チェックです。
20問 · 40 min模擬試験 · エキスパートDagsterの採用試験B(時間制限あり)時間制限のある2つ目の20問のDagsterの採用試験:自動化、対応、バックフィル、IOマネージャー、テスト、本番についての問題です。
20問 · 40 minPythonの定義をDagster 1.13のシミュレーションに対して実行するブラウザのワークスペースで、データオーケストレーションを練習しましょう:アセットグラフ、実行とイベントログ、パーティションとバックフィル、スケジュール、センサー、宣言的な自動化、アセットチェック、そしてdgコマンドラインのあるターミナルです。最初のアセットとその依存関係から始め、次にメタデータ、config、リソース、パーティション、センサー、データ品質のチェックを追加します。後のレベルでは、自動化の条件、再試行、テスト、dbtのアセット、本番の運用を扱い、小売、物流、決済のプロジェクト、インシデントのケーススタディ、面接の問題集、時間制限のある模擬試験があります。すべての課題は、データとその隠れたコピーの両方で確認されます。インストールは必要ありません。
Work one company brief through several tools. Your Dagster stage reads the tables from the stage before.
学んだことを全画面の面接で説明します。話すか入力して答え、その後に自分のレベルの評価基準と照らして回答を振り返ります。
職種別の面接ループ初級
アセットを定義してつなぎ、正しい選択をマテリアライズします。
メタデータを記録し、重要なことをログに出し、アセットを整理して正確に選択します。
実行をパラメーター化し、外部のシステムをリソースとしてつなぎ、秘密情報をコードの外に置き、ストレージを制御します。
中級
選択をジョブとして名前を付け、正しいタイムゾーンのcronのスケジュールで実行します。
アセットを日ごと、固定のリストごと、またはその両方でパーティション分けし、アセットの間でパーティションを対応させ、履歴をバックフィルします。
ファイルが届いたりアセットが変わったりしたら実行を起動し、カーソルで進み具合を覚え、失敗を通知し、実行時にパーティションを追加します。
アセットチェックでデータをテストし、ブロッキングのチェックで不正なデータを止め、鮮度を宣言し、日次の売上のパイプラインを作ります。
上級
eager、on_cron、組み合わせた自動化の条件で、アセットを最新に保ちます。
opでタスク型のジョブを書き、一時的な失敗を再試行し、それ以外ではすぐに失敗させ、複数のアセットを一度に作ります。
アセットを直接テストし、materializeでつながりをテストし、作ったコンテキストでセンサーとスケジュールをテストします。
dbtのモデルをアセットとして読み込み、そのキーとグループを整え、パーティション付きの宅配のパイプラインを作り、半分失敗したバックフィルを復旧します。
エキスパート
コードロケーション、デーモン、実行のキュー、同時実行のプール、そしてAirflowのDAGのアセットへの移行です。
重複した実行、パーティションの欠け、環境の秘密情報を診断し、決済会社に必要な安全策を備えた精算のパイプラインを作ります。
3つのレベルの面接の質問と、解説付きの時間制限のある2つのDagsterの採用試験です。