One Course
Apache Airflowのすべてのレッスン、プロジェクト、模擬試験。
月払い。いつでも解約できます。
レベル1:ビギナー
0 ポイント
サインインすると、デバイスをまたいで進捗を保存できます。
Apache Airflowとは、Pythonで書いたワークフロー(Dag)をスケジュールどおりに実行し、監視するためのオープンソースのプラットフォームです。このコースでは、ブラウザーで動くAirflowのワークスペースで実際にDagを書きます。各レッスンは例題つきの解説と練習問題でできていて、書いたDagを実行して結果を確かめます。TaskFlow、スケジュール、XCom、センサー、再試行、テストまで順に進みます。
with DAGと@dagでDagを書き、TaskFlow APIと従来のオペレーターでタスクを作る>>、リスト、chainで依存関係を設定し、Dagを一覧から消してしまうインポートエラーを直すユニット1「Dag、タスク、依存関係」:6レッスン、採点付きの練習問題33問。アカウントもカードも不要です。
無料ユニットを始めるコースの残りは、One CourseまたはAll Accessプランで利用できます。 プランと料金を見る
ここでプランを選んでください。コースはすでに選択されています。
Marigoldの夜間の売上のパイプラインを1ステップずつ作りましょう:正しい日、再試行、冪等な読み込み、レポート、通知、締め切り、バックフィルです。
8ステッププロジェクト · 上級プロジェクト:Brambleの朝の荷物の追跡Brambleの朝の追跡の処理を作りましょう:報告した拠点に対してマッピングし、パートナーの上限の範囲ですべての未処理の荷物を追跡し、結果を保存して、顧客へのテキストのメッセージを始めます。
7ステップケーススタディ · エキスパートケース:1日の失敗の後ろで止まった1週間日次の元帳が木曜日に止まった理由を見つけ、安全に1週間の詰まりを解消し、次の失敗にその日のうちに気づけるようにしましょう。
5ステップケーススタディ · エキスパートケース:日をずらしたアップグレードAirflow 3へのアップグレードの後の誤った日付を新しいcronのタイムテーブルまでたどり、タスクのコードに手を付けずに直し、履歴をバックフィルしましょう。
5ステップケーススタディ · エキスパートケース:スキャナーが停滞した朝定刻どおりの拠点が遅れた拠点の後ろで待つ理由を説明し、枠を解放し、アップロードしないかもしれない拠点をずっと待つのをやめ、設計を推奨しましょう。
5ステッププロジェクト · エキスパートプロジェクト:Fenwick Payの精算の照合Fenwick Payの夜間の照合を作りましょう:加盟店に対してマッピングし、結果を保存し、不一致を通知し、ネットワークのファイルを待ち、営業日でスケジュールし、結果をアセットとして引き渡します。
7ステップ模擬試験 · エキスパートAirflowの採用試験A:基礎(時間制限あり)時間制限のある20問のAirflowの試験:Dag、スケジューリング、実行、UIとCLI、XCom、変数、接続、デバッグです。
20問 · 40 min模擬試験 · エキスパートAirflowの採用試験B:Dagの作成(時間制限あり)時間制限のある20問のAirflowの試験:TaskFlow、テンプレート、分岐、トリガールール、センサー、マッピング、アセット、テスト、プールです。
20問 · 45 minDagファイルを解析してAirflow 3.3のシミュレーションに対して実行するブラウザのワークスペースで、Apache Airflowを練習しましょう:Dagの一覧、GridとGraphのビュー、タスクのログ、XCom、変数、接続、プール、アセット、そしてairflowコマンドラインのあるターミナルです。最初のDagとTaskFlow APIから始め、次にそれをスケジュールし、タスクの間でデータを渡し、失敗したものを再試行し、センサーでファイルを待ち、分岐し、リストに対してタスクをマッピングし、アセットからDagを起動します。後のレベルでは、バックフィル、テスト、本番のパターン、インシデントを扱い、プロジェクト、面接の問題集、時間制限のある採用試験があります。すべての課題は、データとその隠れたコピーの両方で確認されます。インストールは必要ありません。
学んだことを全画面の面接で説明します。話すか入力して答え、その後に自分のレベルの評価基準と照らして回答を振り返ります。
職種別の面接ループ初級
DAGと@dagでDagのファイルを書き、TaskFlowでデータを渡し、依存関係を設定し、従来のオペレーターを使いましょう。
実行を起動したり一時停止したりし、タスクのログを読み、airflowのコマンドラインを使い、インポートエラーを直しましょう。
タスク間で値を渡し、Dagに入力を与え、設定と認証情報を読み、テンプレートをレンダリングしましょう。
中級
スケジュールを選び、Airflow 3の論理日付とデータ間隔を理解し、catchupとバックフィルで過去をやり直し、現地時刻でスケジュールしましょう。
一時的なものは再試行し、止まったものは停止し、失敗と遅れた実行を通知し、読み込みを冪等にしてタスクを安全に再実行し、Marigoldの夜間のパイプラインを組み立てましょう。
上級
トリガールールでタスクがいつ実行されるかを決め、分岐とショートサーキットで経路を選び、グループ、setup、teardownでタスクを整理しましょう。
ワーカーの枠を無駄にせずにファイル、レポート、ほかのDagを待ち、互いに依存するDagをつなぎましょう。
読み込むデータが更新されたときにDagを始め、アセットを条件や時計と組み合わせ、アセットのイベントで詳細を渡し、@assetでアセットを書きましょう。
実行時にしかわからないリストに対してファンアウトし、引数を組にしたり固定したりし、レート制限のあるシステムを守り、Brambleの朝の荷物追跡を組み立てましょう。
エキスパート
DagBagのテストで壊れたファイルを捕まえ、pytestでタスクのロジックをテストし、dag.test()でCIでDag全体を実行しましょう。
プールと優先度でシステムを安全に共有し、Airflow 3の構成要素を理解し、解析が軽く再実行しても安全なDagのファイルを書き、AirflowとDagsterを比べましょう。
現実的なインシデントを症状から修正、ビジネス向けの要約まで進め、Fenwick Payの決済の照合を最初から最後まで組み立てましょう。
3つのレベルでAirflowの面接の質問を練習し、基礎とDagの作成についての時間制限付きの選考テストを2つ受けましょう。
初めてならAirflowの基本:Dag、タスク、実行と最初のAirflowのDag:with DAGと@dagから始めてください。失敗したタスクを調べるならタスクのログ、cronやプリセットの書き方はAirflowのスケジュールのレッスンにあります。ほかのツールと迷っているなら、AirflowとDagster:公平な比較が役に立ちます。
アセット中心でパイプラインを組むならDagster、SQLの変換はdbt、イベントのストリームはApache Kafkaのコースで練習できます。採用の選考に備えるなら、面接ハブのAirflowのページで質問に答える練習ができます。
必要ありません。ワークスペースはブラウザーの中でAirflow 3.3を再現したもので、Dagファイルを解析し、再現したスケジューラーで実行し、Dagの一覧、Grid、Graph、ログ、airflowコマンドが使えるターミナルを表示します。本物と違うところは、レッスンの中でそう説明しています。
Airflow 3です。Task SDKのインポート(from airflow.sdk import dag, task)、schedule_intervalではなくschedule、catchupとタイムテーブルのAirflow 3の既定値を使います。3.4での変更も、関係するところで取り上げます。
説明、ヒント、答え合わせのメッセージは日本語です。Airflowの画面の名前(Dags、Grid、Graphなど)、コマンド、コードは、本物のAirflowと同じ英語の表記です。
実行して判定します。Dagファイルを解析してDagを動かし、タスクの状態、XComの値、展開されたコマンド、読み込まれた行を、表示されているデータと見えないコピーのデータの両方で確かめます。間違えたときは、考えられる原因についてのヒントが表示されます。
最初のユニットは無料で、アカウントも必要ありません。残りのユニットはOne CourseまたはAll Accessのプランで利用できます。プランと料金は料金ページで確認できます。
違います。The Work Gymは独立した運営で、Apache Software Foundationと提携していません。Apache、Apache Airflow、AirflowはApache Software Foundationの商標です。