国または地域と言語

    国または地域と、言語を選んでください。

    おすすめ

      すべての国と地域

        キャラクターを選ぶ

        上部のバーとプロフィールに表示されます。いつでも変更できます。

        コース / データと分析のツール

        Apache AirflowのDagを、ブラウザーで書いて動かす入門

        Apache Airflowとは、Pythonで書いたワークフロー(Dag)をスケジュールどおりに実行し、監視するためのオープンソースのプラットフォームです。このコースでは、ブラウザーで動くAirflowのワークスペースで実際にDagを書きます。各レッスンは例題つきの解説と練習問題でできていて、書いたDagを実行して結果を確かめます。TaskFlow、スケジュール、XCom、センサー、再試行、テストまで順に進みます。

        レッスン1を始める面接を練習するアセスメントを受けるすべてのコースで最初のユニットを練習できます。アカウントは不要です。
        68レッスン
        395採点付きの練習問題
        11プロジェクト、ケース、試験
        対策できる試験 データエンジニアの面接と、Airflow認定資格形式のテスト

        できるようになること

        • with DAGと@dagでDagを書き、TaskFlow APIと従来のオペレーターでタスクを作る
        • >>、リスト、chainで依存関係を設定し、Dagを一覧から消してしまうインポートエラーを直す
        • Dagの実行を起動、一時停止し、過去の日の分を再実行し、タスクのログから失敗の原因を突き止める
        • XComで値を渡し、型つきのparamsを設定し、変数と接続から設定と認証情報を読む
        • Jinjaのテンプレートとマクロで、日付、params、変数をコマンドに埋め込む
        • Dagをスケジュールし、過去分をバックフィルし、失敗を再試行し、センサーでファイルを待ち、アセットからDagを起動する(後半のユニット)

        対象者

        Airflowを使い始めるデータエンジニア、アナリティクスエンジニアの方
        Airflow 3でのDagの書き方を、何もインストールせずに、答え合わせのある短い課題で身につけられます。
        ほかの人が書いたDagを保守している方
        Gridとタスクのログを読み、インポートエラーを直し、正しい日を再実行する練習ができます。
        データエンジニアの面接やAirflowの認定資格を控えている方
        最後のユニットに、面接の質問が3セットと、Airflow 3の認定資格の出題範囲をもとにした時間制限のある採用試験が2つあります。

        無料で練習できる内容

        ユニット1「Dag、タスク、依存関係」:6レッスン、採点付きの練習問題33問。アカウントもカードも不要です。

        無料ユニットを始める

        コースの残りは、One CourseまたはAll Accessプランで利用できます。 プランと料金を見る

        Apache Airflowの学習を続ける

        ここでプランを選んでください。コースはすでに選択されています。

        One Course

        Apache Airflowのすべてのレッスン、プロジェクト、模擬試験。

        価格を読み込み中/月

        月払い。いつでも解約できます。

        All Access

        すべてのコース、試験、プロジェクトに加え、面接ハブも利用できます。

        価格を読み込み中/月

        月払い。いつでも解約できます。

        プロジェクト、ケーススタディ、模擬試験

        プロジェクト · 中級プロジェクト:Marigoldの夜間の売上のパイプライン

        Marigoldの夜間の売上のパイプラインを1ステップずつ作りましょう:正しい日、再試行、冪等な読み込み、レポート、通知、締め切り、バックフィルです。

        8ステップ
        プロジェクト · 上級プロジェクト:Brambleの朝の荷物の追跡

        Brambleの朝の追跡の処理を作りましょう:報告した拠点に対してマッピングし、パートナーの上限の範囲ですべての未処理の荷物を追跡し、結果を保存して、顧客へのテキストのメッセージを始めます。

        7ステップ
        ケーススタディ · エキスパートケース:1日の失敗の後ろで止まった1週間

        日次の元帳が木曜日に止まった理由を見つけ、安全に1週間の詰まりを解消し、次の失敗にその日のうちに気づけるようにしましょう。

        5ステップ
        ケーススタディ · エキスパートケース:日をずらしたアップグレード

        Airflow 3へのアップグレードの後の誤った日付を新しいcronのタイムテーブルまでたどり、タスクのコードに手を付けずに直し、履歴をバックフィルしましょう。

        5ステップ
        ケーススタディ · エキスパートケース:スキャナーが停滞した朝

        定刻どおりの拠点が遅れた拠点の後ろで待つ理由を説明し、枠を解放し、アップロードしないかもしれない拠点をずっと待つのをやめ、設計を推奨しましょう。

        5ステップ
        プロジェクト · エキスパートプロジェクト:Fenwick Payの精算の照合

        Fenwick Payの夜間の照合を作りましょう:加盟店に対してマッピングし、結果を保存し、不一致を通知し、ネットワークのファイルを待ち、営業日でスケジュールし、結果をアセットとして引き渡します。

        7ステップ
        模擬試験 · エキスパートAirflowの採用試験A:基礎(時間制限あり)

        時間制限のある20問のAirflowの試験:Dag、スケジューリング、実行、UIとCLI、XCom、変数、接続、デバッグです。

        20問 · 40 min
        模擬試験 · エキスパートAirflowの採用試験B:Dagの作成(時間制限あり)

        時間制限のある20問のAirflowの試験:TaskFlow、テンプレート、分岐、トリガールール、センサー、マッピング、アセット、テスト、プールです。

        20問 · 45 min

        Dagファイルを解析してAirflow 3.3のシミュレーションに対して実行するブラウザのワークスペースで、Apache Airflowを練習しましょう:Dagの一覧、GridとGraphのビュー、タスクのログ、XCom、変数、接続、プール、アセット、そしてairflowコマンドラインのあるターミナルです。最初のDagとTaskFlow APIから始め、次にそれをスケジュールし、タスクの間でデータを渡し、失敗したものを再試行し、センサーでファイルを待ち、分岐し、リストに対してタスクをマッピングし、アセットからDagを起動します。後のレベルでは、バックフィル、テスト、本番のパターン、インシデントを扱い、プロジェクト、面接の問題集、時間制限のある採用試験があります。すべての課題は、データとその隠れたコピーの両方で確認されます。インストールは必要ありません。

        面接練習

        学んだことを全画面の面接で説明します。話すか入力して答え、その後に自分のレベルの評価基準と照らして回答を振り返ります。

        職種別の面接ループ

        初級

        無料アカウントもカードも不要です。このユニットのすべてのレッスンを練習できます。

        Dag、タスク、依存関係

        DAGと@dagでDagのファイルを書き、TaskFlowでデータを渡し、依存関係を設定し、従来のオペレーターを使いましょう。

        6レッスン

        Dagの実行とログの読み方

        実行を起動したり一時停止したりし、タスクのログを読み、airflowのコマンドラインを使い、インポートエラーを直しましょう。

        5レッスン

        XCom、params、変数、接続

        タスク間で値を渡し、Dagに入力を与え、設定と認証情報を読み、テンプレートをレンダリングしましょう。

        6レッスン

        中級

        スケジュール、データ間隔、バックフィル

        スケジュールを選び、Airflow 3の論理日付とデータ間隔を理解し、catchupとバックフィルで過去をやり直し、現地時刻でスケジュールしましょう。

        5レッスン

        再試行、タイムアウト、通知、再実行

        一時的なものは再試行し、止まったものは停止し、失敗と遅れた実行を通知し、読み込みを冪等にしてタスクを安全に再実行し、Marigoldの夜間のパイプラインを組み立てましょう。

        8レッスン

        上級

        トリガールール、分岐、グループ

        トリガールールでタスクがいつ実行されるかを決め、分岐とショートサーキットで経路を選び、グループ、setup、teardownでタスクを整理しましょう。

        5レッスン

        センサーとDagをまたぐ依存関係

        ワーカーの枠を無駄にせずにファイル、レポート、ほかのDagを待ち、互いに依存するDagをつなぎましょう。

        5レッスン

        アセットとデータに基づくスケジュール

        読み込むデータが更新されたときにDagを始め、アセットを条件や時計と組み合わせ、アセットのイベントで詳細を渡し、@assetでアセットを書きましょう。

        5レッスン

        動的なタスクのマッピング

        実行時にしかわからないリストに対してファンアウトし、引数を組にしたり固定したりし、レート制限のあるシステムを守り、Brambleの朝の荷物追跡を組み立てましょう。

        5レッスン

        エキスパート

        Dagのテスト

        DagBagのテストで壊れたファイルを捕まえ、pytestでタスクのロジックをテストし、dag.test()でCIでDag全体を実行しましょう。

        4レッスン

        本番のAirflow

        プールと優先度でシステムを安全に共有し、Airflow 3の構成要素を理解し、解析が軽く再実行しても安全なDagのファイルを書き、AirflowとDagsterを比べましょう。

        5レッスン

        インシデントと決済のプロジェクト

        現実的なインシデントを症状から修正、ビジネス向けの要約まで進め、Fenwick Payの決済の照合を最初から最後まで組み立てましょう。

        4レッスン

        面接と選考テスト

        3つのレベルでAirflowの面接の質問を練習し、基礎とDagの作成についての時間制限付きの選考テストを2つ受けましょう。

        5レッスン

        初めてならAirflowの基本:Dag、タスク、実行と最初のAirflowのDag:with DAGと@dagから始めてください。失敗したタスクを調べるならタスクのログ、cronやプリセットの書き方はAirflowのスケジュールのレッスンにあります。ほかのツールと迷っているなら、AirflowとDagster:公平な比較が役に立ちます。

        アセット中心でパイプラインを組むならDagster、SQLの変換はdbt、イベントのストリームはApache Kafkaのコースで練習できます。採用の選考に備えるなら、面接ハブのAirflowのページで質問に答える練習ができます。

        よくある質問

        Airflowをインストールする必要はありますか?

        必要ありません。ワークスペースはブラウザーの中でAirflow 3.3を再現したもので、Dagファイルを解析し、再現したスケジューラーで実行し、Dagの一覧、Grid、Graph、ログ、airflowコマンドが使えるターミナルを表示します。本物と違うところは、レッスンの中でそう説明しています。

        どのバージョンのAirflowを扱いますか?

        Airflow 3です。Task SDKのインポート(from airflow.sdk import dag, task)、schedule_intervalではなくschedule、catchupとタイムテーブルのAirflow 3の既定値を使います。3.4での変更も、関係するところで取り上げます。

        画面は日本語ですか?

        説明、ヒント、答え合わせのメッセージは日本語です。Airflowの画面の名前(Dags、Grid、Graphなど)、コマンド、コードは、本物のAirflowと同じ英語の表記です。

        答えはどのように採点されますか?

        実行して判定します。Dagファイルを解析してDagを動かし、タスクの状態、XComの値、展開されたコマンド、読み込まれた行を、表示されているデータと見えないコピーのデータの両方で確かめます。間違えたときは、考えられる原因についてのヒントが表示されます。

        無料で使えますか?

        最初のユニットは無料で、アカウントも必要ありません。残りのユニットはOne CourseまたはAll Accessのプランで利用できます。プランと料金は料金ページで確認できます。

        Apache Software Foundationが作ったコースですか?

        違います。The Work Gymは独立した運営で、Apache Software Foundationと提携していません。Apache、Apache Airflow、AirflowはApache Software Foundationの商標です。

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        プランを変更

        価格を確認しています

        ヘルプとフィードバック

        質問、うまく動かない点、アイデアなどをお寄せください。メールで返信します。

        どのような内容ですか?

        返信のためだけに使用します。