国または地域と言語

    国または地域と、言語を選んでください。

    おすすめ

      すべての国と地域

        キャラクターを選ぶ

        上部のバーとプロフィールに表示されます。いつでも変更できます。

        パイプラインの設計と運用

        増分ロード、バックフィル、スキーマ変更、鮮度の統制を設計します。

        • 9 件のシナリオ
        • 28 to 30 分ずつ
        • 話すか入力して 回答します
        • レポートの基準: 選んだレベル

        質問は合成音声が行います。

        面接のレベル

        練習シナリオ

        シナリオを選んでください。各面接は、選んだレベルのレポートで終わります。

        28 min4 段階ミドル レベル

        Dagsterのレビュー:チェックに失敗した緑の実行

        架空の会社Birch Receiptsは、unique_receiptsが余分な2行を報告した後に、日次のテーブルを公開しました。ワーカーは成功し、チェックはブロックしないものでした。観察、公開のコントロール、復旧の根拠を説明してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に1レッスン

        ミドル の基準

        • 余分な2行は重複した1つの識別情報とは異なるので、私は3回繰り返されたIDをテストします。チェックが例外を発生させずに有効な結果を返すよう、空のリストもテストします。
        • 通常の失敗したチェックは、問題を報告しても公開の境界を強制しないことがあるので、私はチェックを必要なエラーの重大度でブロックするものにし、下流の公開が実行されないことをテストします。
        • 反例と読み返しを使って、入力が変わっても結果が成り立つことを擁護してください。

        準備のためのレッスン

        28 min4 段階ミドル レベル

        Airflowのレビュー:今日のデータを読む再実行

        架空の会社Hazel Freightが、11月5日の日次の抽出を11月8日に再実行します。ソースのクエリはワーカーの現在の日付を使っており、タスクは緑になっています。どの根拠が古くなっているか、意図した過去の範囲をどのように取り戻すかを説明してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に1レッスン

        ミドル の基準

        • 最初の日付をハードコーディングすると、最初のテストはそれらしく通ってしまうので、私は2つの論理日付を比べます。私は手動実行とタイムテーブルの意味を明示しておきます。ds単独では、すべてのソースの期間は定義されません。
        • 隣り合う1時間ごとの実行は、重なっても境界の行を落としてもいけないので、私は指定されたデータの期間の開始と終了を、開始を含み終了を含まない形で使います。私はタイムテーブルとタイムゾーンを検証し、その後、ちょうど両方の境界にあるレコードをテストします。
        • 反例と読み返しを使って、入力が変わっても結果が成り立つことを擁護してください。

        準備のためのレッスン

        28 min4 段階ミドル レベル

        Kafkaのレビュー:書き込みの失敗の前のラグゼロ

        架空のRowan Dispatchは、レコード7から9を外部のデータベースに書き込む前に、次のオフセット10をコミットします。書き込みは失敗し、グループはログの末尾10に対してラグがゼロと表示しています。そのダッシュボードで処理の完了を確認できない理由と、どのように復旧を進めるべきかを説明してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に1レッスン

        ミドル の基準

        • レコードをポーリングしても、その外部への効果がコミットされたことは証明できないので、取得位置と永続的な処理を分けて考えます。最初の未処理のレコードが再起動後も利用できるよう、次のオフセットの境界も確認します。
        • コミットしたオフセットは完了した書き込みより前を指したままなので、再起動後に再処理が起きると予想します。送信先での永続的な冪等キーか、オフセットと出力を適切にアトミックに扱うプロトコルを必須にします。Kafkaのプロデューサーの冪等性だけでは、任意の外部データベースを保護できません。
        • 反例と読み返しを使って、入力が変わっても結果が成り立つことを擁護してください。

        準備のためのレッスン

        30 min4 段階ミドル レベル

        請求書の差分読み込み

        Cedar Billingは、古い請求書の訂正と論理削除を含めて、請求書を毎時データウェアハウスに読み込む必要があります。複数の請求書が同じupdated_atのタイムスタンプを持つことがあり、ジョブが行を書き込んだ後に停止することもあります。欠落も請求書の重複もなく再開できる読み込みを設計してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に5レッスン

        ミドル の基準

        • 前提、方法、結果を結び付けてください:タイムスタンプだけではウォーターマークと同じ値を持つ変更を見逃すことがあるので、安定した請求書の識別子と、同点の決め手か重なりのある期間を伴う変更の位置が必要です。updated_atが、削除を含むすべての変更を反映しているかを確認します。
        • 結果を左右するエッジケースをテストしてください:古い請求書が今日訂正されることもあるので、変更は請求日ではなく変更の時刻で適用します。レポートの契約に従って削除のマーカーを保持または適用し、影響を受けた集計を再構築し、ソースの変更の監査を保持します。
        • 責任を持つ検証や運用のチェックを説明してください:ジョブが正常に終了しても完全性の証明にはならないので、ソースのパーティションごとに請求書の件数と合計を照合し、鮮度と拒否された行を追跡し、再処理したバッチをテストします。処理の失敗だけでなく、ソースからの配信がない場合もアラートを出します。
        30 min4 段階ミドル レベル

        バックフィル中のスキーマの変更

        Harbor Eventsは、過去のバックフィルの間に、金額を整数の補助単位から小数の主単位に変更しています。変更の間も、ライブの取り込みは続ける必要があります。比較可能なデータセットを1つ公開する方法と、変換が失敗した場合に復旧する方法を説明してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に4レッスン

        ミドル の基準

        • 前提、方法、結果を結び付けてください:同じ数値でも異なる金額を意味することがあるので、スキーマのバージョン、通貨、単位を明示的に特定します。値の大きさから単位を推測するのではなく、生のペイロードと、それを解釈したバージョンを保持します。
        • 結果を左右するエッジケースをテストしてください:ライブと過去の書き込みが重なると二重に数えたり上書きしたりすることがあるので、置き換えのパーティションを別の場所に作り、定めた締めか重複を除いた変更の引き継ぎを使います。アトミックに公開する前に、置き換え全体を照合します。
        • 責任を持つ検証や運用のチェックを説明してください:一律の係数の誤りは運用上は正常に見えることがあるので、行数、金額、通貨ごとの合計を独立したソースの管理と比較します。以前の公開済みのバージョンを保持し、変換や照合が失敗した場合は読み手を元に戻します。
        30 min4 段階ミドル レベル

        新しく見えるのに古いダッシュボード

        Vale Dispatchの毎時の注文のダッシュボードは、ジョブは成功と報告していますが、利用者には昨日の注文しか見えていません。現在のlast_updatedの表示は、ソースのデータの時刻ではなく、ジョブの完了を記録しています。古い結果を診断し、安全な復旧を説明してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に3レッスン

        ミドル の基準

        • 前提、方法、結果を結び付けてください:ジョブの完了時刻で証明できるのは実行だけなので、ソースのイベント時刻、抽出の位置、公開されたパーティションをたどります。既知の新しい注文を各境界で比較し、障害の経路を観察できるよう、再実行の前にログを保全します。
        • 結果を左右するエッジケースをテストしてください:むやみに全体を再読み込みすると注文が重複したり訂正が上書きされたりすることがあるので、最後に確認されたソースの位置から確認済みのターゲットに再処理し、公開の前にソースとターゲットのレコードを照合します。既知の欠けていた注文と下流の集計を確認します。
        • 責任を持つ検証や運用のチェックを説明してください:それぞれ異なる状態を測るものなので、ソースのウォーターマーク、イベント時刻の遅延、パイプラインの完了を別々に示します。成功した空のジョブを最新とみなすのではなく、想定される配信の契約を使って、完全性の管理と新しい入力がないことのアラームを追加します。
        30 min4 段階ミドル レベル

        ストリーミングの指標における遅れたイベント

        Spruce Dispatchは、イベント時刻の5分間のウィンドウごとの完了した注文を、到着から1分以内に必要としています。イベントは20分遅れて届いたり、繰り返し届いたりすることがあり、マネージャーは以前のウィンドウが訂正されることを期待しています。処理と公開のルールを設計してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に2レッスン

        ミドル の基準

        • ウォーターマークと遅延した更新の方針を選び、状態を永続化し、出力の更新をチェックポイントとそろえている。
        • 出力と進捗の記録の間でクラッシュが起きることがあるので、チェックポイントを復元し、冪等なシンクに入力を再処理します。出力のバージョンや調整されたコミットによって、繰り返しの公開で論理的なウィンドウが2つにならないようにします。
        • プロセッサーが動いていても不完全なデータを公開することがあるので、ソースの遅延、ウォーターマークの経過時間、拒否された遅延イベント、最新の公開バージョンを示します。確定した件数をバッチの照合と比較し、差が合意した許容範囲を超えた場合の再処理の経路を定めます。
        30 min4 段階ミドル レベル

        ソースの到着がばらつく日次の読み込み

        Larch Analyticsは、3つの地域のファイルから日次の売上を公開しています。2つは通常午前6時前に届きますが、3つ目は遅れることがあり、昨日のジョブを再実行すると今日の実行と重なることがあります。スケジュール、準備の確認、安全な公開を設計してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に2レッスン

        ミドル の基準

        • 依存関係のグラフ、冪等なパーティション、遅れたソースの方針を、完全性が見える形で設計している。
        • 同時の再試行で新しく受け入れられたバージョンを上書きしてはいけないので、実行とステージングのパスを業務日とソースのバージョンでキーにし、公開の際にはロックかcompare-and-swapを使います。1つのパーティションの再処理は冪等なままで、別の日付を消すことはできません。
        • 2つの地域を会社全体の完全な合計として黙って公開すると利用者を誤解させるので、ソースの担当者にアラートを出し、文書化された遅れたソースの方針を適用します。承認されれば表示付きの暫定のビューを公開し、最終の入力が届いたら照合の後にアトミックに置き換えることができます。
        30 min4 段階ミドル レベル

        現在のデータを止めずにパーティションを修復する

        Fir Commerceは、ある変換が直近30日間の注文数量を過大に計算していたことに気付きました。新しいデータは引き続き届いており、修復の間もダッシュボードは利用できる状態を保つ必要があります。現在の訂正を失わずに、過去のパーティションを直すバックフィルを計画してください。

        面接を始める
        ルーブリックと準備求められる内容: mid レベルの回答 · 準備に2レッスン

        ミドル の基準

        • スナップショットの締めと変更の追いつきを使い、シャドーのパーティションに書き込み、公開の前にビジネス上の合計を照合している。
        • 日ごとに置き換えると計算の混在が露出してしまうので、シャドーのパーティションに書き込み、すべての確認に合格した後でだけデータセットのマニフェストを公開します。読み手は1つのマニフェストのバージョンを選び、ロールバックでは変換全体を再実行せずに以前のバージョンに戻せます。
        • 合計が下がっただけでは正しいことの根拠にはならないので、修正したルールのもとで、ソースの注文の識別子、数量の合計、下流の集計を照合します。冪等な再処理をテストし、以前のバージョンを判断に使ったレポートの担当者に修正の通知を送ります。

        面接ハブの利用

        面接ハブはAll Accessに含まれています。続けるには、プランを選ぶかアカウントにサインインしてください。

        プランを見るサインインまたは登録

        Your Work Gym account

        Save your progress and pick up on another device. Your browser's progress comes with you.

        or

        You can keep practicing without an account.

        ヘルプとフィードバック

        質問、うまく動かない点、アイデアなどをお寄せください。メールで返信します。

        どのような内容ですか?

        返信のためだけに使用します。