データエンジニアの面接でKafkaを聞かれたら、用語の定義よりも、障害のときにログとオフセットがどうなるかを説明してください。
順序とキー
**質問:**架空の荷物のサービスに6つのパーティションがあり、レコードは荷物のIDをキーにしています。同じ荷物の2つのイベントが順番に届きました。順序が保証されるのはどこですか。
**考え方:**パーティションの中です。Kafkaは、6つのログ全体での順序は保証しません。パーティション数とパーティショナーが変わらなければ、固定のキーを使うと、その荷物はふつう1つのパーティションに入ります。
コミットと復旧
**質問:**ワーカーがオフセット7を処理し、オフセット8をコミットする前にクラッシュしました。代わりのワーカーは何を読みますか。
**考え方:**保存されたコミットが7のままなら、レコード7をもう一度読むことがあります。コミット済みのオフセットは、次に読むレコードを指します。ちょうど1回の処理だと言う前に、冪等な書き込み先が重複をどう扱うかを説明してください。
リバランスとラグ
**質問:**2つのコンシューマーと3つのパーティションのグループに、4つ目のコンシューマーを足しました。4つすべてがこのトピックのパーティションを受け持てますか。
**考え方:**受け持てません。メンバーが変わると、割り当てがやり直されます。処理中の作業がどうなるかを説明し、コンシューマーの読み取り位置と、永続化されたコミット済みのオフセットを区別してください。
レプリケーションと確認応答
**質問:**プロデューサーがacks=allを使い、レプリケーション係数は3、最小の同期レプリカ数は2です。同期しているレプリカが2より少なくなったら、どうなりますか。
**考え方:**書き込みはその要件を満たせません。可用性とのトレードオフを説明し、設定を下げると耐久性の約束が変わる理由を話してください。
こうした判断はApache Kafkaのコースで練習し、考え方は面接ハブと比べてみてください。パイプライン全体の話では、KafkaをApache Airflowやデータウェアハウスと組み合わせて説明します。