コマンドの種類
| コマンド | 目的 | 確かめる結果 |
|---|---|---|
kafka-topics.sh |
トピックを作る、一覧にする、詳しく見る | パーティション数、リーダー、レプリカ、同期しているレプリカ |
kafka-configs.sh |
対応する設定を調べる、変える | トピックの保持期間、クリーンアップのポリシー、最小の同期レプリカ数 |
kafka-console-producer.sh |
レコードを送る | キー、パーティション、追加されたオフセット |
kafka-console-consumer.sh |
レコードを読む | 開始のオフセット、グループ、分離の動き |
kafka-consumer-groups.sh |
コンシューマーグループを調べる、オフセットをリセットする | コミット済みのオフセット、ログの末尾、ラグ |
レッスンでは、対応する完全なコマンドをApache Kafkaのコースのブラウザーの作業場所で使います。そこにあるlabのコマンドは学習用の操作で、Kafkaに付属するツールではありません。本物のコマンドのオプションと既定値は、インストールしているリリースによって変わります。
オフセットの計算
コミット済みのオフセットが8なら、次に読むのはオフセット8のレコードです。ログの末尾が11なら、末尾からコミットを引いた単純なラグは3です。これは経過時間を測るものでも、後ろの業務の処理が成功したことを示すものでもありません。削除や圧縮(コンパクション)されたレコードがあると、オフセットの並びに穴ができることがあります。
再処理とクリーンアップ
オフセットのリセットは、適用する前にプレビューし、影響を受けるグループを特定してください。再処理すると、外部への書き込みがくり返されることがあります。保持期間は対象のログのデータを消し、コンパクションは設定したルールのもとで、最終的にキーごとの最新の値を残し、トゥームストーンを扱います。どちらの設定も、アプリの復旧計画の代わりにはなりません。
パーティションのモデルがわかったら、Kafkaの面接質問の場面を見直すか、Kafka Streamsの入門でストリーム処理を学んでください。