ストリーム処理とは、データをためてからまとめて処理するのではなく、届いたイベントを順に処理して、結果を更新し続ける方法です。Kafka Streamsとは、Kafkaのトピックを読み書きしながら、この処理をアプリの中で行うためのJavaのライブラリです。イベントの流れはKStream、キーごとの最新の値の表はKTableとして扱います。
配達のウィンドウ
架空の配送チームが、荷物のスキャンを、イベント時刻で10分ごとのウィンドウに数えるとします。9:02と9:08のスキャンは、9:00に始まるウィンドウに入ります。ちょうど9:10のスキャンは、次のウィンドウに入ります。イベントに付いた時刻は、処理する側に届いた時刻と違うことがあります。
遅れて届くレコード
9:07のスキャンが、もっとあとのイベント時刻を持つレコードのあとに届いたとします。猶予期間(grace period)があると、ストリームの時刻がウィンドウの終わりを過ぎるまでは、前のウィンドウがその遅れたレコードを受け入れます。実際の時計での遅れだけでは、遅すぎるレコードだとは言えません。タイムスタンプの取り出し方、ウィンドウの終わり、猶予期間をあわせて確かめてください。
状態と結合
件数を数えるには、途中の結果を持つ状態ストアが必要です。テーブルとの結合では、更新をどう解釈するかもはっきりさせます。新しいスキャンにルートの表(KTable)の情報を付けることと、2つのイベントの流れ(KStream)を時間のウィンドウの中で結合することは別物です。一致しない行をデータの欠けとみなす前に、レコードのキーと結合の範囲を説明してください。
練習と実装
Apache Kafkaのコースでは、名前の付いたlabの操作で、選んだウィンドウ、状態、結合をシミュレーションします。JavaのKafka Streamsのアプリをコンパイルしたり、RocksDBを動かしたり、本物のデプロイの性能を測ったりはしません。ライブラリとAPIは公式のStreamsのドキュメントで確認してください。シミュレーションの出力を確かめたら、本番のアプリが障害のあとで状態をどう戻すかを説明してみましょう。