Blue Heron Ridesのイベントのレポート
運用の担当者は、配車のレビューのために、路線ごとの出発と到着の件数を必要としています。ブロンズのeventsのフィードには、繰り返された出発と、一致しない移動の参照が含まれます。tripsのテーブルは、有効なキーと路線の名前を提供します。元のパイプラインのテーブルと受け入れたパイプラインのテーブル、ビジネスのイベントごとに1行、品質の監査、路線のレポートを納品してください。監査では、一致しない参照と重複したイベントを別々に数える必要があります。
Blue Heron Ridesは、配車のシステムから移動のイベントを受け取ります。フィードの2つの行が同じ出発を表し、別のイベントは存在しない移動を指しています。運用では、どちらの問題でもレポートが膨らまないようにして、路線ごとの出発と到着の件数を必要としています。
有限のイベントのスナップショットを取り込み、移動の参照のルールを期待値として宣言し、繰り返されたビジネスのイベントを除いてください。イベントのidは取り込みの行を特定し、trip_id、event_type、event_atは、ビジネスが数えたいイベントを特定します。その選択をたどれるよう、代表のソースのidを残してください。路線の概要は、それらのルールを適用した後にだけ作り、その後、入力、拒否、重複の件数を照合してください。このワークスペースは、範囲を限ったスナップショットを処理します。出力と依存関係のグラフでパイプラインのロジックを練習できますが、ウォーターマークの方針や本番のストリーミングのスループットは確立できません。