Tidewater Cloudから、20,000台のホストが出力する200 MB/sのログとメトリクスのためのテレメトリーパイプラインを求められています。スコープ、ログ量の見積もり、時系列テーブル、パイプライン、ストリームの保持期間、ダウンサンプリングのポリシー、カーディナリティの防御策を提出してください。
面接官はこの設計でレベルをどう判断するか
- ジュニア:ホストとストアの間に永続的なストリームを置き、メトリクスとログに別々のストアを使います。
- ミドルレベル:データ量を見積もり、コンシューマーの遅れをカバーする保持期間を設定し、メトリクスをダウンサンプリングします。
- シニア:カーディナリティを制御し、バックプレッシャーとサンプリングを計画し、保持期間1日あたりのコストを見積もります。
Tidewater Cloudは、20,000台のホストからメトリクスとログを収集しています。エンジニアはインシデント中に直近1時間のメトリクスを1秒未満で必要とし、ログは30日間検索可能でなければなりません。データは絶え間なく届き、ストアが遅くなったときも、ホストはデータを失ったり、再送しようとして倒れたりしてはいけません。
間に置いた永続的なイベントストリームがバーストを吸収し、各コンシューマーが自分のペースで処理できるようにします。メトリクスは時系列に集約されて長期保存のためにダウンサンプリングされ、ログは検索用にインデックス化されて生のままアーカイブされます。ログの量を見積もり、時系列テーブルを定義し、パイプラインを描き、ストリームの保持期間を設定し、ダウンサンプリングのポリシーを選び、不用意な1つのラベルでメトリクスストアが破綻するのを防ぎます。