Quarry Cloudから、顧客向けに1日4,320,000件のジョブを実行し、毎正時に20倍のスパイクがあるスケジューラーを求められています。スコープ、ピーク時のディスパッチの見積もり、ジョブのAPI、実行テーブル、ディスパッチの経路、古いワーカーに対するフェンス、毎時のスパイクへの対策を提出してください。
面接官はこの設計でレベルをどう判断するか
- ジュニア:実行時刻を迎えた実行を永続的に保存し、キューを通じてワーカーにディスパッチします。
- ミドルレベル:一意性制約で各実行を1回だけ確保し、リースと少なくとも1回の配信を使い、バックオフ付きで再試行します。
- シニア:古いワーカーをフェンスで締め出し、スパイクを平準化し、負荷の大きい顧客を隔離し、ちょうど1回の効果に冪等なハンドラーが必要な理由を説明します。
Quarry Cloudは、顧客のために1日に数百万件の予約ジョブを実行しています:毎晩のエクスポート、毎時の同期、リマインダーです。顧客は、ジョブが予定時刻に近いタイミングで開始され、失敗したら再試行され、同じ瞬間に2回実行されることがないと期待しています。多くのジョブが正時に予約されているので、負荷は鋭いスパイクとなって届きます。
設計の中心は、実行予定の永続的なリスト、1つのディスパッチャーだけが勝てる確保のステップ、実行中にリースを保持するワーカーです。配信は少なくとも1回なので、ジョブハンドラーは繰り返し実行しても安全である必要があり、リースの期限を過ぎてもフリーズしていたワーカーが書き込みを続けてはいけません。スパイクを見積もり、APIと実行テーブルを定義し、ディスパッチの経路を描き、典型的な2つの障害の隙間を塞ぎます。