どのシステムにも、処理できる最大のレートがあります。到着がそれを超えると、処理はどこかに溜まります:メッセージキュー、スレッドプール、クライアントの再試行ループなどです。上限のないキューは、メモリが尽きるか、すべてのリクエストが数分待たされるまで問題を隠します。バックプレッシャーとは、過負荷を送信側に押し返す手法です:上限のあるキュー、明示的な拒否、速度を落とすクライアントなどです。
キューの増加は単純な計算です:(到着レート - 処理レート) x 時間です。キューに上限を設けたら、何を先に拒否するかを決めてください:優先度の低い処理を捨て、再試行の時刻を付けて429または503を返し、最も重要なリクエストを守ります。再試行にはジッター付きの指数バックオフが必要で、それがないと短い障害が再試行の嵐に変わり、復旧後もサービスが停止したままになります。