差出人: Priya Nair(Fernhill Garden Supply、運用担当)
「アプリサーバーのログ用ディスクが02:10にいっぱいになり、夜間の注文インポートが書き込めませんでした。安全に容量を空けて、なぜそうなったのかを調べてもらえますか。data/には触れないでください。また、事後検証で必要になりそうなものは削除せず、圧縮できるものは圧縮してください。
分かったことはincident/に入れてください。チケットに添付します。」
回答: ディスクの証拠、原因、修正した設定、圧縮したローテーション済みのログ、空にしたデバッグトレース、パッケージ化した障害フォルダー。
アプリサーバーのログ用ボリュームが夜間に100%に達し、書き込みが失敗しています。最も大きいファイルを削除するのは手っ取り早い答えですが、誤りであることがよくあります。稼働中のログにはまだ書き込みが行われており、dataには決して触れてはいけません。このラボでは、慎重なオンコールのエンジニアが行うやり方でこの障害に対処します。
ディスクの状態を記録し、最も大きいファイルを見つけ、それが大きくなった理由(調査の後に有効のまま残されたデバッグのログレベル)を突き止め、ほかの設定を失わずにその設定を修正します。実行中のプロセスがまだ開いているためデバッグトレースはその場で空にし、空いた容量を使ってローテーション済みのログを削除せずに圧縮し、結論とともに証拠をパッケージ化します。
8つのステップはすべて1つのワークスペースを共有し、各チェックではそれまでの結果と注文データも保護されます。