システム障害の初動では、何が使えず、誰の業務へ影響しているかを確認し、対応する人の役割と情報をそろえます。原因が分からない段階でも、確認できた事実と未確認事項を分けて共有できます。
調査する人、全体を判断する人、状況を伝える人を明確にすると、同じ対象へ別々の変更を加える混乱を防ぎやすくなります。
まず影響と観測した事実を記録する
アラートが出たことと、利用者の業務が止まったことは分けて確認します。発見時刻、対象サービス、できない操作、影響する利用者、直前に分かっている変更を記録します。
「データベースが原因」と推測する前に、「受注画面の保存でエラーが出る」「参照はできる」など、確認できた現象を書きます。原因の仮説は別欄に置くと、後から事実と混同しにくくなります。
| 記録すること | 架空の記載例 |
|---|---|
| 発見 | 9:10、窓口へ保存失敗の連絡 |
| 影響 | 受注登録ができない。参照は確認済み |
| 範囲 | 複数利用者で再現。他拠点は未確認 |
| 原因 | 未確定 |
| 次の確認 | 発生範囲と関連する監視情報 |
時刻は、発生した時刻なのか発見した時刻なのかも分けてください。
指揮・作業・連絡を分ける
Google SREは、障害対応における指揮、作業、連絡などの役割を分ける考え方を示しています。調整のない変更が状況を悪化させる例も扱っています。Google SRE: Managing Incidents
小さな体制では一人が複数を兼ねる場合もあります。その場合も、誰が作業を承認し、誰が利用部門へ伝えるかを明示します。対応者が増えたら、勝手に別の作業を始めず、現在の役割と調査範囲を確認します。
共有する場所には、最新の影響、実施中の作業、結果、判断待ちをまとめます。対象システム自体が使えない場合に備え、連絡や記録の代替手段も決めておきます。
原因調査と影響を抑える判断を並行する
架空の受注システムで、直前の変更後に保存失敗が増えたとします。それだけで変更が原因と確定したわけではありませんが、切戻しの適用条件を調べる判断材料にはなります。
切戻しを考える場合は、対象の版、変更済みデータとの互換性、実施権限、停止する条件、結果の確認方法を確認します。原因不明のまま再起動や設定変更を重ねると、何が効いたのか、何が状況を変えたのかを追いにくくなります。
承認された手順で行う作業も、開始前の状態、実行した内容、結果を記録します。Google SREも、サービスを復旧させることと、原因分析のための証拠を残すことを重視しています。Google SRE: Best Practices
連絡では未確定の復旧時刻を約束しない
利用部門には、使えない操作、影響範囲、利用できる代替手段、次に情報を更新する時点を伝えます。復旧見込みが分からないなら、分からないことを明示します。
例えば「受注登録が失敗する状況を確認し調査中です。参照は利用可能です。次の状況更新は9:40を予定しています」という形です。これは説明用の文例で、実際の連絡内容は確認した状態に合わせます。
進展がなくても、確認中のことと次の行動を共有すると、利用者が独自に再試行や別ルートの処理を重ねることを抑える助けになります。
復旧は業務の操作まで確かめる
監視の異常が消えただけで完了にせず、影響した操作を確認します。受注の例なら、登録、保存内容、後続への連携を、必要な範囲で確かめます。失敗中に入力された注文が未処理なのか、実際には保存されていたのかも確認し、二重処理を避けます。
再開を判断する人、確認できた範囲、残る制限を記録し、関係者へ伝えます。長引いて担当が交代する場合は、未実施の作業と判断事項を含めて明示的に引き継ぎます。
発生中の記録を次の改善へ渡す
復旧後は、時系列、影響、対応の結果、未解決の原因を整理します。原因が未確定でも、連絡先が古かった、担当の重複が起きたなど、確認できた運用上の課題は改善へつなげられます。
日常の運用体制や手順の整理は、インフラ運用設計も参照してください。企業のインフラ運用に関する支援は、インフラ支援の案内をご確認ください。