計画停電

今日は15:30から庁舎の計画停電があるので、
事前に全システムを停止し、復旧したら再開させる予定だ。
10年前はUPS任せで良かったんだけど、最近はそれではうまくいかない。
ネットワーク機器とサーバーが全部起動できても、
システムを利用できないことが多いのだ。

サーバーのNICに「識別されていないネットワーク」と表示されていて、
通信が制限された状態になってしまう。
L3スイッチをSDN装置に変えてからだろうか、
ネットワークより先にサーバーが起動してしまうせいかもしれない。
SDN装置の起動には手順があって、結構時間がかかる。
本来SDN装置は自家発電とかで停止しない前提で使うものなんだろうね。
だから最近は停止と起動の手順書をあらかじめ作っておいて、手動で対応している。

すべての機器を停止するのに1時間ほどかかるし、今回は
HCIを筆頭に初めて触るものが多いので、余裕を持って14:00から作業を開始した。
（めっちゃ急いだ場合の最短記録は40分だ）
しばらく後、「サーバーをもう一度立ち上げてほしい」と内線があったけれど、断った。
経験上こういうときは心を鬼にしないと必ず後悔することになる。

作業は順調に進み、いよいよHCIの停止だ。
HCIは物理マシンの上に仮想ホストがあり、さらにその上に仮想マシンがあるんだね。
仮想ホストを停止し、最後に物理マシンを停止しようとしたら、SSHで接続できない！
あれ？IDかパスワードが間違っている？
いや、そもそも応答が遅すぎて、認証入力まで数回に1回しかたどり着けない。
だめだ、サーバー室で直接操作しよう。
KVMコンソールを開くと、なんと1台もケーブルがつながっていない。
停電まであと3分しかないよ。
停電ちょっと待って！と連絡して、ケーブルを探して接続したらログインできた。
停止コマンドを打って物理マシンを停止、
ケーブルをつなぎかえて次の物理マシンを停止。
これを繰り返して全物理マシンを停止できた。
15:37だ。ごめん、予定を少し過ぎてしまった。

電源設備の点検が終わるまで1時間半ほど待ち時間がある。
第2種電気工事士の勉強をしようと参考書を持ってきたけれど、
アドレナリンが出過ぎてそれどころじゃない。
数独でもして落ち着こう。

17:07に「ぶぅん！」といううなりと共に電源が復旧した。
さあ、起動だ・・・またHCIでつまずいた。
事前に入手しておいたマニュアルどおりにやってもサービスが起動しない。
保守事業者に問い合わせてサービス起動コマンドを入力した。
全システムの動作確認が終わると19:45だった。
今回はかなり疲れた。月曜に出勤したら今後のために手順書を直しておこう。