突然システムボリュームに書き込めなくなって困った話

AWSに立てたサーバで、それまで動いていた処理が突然異常終了するようになった。

特に、何も変更していない。

SSHでOSにつないで調査すると、OSが入っているファイルシステムに
新規のファイルが作成できない状態。

df　コマンドで調査すると利用率は40％程度。


ん、でGoogle先生に尋ねると、FileSystemが壊れたんじゃね？

的な結論にたどり着き、まぁ、これがAWSの良いところだよねぇ・・・

と、AMIを作成して、別インスタンスとして新規に立ち上げた。



んんん、でもいっしょ。

壊れたファイルシステムをイメージ化してもだめってことかしら？


と、以前のAMIから再度別インスタンスとして立ち上げて、
再始動。

なんだか、わからないが、めでたしめでたし・・・







再発しました。1週間後に・・・


で、またGoogle先生に尋ねると今度は、

ディスク容量に余裕があるのに No space left on device エラーになる

というのを見つけまして、

同じように

df　-i

を叩くと、100％使い切っていました。

ファイル数が5万を超えている。



なるほど、原因は分かった。




でも、なぜぇ？

犯人は誰だぁ？



犯人は、logrotateの定義ミスでした。

日次のログローテーションで、対象ファイルを、ファイル名.log*

としていたため、2014/01/01のローテーションで、
ファイル名.log-20140101
が出来、2014/01/02のローテーションで、
ファイル名.log-20140101-20140102
ファイル名.log-20140102
が出来、

と、ネズミ算式に増殖するのでした。

AWSのサポートに問合せしなくて良かったよ。（恥ずかしい）