1月15日 15時過ぎ頃から突然、multi_forward への接続(NoraGateway、DMONITOR)が出来なくなりました。20時過ぎにはmulti_forwardを再起動して復旧しています。
15時過ぎ頃から、復旧するまでの間GWサーバが高負荷状態(システムの稼働率が50%オーバー、通常Idol時で1%以下)に陥っていたようで、multi_forwardを再起動させたら高負荷状態が解消したことよりmulti_forward自体がおかしくなっていた模様です。
14日の東海ミニロールコール時は15~19局程度がmulti_forwardに同時接続していた模様ですがこれほどの負荷にはなっていませんでした。
1月14日の東海ミニロールコールの時間帯(21時~22時)
CPU %user %nice %system %iowait %steal %idle
20時50分02秒 all 0.07 0.00 0.39 0.05 0.00 99.49
21時00分01秒 all 0.07 0.00 0.40 0.04 0.00 99.49
21時10分01秒 all 0.37 0.00 1.54 0.04 0.00 98.05
21時20分01秒 all 0.49 0.00 2.11 0.05 0.00 97.35
21時30分01秒 all 0.48 0.00 2.10 0.04 0.00 97.38
21時40分01秒 all 0.43 0.00 1.95 0.04 0.00 97.58
21時50分01秒 all 0.39 0.00 1.75 0.05 0.00 97.82
22時00分01秒 all 0.43 0.00 1.91 0.04 0.00 97.62
1月15日の hole-punch.d-star.info から脱落した時
CPU %user %nice %system %iowait %steal %idle
15時00分01秒 all 0.07 0.00 0.39 0.04 0.00 99.50
15時10分01秒 all 0.38 0.00 0.80 0.04 0.00 98.78
15時20分01秒 all 23.61 0.00 26.81 0.05 0.00 49.53 ← ここから
15時30分01秒 all 23.22 0.00 27.23 0.04 0.00 49.51
15時40分01秒 all 24.39 0.00 26.04 0.04 0.00 49.53
15時50分01秒 all 21.66 0.00 28.79 0.05 0.00 49.51
省略
19時50分01秒 all 21.56 0.00 28.89 0.05 0.00 49.51
20時00分01秒 all 22.01 0.00 28.55 0.04 0.00 49.40
20時10分01秒 all 21.16 0.00 29.29 0.04 0.00 49.51
20時20分01秒 all 7.50 0.00 9.89 0.05 0.00 82.56 ← ここらで再起動
20時30分01秒 all 0.10 0.00 0.42 0.04 0.00 99.44
20時40分01秒 all 0.08 0.00 0.41 0.04 0.00 99.47
PID TTY TIME CMD
3695 ? 00:10:14 xchange
3696 ? 05:07:39 multi_forward → こいつが高負荷の元凶、原因は不明
3697 ? 00:05:58 dstatus
暫くは状況注視をする予定です。
このような状況が続くようであれば、cronにより定期的に再起動させる様に運用変更を提案する予定です。
※コメント投稿者のブログIDはブログ作成者のみに通知されます