東京支店のネットワークトラブルかと思っていたが、実は業務システムが問題だった

今まで業務システムの話を何回か掲載しているが、このシステムは既に追加・修正を繰り返して来て、現在かなり使えるアプリケーションとなった来ていた。最も、改善の繰り返しで、何時が終わりになるのかその完成形は今だ見えないが・・・。

さて、この業務システムは当社の東京支店でも勿論使用されているが、昨年末ごろから、反応がかなり鈍い（つまりレスポンスが遅い）とのクレームを聞いていた。しかし抽象的に遅いぐらいの感覚で、それ程困っている感じは受けなかった。

ところが先々週東京から帰ってこられた営業課長から、遅くてとても使えないとのヘルプが私に入った。実はこの前にも、営業会議で同じような話を、雑談ながら営業部長から聞いていた。が誰もヘルプはしないし、私の仕事でもない為、何の行動も起こさなかった。

流石に今回は、問題ありと認識し、私の方で対策を講じる事にし、東京支店のネットワークを管理している親会社のIT部門に相談し、対応を依頼した。しかし、この結果、このIT部門も対応が悪く（依頼した担当者の問題かもしれないが・・・）、先週何回もプッシュしたが、１週間かかっても回答なく、時間をつぶしただけだった。

流石に先週末、当部の担当者に直接電話し、やっと進展しそうな形となったが、ここで問題が発生した。というか遅い原因に私が気づいて、その予測が間違いではない事まで、先週末で確認できてしまった。つまり、ネットワークに問題があると勝手に予想したが、問題は業務システムの方にあった。

この経緯をまとめてみると、以下の様になる。

1. 東京支店の端末が遅い。 -> ネットワークに何らかの障害があるのではないかと疑いがあり、当社の管理担当者が昨年に東京支社のネットワークを調査し、結果原因不明でとりあえず、可能性として考えられるHUBを交換した。
2. その後、東京駐在だった方に聞くと、余り問題がなかったとの事。もちろん遅い時もあったが・・・。
3. 2人の方から、業務システムがとんでもなく遅いとの話を聞いた。
4. 一方、うわさかどうかはわからないが、月末等では反応が遅いとの話を聞いていた。

上記の事から、私が予測した（勝手に判断した）のは

1. 遅い時もある -> 月末等の負荷が集中する時ではないかと勝手に判断。
2. 問題ない時もある -> 負荷がない時は、それなりのレスポンスが得られていると判断。

つまり、外部への回線の制限で、高負荷の時には遅くなる -> 外部の回線を増強するか、別回線を引くしか手が無いだろうと判断し、最悪は別回線か、担当者専用のDOCOMOのハイスピードカードで接続すれば、何とかなると思っていた。

しかし、どうもおかしいと思い、念の為、東京支店に電話して、現状を聞く事にした。つまり余りにも、遅いと言う事が抽象的過ぎて、此れでは判断出来ないと思ったからだ。最初からなぜそうしなかったのかとの疑問が生じるが、頭に上記のロジックが形成されており、勝手に東京支店のネットワークの出口回線の問題だろうと思っていた事が余りにも大きい。要は勝手に先入観が働き、具体的に調査する事を、避けていたに過ぎないのだが・・・。最も私の仕事でもなかったから、ほっておいたのだが。しかし流石に今回は、困った状況が伝わってきた為、捨てておくことは出来なかったと言う事になる。

結果は、私の期待を裏切ると言うか実にシンプルな回答が帰ってきた。

1. 業務システムは常に遅い。
2. もう一つのWebアプリケーションの方は、負荷に応じてレスポンスが変わる。

と言う事実が判明した。これでは、当初考えた、東京支社の回線の出口つまりバンド幅（回線スピード）の問題ではない。明らかに業務アプリに問題があるのではないか？と思い具体的に、業務システムのどんな時に反応が遅いかを聞いた。この内容をメモしながら、私の頭の中でいやな予感がした。実際にはあってはならないと言うか！そんなばかなと思いながらだが・・・。

ヒアリングから遅い時＝サーバーのマスターデータにアクセスしている事が、わかった。つまり、SQLサーバー（本社：大阪）から全データをクライアント側（東京）にロードして、クライアント側でサーチしているのではないかと疑ったわけだ。すぐ外注先に電話し、確認した。

結果、その外注先が私の疑問にあっさりと答えた。最初から逃げる気はなかったようだが、私から逃げるのは無理と判断したらしい。つまり、既に外注先はこの問題に気づいており、一部を改良した物を、3月９日（つまり今日）のアップデートで対応する予定だったらしい。要は私みたいな人間が口を出してくる事は想定外で、知らなければ、このまま知らない内に解決した事になったのだろう。唖然としたが、すぐ事情を、IT部門に話し、ネットワークの問題ではないが、一応東京支店のネットワークのスループットは図ってもらう様に依頼した。

この時点では、まだ現在１００％改善できるかは、わからない事から、念の為こちらの方も手を打っておこうと考えた事と、最悪私の恥にならないようにと言う事だったのだが、既に恥はかいてしまっていた。

いずれにしても、今回の反省事項は、

1. 先入観で勝手に現場を確認せずに、結論を出さない事。
   誰も「ネットワークが遅い」とは言っていないのにそう勝手に判断して、結果インターネットの接続回線のスピードの問題と考えた。
   皆が言っていたのは「業務システムが遅い」。誰も「月末に遅い」とは言っていない。-> 常に遅かった。業務システムが。
2. 抽象的なクレームに関しては、もっと具体的に聞くこと。
   抽象的な「遅い」と言う言葉の受ける印象だけでは判断できない。何がどんな時に遅いのか？を確認する事！。これが解決のヒントになる。

と言う事で、改めて反省する事しかりだが、結果はオーライではないかと思っている。東京支店は当社の他の関連会社も入っており、そのビルで一つの回線を共同使用している為、その回線スピードが逆に制限された事が、上記の現象をもたらした（発覚した）。逆を言えば四国や九州支店で専用の回線を支店だけで使っている為、このクレームはおきていない。東京が今回この現象がでた事で、この現象が出なかった場合、半年後か数年後に、確実に発覚するであろう欠陥が発見できた事は大きい。

最も、外注業者が気づいたのも、上記のクレームが発生し、この調査依頼（実際はネットワークの調査）を担当部長から、この会社にも頼んだからだが・・・。何とも間抜けな話ではあるが、私の方で何とか最後はけりをつけるつもりだ。