ビッグデータというのは、一般的なソフトやコンピュータでは扱えないぐらいの大規模なデータという概念だ。コンピュータには、エクサバイト(注)以上のデータは扱えないとするコンピュータ上のMaxの限度があり、我々の仕事はこの範囲内で行っている。だからエクサバイト以上のデータ量がビッグデータということになる。
研究の世界で課題になるのは、こうしたエクサバイト以上のデータを扱う量子力学をはじめとする巨大科学と呼ばれている分野だ。複数のコンピュータをつなぎ並列処理でやらなければならないほどのデータを解析することになる。
ただどんな場合でも、現在及び過去のデータしか入力できないという宿命がある。だから未来は過去データから予測式をたてるほかないわけであり仮説でしかない。過去のデータいかんでは予測式次第でいくらでも未来の仮説が描ける。それって予測というのだろうか。そう考えれば、コンピュータが貴方の未来を決める、ということは論理的にありえない話だ。
それに異種の大量のデータを組み合わせることによって、母集団という概念を外れて偏った解析結果をはじきだし、それに我々の生活が従わなければならないとしたら、どう考えても不愉快な話だ。多分文科系自治体はなにもわからないから、そんな非合理的で非科学的なことをやらかすかもしれない。研究者からみれば不適切なデータ配列と解析にはあまり意味がないとみているが、それを住民行政に当てはめる・・おおっ、それは、こちらとしては迷惑な話だ。
さてその自治体のダミーデータを簡単に作成してみた。6桁のコードナンバー、,氏名、生年月日、年齢、性別の基本データのみとしてて10万人分作成。そしたら容量は131KBだった。実際にはもう少しデータが加算されるが、それでも人口10万人の自治体の住民データ量だとWEBメールで簡単に送れる程度だ。国民全体なら外付けハードディスク1台に納まるんではないですか。だからその程度ではビッグデータではない。
もっと正確にやるならば戸籍謄本の記述部分をデータ化してモデルを作成してみればよい。それとてせいぜい外付けHD程度のデータ量ではないですか。
昨日のファンドマネージャーの話にあった予測(過去の投資データの推移程度のデータ量)では、とてもビックデータではないし人工知能というほどのものでもない。
どうもビックデータとか人工知能という言葉が一人歩きしているようだ。そもそもコンピュータで単独処理できる1エクサバイト以下のデータは、ビッグデータではなく普通のデータでしかない。だから店舗のポスレジ程度のデータを経年的に蓄積したところで、その程度ではビックデータにはならんでしょう。ホントにメカ音痴が多くて困ったもんだ。
コンピュータの並列処理というのは、私達の3DCGのレンダリングではよく行う方法であり、大学時代でも複数の最速マシンをつないで3DCGを制作したことがある。だからこのソフトには、大概並行処理ができるコマンドがついている。まあ、その方が一晩かかるジョブが3時間程度でできるのだから早いわけである。
注:1エクサバイト=10の18乗バイト=1,073,741,824GB、約10億GB
沖縄県渡嘉敷島知志
OLYMPUS E-M1、M,ZUIKO DG FISHEYE8mm/F1.8
