ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

ビッグデータ(データ量が大きい)より、データの深さのほうが重要だと思う

2012-02-27 12:28:44 | Weblog
 ビッグデータということで、大量データがもてはやされているが、これには、2つの問題がある。

  1つは、集めたデータが過去のデータの場合(過去の販売データなど)、
    過去と現在が同一であれば良いが、日々変わっている場合、
    分析結果も過去のモノとなってしまうこと。

  もう1つは、ビッグデータは統計的に処理する(回帰予測とか)
    統計は、平均値等、データの中心は出しやすいが、
    先導的なエッジな人の嗜好などは、出しにくい
    中心にモノを売る大量販売には向いているが、
    個性的な人にたくさん買ってもらうには、向いていない。


 前者の場合、過去データをただ分析するだけではだめで、「なぜその商品を買ったか」、「その考え方は、現在も有効か?」と、奥深くまで探求しないといけない。
 これは、(因子分析もある程度可能だけど)主にベイジアンネットワークをつかった、因果関係の解析になってくる。
 それには、クラウドのような多量なデータを保存することより、スーパーコンピューターのような処理の高速化が求められる。

 後者の場合は、統計ではだめで、DEA(包絡分析法)とかを使うことになる(ORの分野かな)

 となってくると、単にデータをたくさん集めました、分析しましょうではだめで、
 データを奥深くまで探っていく必要がある。

 ビッグデータ(データ量が大きい)より、データの深さのほうが重要だと思う

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする