ここの記事
ビッグデータは統計学と矛盾する?
http://itpro.nikkeibp.co.jp/article/Watcher/20130522/478709/
ビッグデータの問題点として
(以下の四角内は、上記サイトを引用したものを加工)
・本当にビッグデータが必要なのか、目的が明確なのか
→目的さえ明確であれば、必ずしも大量のデータはいらない(統計学者)
・大量データのメンテナンスを誰がどう行うか
・データサイエンティストの育成だけでなく、現場の社員のデータ分析力も向上させるべき
→「数字に強い」現場ならば、強い企業になるに違いない
|
実は、この1番目と3番目が重要で、利益を出す、お金儲けが目的なら、
現場でデータ処理したほうがよく、その場合、ビッグデータである必要は
まったくなく、データメンテナンスが少なくて済む。
ちょっと勘違いされやすいのだが、ビッグデータ処理は、現場に役立つ知識が
出てくるとは限らない。どちらかというと、セールスプロモーションとか、
ちょっと長期なものがでる(もっと深い分析をすると、マーケティング寄りになる)
たとえば、「さよならクロール」(AKB48の新曲)を買っている人は、「AKB48総選挙公式ガイドブック2013」も買っています。とAmazonなら出てきます。ビッグデータだと、「協調フィルタリング」という手法?分野?ですね。
でも、だからといって、レコードやさんで、「さよならクロール」の横に、「AKB48総選挙公式ガイドブック2013」を置こうとしても、そもそも、公式ガイドブックは本なので、仕入れからしないといけないので、すぐに置けるものではないのです。つまり、AmazonとかECサイトだと、ビッグデータの手法は、現場で役立つのですが、リアルな店舗では、すぐに役立つとは限りません。
決定木もそうで、「○○で△△なお客さんは、■■な商品を購入する」とわかっても、○○で△△なお客さんがきたときに、■■を手に持って、店員がお客さんに、そーっと忍び寄って、「ほら!」と見せたら、そりゃーあなた、店員はストーカーっすよ(^^;)
実際に役立つのは、POSデータの売上を、現場のiPadに表示してあげるとか・・・
最近売れているのは、
「さよならクロール」のTypeA,K,Bとか、
お客さんは何時に来るとか(これはセンサーが必要)、
来るお客さんの割りに、売上が立たないとか・・・
そういうこと。これは、POSデータのほかに、お客さんに反応するセンサー、
表示するiPadのアプリとか、その程度の話になってくる。
大掛かりな解析や、ソフト開発の話がいらない割りに、リアルタイムに状況が把握でき、次の一手がすぐに打て、その結果がすぐにわかるので、効果がすぐに出やすい。
Rでも、これなら簡単にできる(というのを、次のエントリーで示す)
そして、見やすくするなら、ARで、どの商品が(ないしはどの売り場が)売れているかを一目で表示するとかのほうが、Hadoopを導入するより、現場に身近で、効果が出やすい
つまり、すぐにお金儲けをしたいのなら、
ビッグデータとかで、Hadoopなどを導入するよりも、
現場でデータ解析をして、iPad等のタブレットに表示など
(さらにはARで可視化など)
現場の営業力を強化するためにデータ解析をしたほうがいい。
どんなセールスプロモーションを打つかとか、
商品の仕入れなど、ちょっと時間を置いて考えるようなことに使う目的なら
ビッグデータで使われるデータマイニング、機械学習の手法が生きてくる
さらに、消費者を理解して、新商品開発とかになると、
もっと高度な統計モデルを作成する手法が生きてくる
目的によって使い方がかわるのだが、
多くはたぶん、「すぐにお金儲け」なんじゃないか?
だとしたら、ビッグデータじゃなくって、それは、現場でのデータ分析手法で、
力を入れる分野、ちがうぞ??