機械学習だけでなく、実はクラウドもビッグデータも流行前からやってる会社が実践してるだけでは？

ここの記事

機械学習を語れるのは誰だ？―2015年のITはどこに向かう
http://enterprisezine.jp/dbonline/detail/6458

機械学習を語れるのは、機械学習をやっているベンダーだけが言える。
その点、クラウドやビッグデータと違うという論調だが、

実は、クラウドやビッグデータも、言葉が流行る以前からやっていたケースが多い。

例えば、データ解析の話で、よくKOMTRAXが事例として出るが、
コマツが>KOMTRAXの準備を始めたのは２００１年、ビッグデータが騒ぎ始める前になっている。
また、IoTの事例で、例えば竹中工務店とMSの事例が挙げられるけど、これはBEMSといえる。IoTが流行ったからIoTといっているだけで・・

実は昔からデータ解析、BI、M2M、BEMSなどをやっている会社が、
言葉を変えて、ビッグデータ、IoTといっているのであって、
ビッグデータ、IoTが流行りだしかたら、うちでもとやって、
成功しているのかどうかは、かなり疑問だ。

HKT48「森保まどか」さん他２人に、演奏と音大のピアノと、指の運動の違いを教わった

ここの記事

フジテレビ『芸能界特技王決定戦 TEPPEN』でヤラセ疑惑 / 有名音楽家が苦言「ちゃんと音楽を演奏してたのはHKT48の森保まどかさんだけ」
http://rocketnews24.com/2015/01/06/530471/


上記記事の下の部分で、(今のところ）
演奏と音大のピアノと、指の運動の違いを聞き比べられる。
なっとく・・・

商品売上予測の重回帰が失敗する可能性(i.i.dに違反)と、それを避ける手法

商品の売上予測をするのに、単純に考えれば、
いくつかの要因を組み合わせて、それを加減乗除して予測する。
つまり、重回帰分析を行って、予測する。

しかし、統計的に考えると、これは失敗しやすい。
i.i.dに違反することが多い。

i.i.dっていうのは、反復型開発でも、RBB TODAYの会社でもなく、
独立同一分布independent identical distributionのこと。

---

具体的に考えよう。
いま、自動販売機がある。
　　・コカコーラ
　　・ジョージア（コーヒー）
　　・おーいお茶
　　・そうけんび茶
→このような伊藤園とコカコーラ合同の自販機はありえませんが、
　あったと仮定します。

ここで、自販機全体の販売は、平均１日１０（μ＝１０）本、分散９（σ＝３）だったとする
ここから、標本
　　x_1＝コカコーラ
　　x_2＝ジョージア（コーヒー）
　　x_3＝おーいお茶
　　x_4＝そうけんび茶
を考える。このとき、x_1～x_4が独立であれば(i.i.d）、これは、回帰を実行して、予測できる。

でも、たぶん、独立じゃない。
X_3とX_4は、同じお茶なので、選ぶ人は、まず、
　　x_1＝炭酸飲料
　　x_2＝コーヒー
　　x_3,x_4＝お茶

そして、お茶を選んだ人は
　　x_3＝おーいお茶
　　x_4＝そうけんび茶
という、お茶に関しては２段階分類していると考えられる。

だから、x_1,x_2とx_3,x_4は、分布が違う、i.i.dに違反している。
（結果として、まるちこ（多重共線性）を生み出したりするかも
　　→回帰は失敗する）

---

商品を購入する場合、ブランドロイヤリティが高ければ、その商品しか買わないが、
多くのケースで、まず、商品カテゴリ（お茶）を選んで、その中からあった商品を買う。
いや、品切れのときもあるし・・・

このような予測、分析の場合は、ネステッド・ロジスティック・モデルを使う。
詳しくは、


階層ベイズによるワンToワンマーケティング入門
http://www.slideshare.net/naoshi5/to-18339227


の３８シート目とかを見てね。

---

で、今日いいたいのは、そこじゃなくって、
このモデルって、マルチレベル分析
でいけるんではなくって？と思った。

マルチレベルなら、

心理統計学
http://norimune.net/psychmetrics

にあるように、結構いろいろソフトも手法もあるし・・・