商品売上予測の重回帰が失敗する可能性(i.i.dに違反)と、それを避ける手法

商品の売上予測をするのに、単純に考えれば、
いくつかの要因を組み合わせて、それを加減乗除して予測する。
つまり、重回帰分析を行って、予測する。

しかし、統計的に考えると、これは失敗しやすい。
i.i.dに違反することが多い。

i.i.dっていうのは、反復型開発でも、RBB TODAYの会社でもなく、
独立同一分布independent identical distributionのこと。

---

具体的に考えよう。
いま、自動販売機がある。
　　・コカコーラ
　　・ジョージア（コーヒー）
　　・おーいお茶
　　・そうけんび茶
→このような伊藤園とコカコーラ合同の自販機はありえませんが、
　あったと仮定します。

ここで、自販機全体の販売は、平均１日１０（μ＝１０）本、分散９（σ＝３）だったとする
ここから、標本
　　x_1＝コカコーラ
　　x_2＝ジョージア（コーヒー）
　　x_3＝おーいお茶
　　x_4＝そうけんび茶
を考える。このとき、x_1～x_4が独立であれば(i.i.d）、これは、回帰を実行して、予測できる。

でも、たぶん、独立じゃない。
X_3とX_4は、同じお茶なので、選ぶ人は、まず、
　　x_1＝炭酸飲料
　　x_2＝コーヒー
　　x_3,x_4＝お茶

そして、お茶を選んだ人は
　　x_3＝おーいお茶
　　x_4＝そうけんび茶
という、お茶に関しては２段階分類していると考えられる。

だから、x_1,x_2とx_3,x_4は、分布が違う、i.i.dに違反している。
（結果として、まるちこ（多重共線性）を生み出したりするかも
　　→回帰は失敗する）

---

商品を購入する場合、ブランドロイヤリティが高ければ、その商品しか買わないが、
多くのケースで、まず、商品カテゴリ（お茶）を選んで、その中からあった商品を買う。
いや、品切れのときもあるし・・・

このような予測、分析の場合は、ネステッド・ロジスティック・モデルを使う。
詳しくは、


階層ベイズによるワンToワンマーケティング入門
http://www.slideshare.net/naoshi5/to-18339227


の３８シート目とかを見てね。

---

で、今日いいたいのは、そこじゃなくって、
このモデルって、マルチレベル分析
でいけるんではなくって？と思った。

マルチレベルなら、

心理統計学
http://norimune.net/psychmetrics

にあるように、結構いろいろソフトも手法もあるし・・・

たった１％の可能性しかありません。あなたはどうしますか？

NHKスペシャルのNEXT　World
http://www.nhk.or.jp/nextworld/
の第一回で、全てが予測できる社会みたいなことをやっていて、
そこで、人間の意味は？みたいな、

・・・おいおいおい・・・

みたいなことを言っていたので、ちょっと書いてみる。

---

■予測は、確率を表すだけである。それを聞いて行動するのは人間

　まず、はっきりさせておきたいのは、

　　　予測とは、ある誤差範囲を持った、確率的に表現された情報

　だということ。その確率を聞いた上で、判断するのは、人間である。
　たとえば、表題の件

　　たった１％の可能性しかありません。あなたはどうしますか？

　これが、
「雨の降る確率はたった１％の可能性しかありません。あなたはどうしますか？」
といったら、普通の人は、かさを持たない。

　でも、
「手術をして、助かる可能性はたった１％の可能性しかありません。あなたはどうしますか？」
といったら、手術する人がいても、不思議ではない。

あ、これはアンフェアか。手術しなければかならず助からない（０％）というニュアンスがあるもんね。０％より、１％のほうがいい・・・

じゃ、こういうのはどう？
「宝くじで１００万円当たる可能性はたった１％の可能性しかありません。あなたはどうしますか？」
たからくじなんて、買わないほうが儲かるのに決まってるけど、
高額当選の可能性なんて１％もないけど、
それでも買うよねえ～

　つまり、確率だけで、人間は動かないのだ。
　だから、本当に１００％の完璧に予測が出来るのでなければ、極少でも
　違う答えが出るのであれば、人は、予測に反して賭けることはあるのだ。

　では、本当に１００％の予測が出来ると「いえる」のか？
　もし、１００％の予測ができるのであれば、上記のように予測に反することは無意味になる。

　では、１００％の予測が出来るといえないことを証明しよう。

【証明】

　１００％予測するために、すべての物事を１００％完璧にシミュレーションする機械Aがあったとする。
　そして、その機械を監視し、もし、機械Aが１００％完璧にシミュレーションしていたらYESを、シミュレーションしていなかったらNOを出す機械Hもあるとする。

　Aは、「すべての物事を」完璧にシミュレーションするのであるから、
　機械Hの動作も１００％シミュレーションできることになる。

　このとき、Aは停止しなければ、HはYESかNOかいえない。とまらなければ検証できないから。
　でも、Hは、Aを完璧にシミュレートしているのだから、AがとまればHもとまる。から検証できない。

　簡単に言ってしまおう。「１００％シミュレーションできました」というのは、この世が終わったあとに検証しないと言い切れないが、じゃあ、その検証を誰がするの？この世は終わっているのに・・・

---

■予測は所詮平均値である。平均を外れたところに、新規ビジネスは発生する

　予測は、基本的に確率統計で行う。
　これは過去の値を使い、それが誤差を含んでいることを考慮して、
　平均的な答えを出してくる。

　だから外れないけど、外れないってことは、レッドオーシャン、過当競争の中にある。

　本当に儲かるのは、外れたブルーオーシャンにある。

　さっきの例でも、１％に賭けた人間が成功を手に入れる。

　平均にかけても、かならずしも人生は成功しないのだ・・・

　たしか、鉄腕アトムが、アメリカで売り出すとき、マーケティング的には、変えるべきとなっていたのを、それじゃ、アトムでなくなるというので、代えなかった部分があるとかないとか・・
NHKスペシャル「日本とアメリカ 第２回 日本アニメvsハリウッド」
で見た気がする。

　芸術の場合、かりにそれが当たらないと分かっていていても、
　自分の思い・志から、それを通すことがある。

---

■因果が分からないと（相関では）人は動けない

　予測では因果ははっきりしない。相関しかわからない（番組中、よくわからないけど、こうなるというような説明が連発していたと思う。あれ）。
　そもそも実社会は、複雑な因果関係となる。そうなると、わけわからなくなる。
　だが、人間が追いきれないロジックで、相関関係が出てくることがある。
　このような、「因果は不明だが相関はある」というものも、予測は扱う。

　しかし、そのような予測は、根拠が分からないので、従いにくい。
　また、因果は教えてもらえないので、その結果を元に応用するのには制限がある。

　具体的には、SVMのカーネルトリック、ニューラルネットなどは、結果は分かるけど、説明できない。このようなものは、説明できない為、「結果を信じろ」というしかない。

　しかし、では、因果関係が分かれば、すべてうまくいくかというと、因果の組み合わせで現実社会は成立するので、全て因果を考えていると、組み合わせ爆発で予測できなくなる。

　結局、相関による確率的な部分は、必要なんだけど、
　どこまで因果を追っていけるようにするかが、問題となる。

---

■人間は、見たい数字しか見ない

　人間は見たい数字しか見ない。
　出てきた予測値は同じでも、そこには見る人のバイアスがかかる。

　だから、違う人が、同じ事象を見て、予測しても、同じ結果になるとは限らない。

　あることをいろんな人がググったとき、入れるキーワードが違って、
結果、希望の答えが見つかる人と、見つからない人がいるのと同じ話。

---

■予測値で人生を決める・・・というのは、すでにやっている。

まるで、
　　現在は統計予測に頼らないで生きているけど、
　　２０４５年になったら、統計予測で人生を決めている
ように見える番組だったけど、いやいやいや、今だって、かなり多くの人が、統計予測値で人生を決めている。


大学の偏差値がそれだ。

あれって、確率的にしか出てこないんだけど、あの偏差値で、大学進学先を
決めている（人生決めている）

上記に書いたように、
・小さい確率でも受験する人はいるし、
・予測では落ちるとなっていても、志から受験する大学もあるし
・一生懸命勉強すると偏差値上がると思ってるし（因果に引きずられてる）
・偏差値は、見たいようにしか見ていない
という様相を呈している。

あの大学偏差値が、２０４５年、いろんなところに影響するようになった・・・
・・・というだけなんだけどね。

いや、安倍さんは、ヒトラー以上のものになる予感

昨年末の紅白で、サザンの桑田さんが、ヒトラーのまね？をして、その後、ピースとハイライトを歌い、安倍首相→ヒトラーを連想させる批判をした。

たしかに、安倍首相とヒトラーは似ている点があるのだが、経済政策的に見ると、ヒトラーのナチスドイツ以上になる可能性がある。
今日は、そのことに触れてみたいと思う。

---

■ナチスドイツの経済政策－前半と後半

ナチスドイツの経済政策は、２つに分けて考える必要があるだろう。

１つは前半、１９３４年－１９３７年までのシャハトによる
　大恐慌からの劇的なドイツ復興

その後後半は、経済の素人ゲーリングによる軍国主義経済・・・
　・・・ドイツ崩壊。

まず、ヒャルマル・シャハトの功績は、

　シャハトは、まず、ライヒスバンク通貨委員のときに、ドイツのインフレをレンテンマルクに切り替えることによって、マルクの信用を戻した。

　その後、ライヒスバンク総裁とアドルフ・ヒトラー内閣の経済相になり、そのときの活躍は、


ヒトラーの経済政策は本当に効果的だったのか
http://matome.naver.jp/odai/2133303272094682901

によると（以下太字は、上記サイトからの引用）
『ヒトラーの経済政策』からの孫引きだけど


ヒトラーが政権を取るのは出口なしの大不況にあえぐ最中の1932年のこと。ナチスは、莫大な失業者をほんの3年ほどで恐慌以前の160万人にまで減らし、経済をみごとに回復させた。その経済政策はひとことでいえば、〈資本主義と社会主義両方の長所を生かしつつ、欠点を修正する〉というもの。アウトバーン建設は、中高年を優先的に雇用する、大規模店の出店を制限して中小店を守る、中小企業への融資制度を整える、価格統制により物価を安定させる、農家を保護する、結婚を促進し少子化を予防するなどなど、国民と経済を保護することに関しては、およそ考えつくかぎりの手段を講じたのであった。


とある。

まとめると
＜＜資本主義と社会主義の融合＞＞
・アウトバーン建設
・高齢者雇用
・中小企業保護
・物価安定
・農業
・少子化対策
ということで、特に、中小企業や雇用政策に対して、社会主義的な手を打っている。

　雇用を（社会主義的に）支えるには、「努力すれば報われる」ような仕事で雇用を生み、経済を活性化させなければいけない。そこで出てきたのがアウトバーンである。

この政策が実は、アベノミクスと一致する。

---

■アベノミクスとシャハトの経済

・高齢者雇用
　これは増えている。理由は

65歳以上の就業者が激増中！アベノミクス100万人雇用拡大の実情（後藤百合子　経営者）
http://sharescafe.net/41983368-20141119.html
を読むと分かる。

・中小企業保護
現在失敗しているが

アベノミクスの失敗で中小企業を中心にリストラと倒産が続出する恐れ
http://news.livedoor.com/article/detail/9636603/

実は、アベノミクス、中小企業への対策はしようとしていて、
助成金は、いっぱいなのだ・・

その設備投資ちょっとまった。アベノミクスの中小企業施策は助成金が盛りだくさん。
http://www.busipla.net/expert_column/sikinguri/entry_59.html

政府としては

投資の促進 ～日本を支える中小企業・小規模事業者の底力～
http://www.kantei.go.jp/jp/headline/seichosenryaku/sokojikara.html
という政策を打っている

・物価安定
　インフレターゲット

・農業
　農協改革

・少子化対策
　しているとは思えない・・・でしょ・・・
　さっきの、シャハトのところ、よ～く見てね！

　　　結婚を促進し少子化を予防

　これは、しているのよ・・・

「アベノミクスでベビノミクス」は巻き起こるのか
http://bylines.news.yahoo.co.jp/takedasatetsu/20131215-00030674/


・・・街コンってやつですか・・・いや、全く政策はずれているんだけどね（＾＾；）いちおう、女性が輝く日本！って、がんばってる



　シャハトは、中央銀行総裁と経済相という両面をやっていて、独立性は？と思うけど、そーいえば、日本も、（元財務官の　＾＾；）黒田さんの黒田バズーガ第二段は、政策より？え、偶然なの？って感じだし・・・


そして、極めつけ、アウトバーンに対応するのは、
（桑田さんもそれを意識して選曲した（東京Victory)のかもしれないけど）

　東京オリンピック！

---

■アベノミクスの果てにあるのは・・・

　どうして一致するのか？
　これは簡単な理由で、ある経済手法の一つだから。


「財政の魔術師」ヒャルマル・シャハトについて
http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1323804073

にあるように、これは民間部門が活性化しないときに、まず、公共投資を行い、雇用を確保していくというニューディール政策などと同じ手法。

アベノミクスの成長戦略３本の矢は、第二の矢機動的な財政出動を行っているので、丁度政策が一致している。ここで、民間が成長しないと、この公共事業政策を意地でも続けていかないと、維持できない。

---

■ヒトラーの限界

でも、公共事業だけで、景気を良くしようというのは、さっきの「財政の魔術師」ヒャルマル・シャハトについてにあるように、無理があります。

ということで、ナチスは、領土拡大により占領地から奪い取るという政策を、ゲーリングを経済相に変えて行い、第二次世界大戦となり、失敗して行ったのでした・・・

　軍拡にはお金が必要です。でも、お金を使ってもそのお金は、かえってきません。経済は、お金をぐるぐる回すことが必要です。領土が奪えない場合、戦争にお金を使うことは無駄です。国土は潤うどころか、戦争により荒廃します。

　ヒトラーの限界は、ここにあったわけです。

---

■ナチスの政策を上回ったアベノミクス

そこで・・・・なのです。

この問題は何か？

自国で戦争をするから、問題なのです！

他国が戦争する→他国に武器を売る→お金は入ってくる→経済はぐるぐる回る！！

武器を売り、自国で戦争をしなければ？？

安倍政権は、

政治国政 武器輸出、禁止から管理へ　政府、新原則原案で方針転換
http://www.asahi.com/articles/TKY201312050329.html

とか、考えてるし（管理っていうけど、撤廃に近い）さらに


武器購入国に資金援助　途上国向け制度検討
http://www.tokyo-np.co.jp/article/economics/news/CK2015010102000127.html

とのこと。

日本は「戦争できる国」ではまだないけど、「戦争ビジネスできる国」になりつつあるんですねえ～

自国では戦争しないけど、他国に戦争させて儲ける？
政府は経済活性に、その辺、狙ってるのかもしれません。

ということで、（良いか悪いかは別）今後、景気が上手くいかないと、
軍事産業に傾く可能性は、日本はあると思いますね・・・知らぬ間に・・

自国は戦争しない、お金は入ってくるってところがミソ！
これで、たしかにナチスドイツのような問題は解決・・・
・・・してるのかなあ？？

---

■でも。。。。

東京オリンピックは、アウトバーンとちがって、そんなに
雇用を生むんだろうか？

東京オリンピックを行うには、通信のアウトバーンともいえる、
５Gによる有線・無線ネットワークを構築しないといけない。
それが、「情報の」アウトバーンといえるのだけど、
（うん、ここで、通信の話がでてくるので、このブログにかいているのだな・・）
その辺の話はないようだ・・・

そうなってくると、努力をすれば成果につながる大きな雇用を
生み出すドライバーがない・・・これで上手くいくの？

東芝Ｔポイント広告問題？

って何？

【炎上】新年早々、東芝のTVでTポイント広告が消えない！
http://togetter.com/li/764720

もとはといえば・・

東芝の英断でいよいよテレビ視聴もTポイント連動の時代へ
http://bylines.news.yahoo.co.jp/yamamotoichiro/20140703-00037051/

ということ？

iBeaconを使って、権限のある人しか入室できない＆入退室管理システム

あけましておめでとうございます。
今年も、このブログを、よろしくです。

さっき、夢で見たのを、どうやって作るか気になった
（というか、作り方を思いついたので、忘れないうちに）
メモメモ。

【仕様】

iBeaconを使って、建物の入退室管理をしたい
　　・入室する権限のある人に対してしか、ドアは開かない
　　・入退室のログは自動的に
　　・iBeaconが使えるスマホは、全員持っている
　　　→持ってない場合、貸し出される。建物の外に出るとき返す
　　　　返さないと大きい音が鳴り続ける

【システム概要】

・ドアの近くにiBeaconがおかれている
　（iBeaconは固有のID情報をスマホに送る）

・ドアには、らずぱいやエジソンが取り付けられていて、
　これとドアがつながっていて、ドアの開閉を制御できる
　また、LAN（有線、または無線）とつながっていて、
　それぞれ、IPアドレスを持っていて、
　HTTPサーバーが立ち、以下のサービスが立ち上がっている
　　http://ドアのIPアドレス/doorOpen.php
　　　→ドアがOpenしていなかったら、Openし、一定時間後閉まる
　
・スマホはiBeaconと結びついたアプリがインストールされている
　このアプリは、iBeaconのアドバタイズパケットを受け取ると、
　どこかにあるサーバーの、後述する「認証サービス」を起動する
　（サーバーのIPアドレスは、あらかじめ、そのアプリは知っている）

・サーバーは、どこかにあって、以下の認証サービスを提供している
　　http://サーバーのIPアドレス/ninsho.php?BID=iBeaconのID&ID=スマホのID

　※処理内容
　　　１．スマホのIDとiBeaconのIDから、その人がその部屋に
　　　　　入室してよいか、チェックする
　　　２．OKであれば、IBeaconIDから、対応するドアのIPアドレスを割り出し
　　　　　http://ドアのIPアドレス/doorOpen.php
　　　　　を実行する→ドアは開く
　　　３．OKのときは、入退室管理のDBに、入室したことを書き込む


　　　＜＜　全体図＞＞

　　　●開閉器
-----ドア――------
　　　　　　　　　　　（どこかに　■サーバー）
▲iBeacon

　　　　　■スマホ持っている人　　



【手順】

１．スマホを持っている人が、ドアに近づくと
２．iBeaconのアドバタイズメントパケットを拾って
３．アプリが、サーバーの認証サービスを起動。認証OKなら
　　３－１．入室を入退室DBに書き込み、
　　３－２．http://ドアのIPアドレス/doorOpen.phpを実行
４．ドアのHTTPサーバーはそれを受信、ドアが閉まっていたら
　　Openし、一定時間後閉める


【その他】
・サーバーをおかなくても、ドアのHTTPサーバで
　認証をさせることも、できなくはない。
　・・どっちがいいだろう・・・