ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

世界最先端IT国家創造-内閣官房IT担当室

2013-05-25 23:07:09 | Weblog
なんか、日本政府が自ら「世界最先端」
なんていっちゃうと、ちょっとはずかしい・・・


『世界最先端IT国家創造』宣言(案)に関する
パブリックコメントの募集について
http://www.kantei.go.jp/jp/singi/it2/info/h250524-public.html


  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

ビッグデータ分析を超えた先にある、数理と経験を融合するベイズモデル(1)-2

2013-05-25 12:38:52 | AI・BigData
この前のマーケティングの講義が
興味深かったのでメモメモ。

前に書いた話のつづき。
顧客理解からかな・・・




■「顧客の理解」の「理解」とは
・理解とは、真の構造解明(真理)ではない
 仮説的役割を担う、高次情報を抽出

赤池先生いわく
・科学的知識でも
  究極の真理→内容が進化している

・なので、私たちが求める真理とは
  ・現在の知識に依存:相対的
  ・一つの近似を与えるモデル

■(コラム)赤池先生・・・
・AICの赤池先生
・火力発電所とか、いろいろ研究してたけど、
・ノーベル賞は分野的にだめだったけど、京都賞はもらったよ。
・統数研では、「グレンジャー因果性(コーザリティ)より、赤池のVARモデルだよね!」
・晩年は、ゴルフスィングの研究!?
・お別れ会で「赤池先生ナイスショット!」

■消費者を理解する
 理解→仮説を発見する
 モデル→ずっと正しいことは、ありえない
   記述能力:データを説明できる
   汎化能力:予測する能力

 通常の場合
   記述能力は、説明変数を増やせば向上する(決定係数は1に近づく)が、
   汎化能力が低下するというトレードオフにある
 
 ベイズは
   記述能力も汎化能力も上げる

■マーケティング高度化のツール
 柔軟にモデル化しようとする→膨大なパラメータ
   ここで標本数n、パラメータpとすると、
  通常の統計 n >> p
        n <  p だと、解けない

  ベイズ   n << p を解く

 最近は、nが大きくても解ける


 さいきんは・・
  マルコフ連鎖モンテカルロ法(MCMC)


 プライヤーを外から与える

■今日的課題
 結果データから、マーケティングを高度化する
  ・消費者異質性
  ・時間的異質性
  ・内生性
 →通常の手法では、モデル化、推定が困難

■推論
  演繹
  帰納
  アブダクション
 帰納推論:頑健性はない、蓋然的だが、知識が拡張できる




<<ベイズ>>

■ベイジアン

 まず、回帰を考える
   Yn=C+αXn + εn , εn=(0,σ2) (つまり、誤差は正規分布)
   Yn=平均値 + ランダムなゆらぎ
 このとき、C、αを推定するのが、統計モデル

 推定方法:通常は、最尤法→尤度関数を最大化
   →パラメーター数は、サンプル数よりかなり小さい

 統計モデルのパラダイムシフト
  ・パラメータの次元を小さくすることが美徳
   →モデルの記述力は低くなる

   ↓

  ・パラメータにも、統計モデル:外の情報を足す
   →ベイズモデル
  
 ベイジアンモデリング
   さまざまな情報を分布の形で表現
     →平均+散らばり度合い
   「平均で考える」ことから、「分布で考える」へ

■ベイズの定理

知っておくべきこと:
  条件付確率 P(A|B)
  同時分布 P(A,B)=P(A|B)P(B)=P(B|A)P(A)

ベイズの定理
θ=パラメータ Y=データ
P(θ|Y)=事後分布 P(θ)=事前分布
P(Y|θ)=データ分布(尤度関数)のとき

P(θ|Y)=P(Y|θ)・P(θ)/P(Y)
      ∝P(Y|θ)・P(θ)
      =P(Y,θ)→同時分布

■ベイズ更新
  事前情報→事前分布
            > ベイズの定理 → 事後分布
  データ →尤度






次回に続く!

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする