ベイズ統計の基礎概念

ベイズの公式は同時確率と条件確率の関係から導かれるものが総てである。
ここからベイズ統計の考え方が導かれるためには基本的な概念についての理解を変えなければならない。

最も大きな変革が有って戸惑うのは因果関係についての解釈である。
従来の一般的理解では因果には時間的な後先の関係があるとしている。
ベイズ統計では条件確率 P(A|B) の確率事象Aを原因とし、事象Bを結果とすることが多く、AとBの間に時間的前後関係を考慮しない。
　　　P(A|B) = P(B|A)×P(A)÷P(B)

それでも、P(A)を事前確率、P(A|B)を事後確率と呼ぶのは、前者はデータとしてのBを知る前の事象Aの確率であり、後者は結果Bを知った後で推測されるその原因についての確率だからである。
結果を知る前後で、原因の確率は変わるのが一般的だとする点で従来の考え方とは大きく異なる。

ベイズ統計学のためのもう一つの大きなステップは、事後確率を規定している確率事象Aを統計学的仮説Hとすることである。
既知のデータBがその仮説Ｈのもとで得られる逆確率P(B|A)は尤度と呼ばれる。
確率 probability と尤度 likelihood とは区別しがたい概念であったが、ベイズ統計学ではこの違いを明確にしている

それぞれの項に積分を適用し、確率を確率分布と読替えれば、確率変数が連続的な場合に一般化できる。
既知のデータの分布を比例定数項と看做して省略すれば、ベイズの公式は
　　　事後分布 ∝ 尤度×事前分布
と書き直される。

従来の統計学では母集団の概念を設け、その分布関数として正規分布などを仮定し、母平均や母分散を推定してきた。
この立場はベイズ統計学の事前分布を受け入れ難いとしていたが、実際には正規分布などの仮定にこそ無理が有ることはよく知られていたのである。

事後分布から分布のパラメータとして平均や分散などの母数θを計算するのがベイズ推定である。
ベイズ統計学はマルコフ連鎖モンテカルロ法 (MCMC法) というコンピュータ計算技法が用いられるようになってから急速に発展した。

経験的に知られる事前分布は一般に複雑な関数の形をしている。
そのような場合のためにモンテカルロ法が用いられる。
関数に比例した疑似乱数を発生させて、その点列が分布を近似しているとし、その積分の近似として点列の和が用いられる。

マルコフ連鎖法は一歩前だけを記憶して次に進める一歩をランダムに決める。
関数に近似する点列をサンプリングするために最も効率が良いとされている。