異端の統計学 ベイズ
マグレイン（著） 2011、 富永（訳）2013 草思社
The Theory That Would Not Die:
How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries Controversy.
大学を定年退職して不自由したことの一つは、慣れ親しんでいた統計などのパッケージ・ソフトのライセンスが切れ、使えなくなったことでした。
代わりに試みていたフリー・ソフトRで、どんな手法を使えるか探っていたとき、パソコンで計算練習するばかりに飽きて、この本を見かけ読んでみました。
思いがけなく面白く、勉強になりました。
スパムメールを弾き出すためにベイジアンネットワークと云う統計手法が用いられていると聞きます。
どこでどのような処理が行われているのか素人には見当も付きません。
しかし、ビッグデータの溢れている現代にベイズの方法が欠かせないことの典型だと言って良さそうです。
本書は、統計学の歴史にベイズ派と反ベイズ派の間で抗争があり、異端だったベイズ派がようやく表に出てきたと説いています。
既に時代は変わって、今や特にベイズ派と呼ぶべき学派は無いのではないかと素人目に思わないでもありません。
それにしても、ベイズの方法がどのように用いられ、隠され、叩かれてきたのか。
驚きながら歴史を辿ると漠然と疑問に感じていたことが明白になり、繋がりのなかったことが繋がってきました。
われわれが数学の授業で教わったベイズの定理は確率計算の公式に過ぎませんでした。
確率の基本的特性を表しているから、公理と言っても良いということを聞いたこともありましたが、同時に公理ならもっと簡単でなければいけないという否定がありました。
それは既に抗争を反映してのことだったかも知れません。
授業でベイズの定理について説明しようとして、事前確率と事後確率の概念に触れたら、確率に事前も事後もないと遮った学生がありました。
彼はベイズ批判の話を聞きかじっていたのでしょう。
われわれが初めて統計学を学んだのは、いわゆる少数例のためのデータ解析でした。
大学の教養課程に初級実験演習があり、平均値の差の検定とか分散分析とかフィッシャー由来の統計処理法を教わりました。
以来、統計法といえばフィッシャー様々でした。
どこかに無限にサイズの大きい母集団があると仮定され、実験で得た手元のデータはその母集団からランダムに抽出された標本だと見做し、標本の平均から母集団の平均が推測できると考えるのでした。
現実には、そのような母集団は存在し得ないと分かっていても、仮説の検定や統計量の妥当性や信頼性を保証するために避けることが出来ませんでした。
社会調査をすれば欠損値が必ずあり、いつも標本抽出はランダムでないことは自明です。
それでもなお、フィッシャーの統計的帰謬法の論理が流用されてきました。
フィッシャーは尊大で排他的攻撃的な人だったそうです。
フィッシャーの統計学はベイズの統計学を反面教師として攻撃することで成立したように言う人も有るようです。
ベイズは事前確率を主観的なものだと言い、実際のデータによって確率の値を更新していきます。
フィッシャーが批判する第一のポイントは、主観が出発点になっていることにあるようです。
心理学の初級実験に主観確率というテーマがありました。トランプの赤と黒のカードの比率をいろいろ変えたセットを用意し、被験者にその比率を当てさせます。最初は半々だろうと憶測したりするが、当たり外れを数回確認させると、推測が実際の比率に収束していく、というのが実験の仮説でした。
結果は、少数の試行では注文通りの検証にならなかったように憶えています。
その主観確率はベイズの言う主観確率と無関係だと思っていましたが、実験を計画した人はそうでなかったようです。
それはさておき、ベイズの統計法を抑え込んだのはフィッシャーの強大な影響力ではなく、チューリングたちがドイツの暗号解読に成功したことを隠したかったイギリスの政府と軍の戦略であり、水爆を搭載して行方不明になった爆撃機B-52や深海に沈没した原子力潜水艦の探索や大陸間弾道ミサイルの信頼性評価などに用いられたベイズの方法を隠させた冷戦であり、アメリカ大統領選挙予測の精度を明かしたくなかった商業主義でした。
ベイズの定理は現象から原因を推測する鍵となります。
起こりえない事故は、頻度主義客観主義では確率を０とし、統計の対象になり得ませんが、ベイズの方法はそうした希現象にも確率を与えます。
これも知りませんでしたが、スリーマイル島の原発事故も予見していたそうです。
チャレンジャーは25回目の打ち上げで爆発し乗員全員が死亡したとき、NASAはブースターが故障する確率を10万分の1としていたそうですが、業者は35分の1と見積もっていたそうです。
広く様々なテーマについてベイズ統計が実用化し始めたのは、紙と鉛筆でなく、計算機で膨大な計算ができるようになったことも無視できません。
単純な計算を行う神経細胞が沢山集積してできた脳というネットワークの働きを研究するためにベイズの方法が応用されるようになってきたというのも面白いことです。
脳を真似て計算機を作ったと言われるが、実用になった計算機は脳との違いを明らかにするものでした。
そして今度は、脳の働きを調べているこの方法が脳の働きと同型だと理解する向きもあるようです。
研究が進むにつれ限りなく脳の働きの実際に近づくことでしょう。
これこそベイズの過程そのものではないでしょうか。
マグレイン（著） 2011、 富永（訳）2013 草思社
The Theory That Would Not Die:
How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries Controversy.
大学を定年退職して不自由したことの一つは、慣れ親しんでいた統計などのパッケージ・ソフトのライセンスが切れ、使えなくなったことでした。
代わりに試みていたフリー・ソフトRで、どんな手法を使えるか探っていたとき、パソコンで計算練習するばかりに飽きて、この本を見かけ読んでみました。
思いがけなく面白く、勉強になりました。
スパムメールを弾き出すためにベイジアンネットワークと云う統計手法が用いられていると聞きます。
どこでどのような処理が行われているのか素人には見当も付きません。
しかし、ビッグデータの溢れている現代にベイズの方法が欠かせないことの典型だと言って良さそうです。
本書は、統計学の歴史にベイズ派と反ベイズ派の間で抗争があり、異端だったベイズ派がようやく表に出てきたと説いています。
既に時代は変わって、今や特にベイズ派と呼ぶべき学派は無いのではないかと素人目に思わないでもありません。
それにしても、ベイズの方法がどのように用いられ、隠され、叩かれてきたのか。
驚きながら歴史を辿ると漠然と疑問に感じていたことが明白になり、繋がりのなかったことが繋がってきました。
われわれが数学の授業で教わったベイズの定理は確率計算の公式に過ぎませんでした。
確率の基本的特性を表しているから、公理と言っても良いということを聞いたこともありましたが、同時に公理ならもっと簡単でなければいけないという否定がありました。
それは既に抗争を反映してのことだったかも知れません。
授業でベイズの定理について説明しようとして、事前確率と事後確率の概念に触れたら、確率に事前も事後もないと遮った学生がありました。
彼はベイズ批判の話を聞きかじっていたのでしょう。
われわれが初めて統計学を学んだのは、いわゆる少数例のためのデータ解析でした。
大学の教養課程に初級実験演習があり、平均値の差の検定とか分散分析とかフィッシャー由来の統計処理法を教わりました。
以来、統計法といえばフィッシャー様々でした。
どこかに無限にサイズの大きい母集団があると仮定され、実験で得た手元のデータはその母集団からランダムに抽出された標本だと見做し、標本の平均から母集団の平均が推測できると考えるのでした。
現実には、そのような母集団は存在し得ないと分かっていても、仮説の検定や統計量の妥当性や信頼性を保証するために避けることが出来ませんでした。
社会調査をすれば欠損値が必ずあり、いつも標本抽出はランダムでないことは自明です。
それでもなお、フィッシャーの統計的帰謬法の論理が流用されてきました。
フィッシャーは尊大で排他的攻撃的な人だったそうです。
フィッシャーの統計学はベイズの統計学を反面教師として攻撃することで成立したように言う人も有るようです。
ベイズは事前確率を主観的なものだと言い、実際のデータによって確率の値を更新していきます。
フィッシャーが批判する第一のポイントは、主観が出発点になっていることにあるようです。
心理学の初級実験に主観確率というテーマがありました。トランプの赤と黒のカードの比率をいろいろ変えたセットを用意し、被験者にその比率を当てさせます。最初は半々だろうと憶測したりするが、当たり外れを数回確認させると、推測が実際の比率に収束していく、というのが実験の仮説でした。
結果は、少数の試行では注文通りの検証にならなかったように憶えています。
その主観確率はベイズの言う主観確率と無関係だと思っていましたが、実験を計画した人はそうでなかったようです。
それはさておき、ベイズの統計法を抑え込んだのはフィッシャーの強大な影響力ではなく、チューリングたちがドイツの暗号解読に成功したことを隠したかったイギリスの政府と軍の戦略であり、水爆を搭載して行方不明になった爆撃機B-52や深海に沈没した原子力潜水艦の探索や大陸間弾道ミサイルの信頼性評価などに用いられたベイズの方法を隠させた冷戦であり、アメリカ大統領選挙予測の精度を明かしたくなかった商業主義でした。
ベイズの定理は現象から原因を推測する鍵となります。
起こりえない事故は、頻度主義客観主義では確率を０とし、統計の対象になり得ませんが、ベイズの方法はそうした希現象にも確率を与えます。
これも知りませんでしたが、スリーマイル島の原発事故も予見していたそうです。
チャレンジャーは25回目の打ち上げで爆発し乗員全員が死亡したとき、NASAはブースターが故障する確率を10万分の1としていたそうですが、業者は35分の1と見積もっていたそうです。
広く様々なテーマについてベイズ統計が実用化し始めたのは、紙と鉛筆でなく、計算機で膨大な計算ができるようになったことも無視できません。
単純な計算を行う神経細胞が沢山集積してできた脳というネットワークの働きを研究するためにベイズの方法が応用されるようになってきたというのも面白いことです。
脳を真似て計算機を作ったと言われるが、実用になった計算機は脳との違いを明らかにするものでした。
そして今度は、脳の働きを調べているこの方法が脳の働きと同型だと理解する向きもあるようです。
研究が進むにつれ限りなく脳の働きの実際に近づくことでしょう。
これこそベイズの過程そのものではないでしょうか。
