第１８回数学カフェ 確率・統計・機械学習回
今日は13:00から赤坂見附のYahoo! JapanコワーキングスペースLODGEにて、第１８回数学カフェ 確率・統計・機械学習回を聴講しに行ってきました。しかしYahoo! Japanは良い職場環境持ってるなあ。土曜だったけど、社員らしき人が出社してきて熱い会議をあちこちでやってました。その中でも今回の数学カフェの参加人数は半端なく多く、熱かった。
前半、「Qiita」で名を馳せている、まつけんさんの確率・統計のおさらい。何とPowerPoint 200ページ強。途中までで終了してしまったけど、非常に分かりやすい解説で、良い感じに進められていました。以前、”プログラマのための数学勉強会”で、内積の説明をされていたのを思い出し、やっぱりまつけんさんって有名なんだなあって、改めて講義を聞けることに感謝しました。お疲れさまでした。
後半は深層学習のフレームワークChainerを開発されている大野健太さんの発表。Chainerを開発されているだけあって生々しい話が聞けました。汎化誤差を埋めるために、ユークリッド空間に疑似距離であるKL-diverjenceを導入してみたり、勾配降下法を適用する際、局所最適解が大域最適解になりうるかという問題を確立空間の多次元超平面を考え、鞍点（saddle point）がないかどうか、さらにそこから抜け出る方法としてのアルゴリズムの紹介とか、思いきり情報幾何やんけ、という感じがした。そこでリーマン多様体まで導入して計量を入れるだとか、ベイズ統計を取り入れたMCMC手法など、議論が非常にホットな状況で、未だ結論が出ていない状態らしい。
結局、深層学習の効率的なアーキテクチャの最適なモデルは試行錯誤の範囲を得ず、中身はブラックボックスのまま。そのブラックボックスで起こっている現象を物理学のエネルギー問題として捉え、二階微分の行列の固有値解析から、現象の解明をアプローチするなど、数学というよりは物理学的なアプローチが盛んであることも知った。
まだまだ深層学習には謎が多い。そこに様々な人種が入り混じって、このブラックボックスをコントロールしようと世界中の人がやっきになっていることも知れて良かった。Ｍｅにとってはとても刺激的な内容だった。
最後は大野健太さん、MATHETAKEさん、岩沢宏和さんの三人によりパネルディスカッション。ざっくばらんに今後の深層学習の将来や方向性について議論が交わされていた。しかしまあ、皆良く勉強してるよ。若いのに感心です。最後の歳傘の岩沢さんが、おまえらかっこいいこと言いすぎだぞ！とたしなめたのも面白かった。
久しぶりに刺激的なお話が聞けて良かったです。数学カフェの運営者の方には多大なる感謝を申し上げる次第であります。
次回の数学カフェは超越数がテーマらしいです。都合がつけば参加したいです。
久しぶりに今日は良く眠れる気がします。
