5月26日(金)のつぶやき

人生の岐路 goo.gl/ufP6xv

— ナカナカピエロ (@NakanakaPierrot) 2017年5月26日 - 00:01

パーティ goo.gl/0OFrD4

— ナカナカピエロ (@NakanakaPierrot) 2017年5月26日 - 00:02

Ｍ goo.gl/MSJbPE

— ナカナカピエロ (@NakanakaPierrot) 2017年5月26日 - 00:03

どしゃぶり goo.gl/BjysMb

— ナカナカピエロ (@NakanakaPierrot) 2017年5月26日 - 00:04

瞑った目 goo.gl/Enucwf

— ナカナカピエロ (@NakanakaPierrot) 2017年5月26日 - 00:06

学習データを手動で作るのは苦行だな。やはり、普段の業務を行う中で、自動的に整形されたデータが蓄積される仕組みは必須だ。

— Isao Takaesu (@bbr_bbq) 2017年5月26日 - 07:04

ご参考までに
▼Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI - Home
alexgkendall.github.io/computer_visio…
#機械学習

— 人工知能,機械学習関係ニュース研究所 (@AI_m_lab) 2017年5月26日 - 16:26

「ディープラーニングと進化」と題したJSAI2017のOSの松尾さん論文、何気なく読んだらめっちゃおもしろかった。574.pdf kaigi.org/jsai/webprogra…

— Katsue Nagakura (@kaetn) 2017年5月26日 - 00:30

5/26新刊『詳解 ディープラーニング TensorFlow・Kerasによる時系列データ処理』マイナビ出版（978-4-8399-6251-7）巣籠悠輔 著 入荷◆「人工知能」棚にて！画像認識だけでなく、時系列データを分析する… twitter.com/i/web/status/8…

— 書泉ブックタワーコンピュータ書売り場 (@shosen_bt_pc) 2017年5月26日 - 17:09

ディープラーニングにおける微分可能化と双対問題

ディープラーニングにおける微分可能化と双対問題

今日は金曜日。今日は雨で家で読書。

・「意味がわかるベイズ統計学」
　（一石賢著）（P.182/220読了）
・「一般相対性理論を一歩一歩数式で理解する」
　（石井俊全著）（P.149/671読了）
・「現代数学への招待：多様体とは何か」
　（志賀浩二著）（P.31/302読了）

今日は目が疲れて、あまり読書できなかった。近眼の老眼だから、長時間活字を追うのは疲れるよ。Amazonから予約注文していた「MLP 深層学習による自然言語処理」（坪井祐太、海野裕也、鈴木潤著）が届いた。非常にうれしい。明日から読もう。楽しみ。

ところで今日のお題は「ディープラーニングにおける微分可能化と双対問題」。この題目を選んだのはJSAI (Japanese Society for Artificial Intelligense) 2017の松尾豊教授の論文「ディープラーニングと進化」を紹介したかったから。詳しくは本論文を参照してもらって、結論から言えば、ディープラーニングの進化を生物の生存確率増大に見立てて言えば、二つの過程があり、観測した情報からどのように学習するか、そしてそのために必要な情報のロスを最小化するために、そもそもどのような情報を観測しどのような表現を用いるのかの過程があると主張している。前者が物理世界における最適化の主問題であり、後者が情報世界における最適化＝双対問題である。前者は物理世界を微分可能化していくことで勾配を求めてそれを学習にフィードバックすることができ、その学習の結果の双対問題としてロスを最小限にさせていくと解釈できる。よってディープラーニングの学習において効率の良い学習を求むるならば、それは微分可能化なモデルを採用するのが適切であるという訳なのだ。世界を認識するためには世界の微分可能化が必要なのだ。

これってまさに情報幾何におけるemアルゴリズムの考え方に酷似していないだろうか。さすればここで言っている世界とは多様体そのものではないか！という気がするが、これはＭｅの曲解のし過ぎだろうか。。。

まさに、Ｍｅの探求は連面として一つの糸で繋がっているのである！

さて、ビール飲んじゃったし、今日はもう寝るかな。