８月２６日、
第１１回 全脳アーキテクチャ勉強会～Deep Learningの中身に迫る～
オーガナイザー 栗原聡
https://wba-meetup.doorkeeper.jp/events/30016
に行ってきたんだけど、よくわかんなかった＆最後は英語だし・・・
ということで、一応メモメモ
■ごあいさつ
・全脳アーキテクチャイニシアティブについて
→賛助会員募集中
・今回の勉強会、キャンセル待ちが３０４人
・（株）ネクストリーマー（賛助会員の一社）の紹介
ＡＩ－ＳＡＭＵＲＡＩ
人”高知”脳ー高知ＡＩラボ
ピクレトリーＡＩキツツキ
インターン、エンジニア募集
・懇親会はあとで
■紹介
・Ｄｅｅｐ Ｌｅａｒｎｉｎｇ
かふぇとかちぇいだとか
何が起きているのかにスポット
■深層学習の学習過程における相転移
・自己紹介
統計力学、量子コンピューター
スパースモデリングに参加
カンニング大関
・プレトレーニングとファインチューニングの解析
→ＨＰのアーカイブから読める
・今日は深層学習と統計力学の話
・統計力学の話
原子と分子、そして物質
データを原子と分子になぞれば？ビッグデータへ
Ｈ２Ｏ→温度によって姿かたち違う→相転移
いっぱい集まっている：温度というワンパラメータで制御
・磁石の構成要素 磁気モーメント
温度を上げる→強さがなくなる
・たくさん粒粒集まっている→統計力学つかうと予言できる
・ミクロとマクロを結ぶ処方箋：統計力学
調和振動し：ばね：ハミルトニアン→古典力学
磁性：イジングモデル
確率分布にしたがっている：ギブスーボルツマン
分配関数を計算するために命張ってる
→きかくかていすう
ちらばっている、まとまっている→エントロピー：変数変換
自由度たくさん 熱力学極限
最大値を持っている所を扱う
もっももっともらしい状態→最ゆう
あんてん評価
自由エネルギー
＊：最大になるようにする
熱力学の変分原理
・ｍ＝０自由エネルギーの最小値で予言できる
・温度上げる：急に変化する
温度下げる：急に下げる→でも違う場所で起こる
→履歴現象（ヒステリシス）一次相転移
→スパイン構造
→微分で０：最小値の候補
・統計力学と機械学習
ボルツマン機械学習→相関→カンニング（＾＾；）
→さいゆうほう
さいゆうほう：分配関数の計算
平均場近似：独立と考える
信念伝搬法
マルコフ連鎖モンテカルロ法
コントラスティブ・ダイバージェンス
データをもとに
擬似さいゆうほう
ディープラーニング
・それいぜん
誤差逆伝搬の失敗
・ディープラーニング
１つ１つきりわけて、がぞうぶっこむ（教師なし）→ぷれとれーにんぐ
そのあとファインチューニング
・データ利用して学習
教師なしたくさん、そのあと教師ありちょこっと
敷居を再現してほしい
Ｗ（さかいめ）を推定
ＸとＹがあたえられて推定→ベイズ
・教師なし学習ふやす：ポテンシャル
プレトレーニングとファインチューニング：
・マルコフ連鎖モンテカルロ法がはやくなる！
コントラスティブ・ダイバージェンス法
詳細つり合いを破る→さらにいい方法が
・Ｑ＆Ａ：教師なしをやってＦｉｎｅチューニング
逆でも・・別に大丈夫
■Deep Neural Networksの力学的解析
・自己紹介
・イントロダクション
５０層にすると、しべりあんはすきーと別の犬を区別できる
・研究の目的
なぜＤＮＮは、そんな能力を持っているのか
→ＤＮＮのダイナミクス
・ＤＮＮのダイナミクス
空間
時間発展：層が進んでいく
→ヤコビアンを定義できる
・ヤコビアンの固有値固有ベクトル
→特異点
・多様体仮説
カテゴリの情報は最初から低次元多様体上に表現されている
固有値固有ベクトル→どういう情報が残るかわかる
・先行研究
・ＤＢＮ：
手法：学習モデル （手がき）
結果：特異点分布（プレトレーニング）
特異値（Fine-tune)
・Alexnet:imagenet detaset
ハイパフォーマンスＤＮＮしすてむ
・特異値分布→パラメータ
■リクルート チャレンジのご案内
・リクルート人工知能研究所
→なにやってるの？ＡＩ，IoTデータパートナー，大学
かぐる：データサイエンティストコミュニティプラットフォームKaggle
■DeepLearning4j（英語）
・DeepLearningという本（日本語１１月？）
ＤＬ４Ｊが解決する問題とは
すべてのニューラルネット
分散型
ハードウェア抽象レイヤNd4j
ETL
統合するの容易
ＤＭＬで
Java/Scala
ハードウェアあく世良レーション
Open CL
Cuda
MKL
Normal java(for probability)
分散：トレーニングはパラレル？
データパイプライン
コマンドラインのＵＩ
Deep Learning in bash！
ワンパッケージで
最適なマシンラーニングを行うために統合されたエコシステム
一度コーディングすると、最適化を続ける
https://deeplearning4j.org
https://github.com/deeplearning4j
@agibsonccc
■デモ（英語）
・・・ごめんよくわからん・・・？？
■対談
汎用人工知能
→人間の脳から学ぶ
機械学習と組み合わせる ＣＮＮ＋ＲＮＮ
別々のドメインで学ばす
言葉とイメージ
ＬＳＴＭ
時間的な扱いによるＲＮＮ
ＮＤ４Ｊ
Ｗｏｒｌｄ ＡＧＩ Ｄｅｖｅｌｏｐｅｒｓ Ｍａｐ
第１１回 全脳アーキテクチャ勉強会～Deep Learningの中身に迫る～
オーガナイザー 栗原聡
https://wba-meetup.doorkeeper.jp/events/30016
に行ってきたんだけど、よくわかんなかった＆最後は英語だし・・・
ということで、一応メモメモ
■ごあいさつ
・全脳アーキテクチャイニシアティブについて
→賛助会員募集中
・今回の勉強会、キャンセル待ちが３０４人
・（株）ネクストリーマー（賛助会員の一社）の紹介
ＡＩ－ＳＡＭＵＲＡＩ
人”高知”脳ー高知ＡＩラボ
ピクレトリーＡＩキツツキ
インターン、エンジニア募集
・懇親会はあとで
■紹介
・Ｄｅｅｐ Ｌｅａｒｎｉｎｇ
かふぇとかちぇいだとか
何が起きているのかにスポット
■深層学習の学習過程における相転移
・自己紹介
統計力学、量子コンピューター
スパースモデリングに参加
カンニング大関
・プレトレーニングとファインチューニングの解析
→ＨＰのアーカイブから読める
・今日は深層学習と統計力学の話
・統計力学の話
原子と分子、そして物質
データを原子と分子になぞれば？ビッグデータへ
Ｈ２Ｏ→温度によって姿かたち違う→相転移
いっぱい集まっている：温度というワンパラメータで制御
・磁石の構成要素 磁気モーメント
温度を上げる→強さがなくなる
・たくさん粒粒集まっている→統計力学つかうと予言できる
・ミクロとマクロを結ぶ処方箋：統計力学
調和振動し：ばね：ハミルトニアン→古典力学
磁性：イジングモデル
確率分布にしたがっている：ギブスーボルツマン
分配関数を計算するために命張ってる
→きかくかていすう
ちらばっている、まとまっている→エントロピー：変数変換
自由度たくさん 熱力学極限
最大値を持っている所を扱う
もっももっともらしい状態→最ゆう
あんてん評価
自由エネルギー
＊：最大になるようにする
熱力学の変分原理
・ｍ＝０自由エネルギーの最小値で予言できる
・温度上げる：急に変化する
温度下げる：急に下げる→でも違う場所で起こる
→履歴現象（ヒステリシス）一次相転移
→スパイン構造
→微分で０：最小値の候補
・統計力学と機械学習
ボルツマン機械学習→相関→カンニング（＾＾；）
→さいゆうほう
さいゆうほう：分配関数の計算
平均場近似：独立と考える
信念伝搬法
マルコフ連鎖モンテカルロ法
コントラスティブ・ダイバージェンス
データをもとに
擬似さいゆうほう
ディープラーニング
・それいぜん
誤差逆伝搬の失敗
・ディープラーニング
１つ１つきりわけて、がぞうぶっこむ（教師なし）→ぷれとれーにんぐ
そのあとファインチューニング
・データ利用して学習
教師なしたくさん、そのあと教師ありちょこっと
敷居を再現してほしい
Ｗ（さかいめ）を推定
ＸとＹがあたえられて推定→ベイズ
・教師なし学習ふやす：ポテンシャル
プレトレーニングとファインチューニング：
・マルコフ連鎖モンテカルロ法がはやくなる！
コントラスティブ・ダイバージェンス法
詳細つり合いを破る→さらにいい方法が
・Ｑ＆Ａ：教師なしをやってＦｉｎｅチューニング
逆でも・・別に大丈夫
■Deep Neural Networksの力学的解析
・自己紹介
・イントロダクション
５０層にすると、しべりあんはすきーと別の犬を区別できる
・研究の目的
なぜＤＮＮは、そんな能力を持っているのか
→ＤＮＮのダイナミクス
・ＤＮＮのダイナミクス
空間
時間発展：層が進んでいく
→ヤコビアンを定義できる
・ヤコビアンの固有値固有ベクトル
→特異点
・多様体仮説
カテゴリの情報は最初から低次元多様体上に表現されている
固有値固有ベクトル→どういう情報が残るかわかる
・先行研究
・ＤＢＮ：
手法：学習モデル （手がき）
結果：特異点分布（プレトレーニング）
特異値（Fine-tune)
・Alexnet:imagenet detaset
ハイパフォーマンスＤＮＮしすてむ
・特異値分布→パラメータ
■リクルート チャレンジのご案内
・リクルート人工知能研究所
→なにやってるの？ＡＩ，IoTデータパートナー，大学
かぐる：データサイエンティストコミュニティプラットフォームKaggle
■DeepLearning4j（英語）
・DeepLearningという本（日本語１１月？）
ＤＬ４Ｊが解決する問題とは
すべてのニューラルネット
分散型
ハードウェア抽象レイヤNd4j
ETL
統合するの容易
ＤＭＬで
Java/Scala
ハードウェアあく世良レーション
Open CL
Cuda
MKL
Normal java(for probability)
分散：トレーニングはパラレル？
データパイプライン
コマンドラインのＵＩ
Deep Learning in bash！
ワンパッケージで
最適なマシンラーニングを行うために統合されたエコシステム
一度コーディングすると、最適化を続ける
https://deeplearning4j.org
https://github.com/deeplearning4j
@agibsonccc
■デモ（英語）
・・・ごめんよくわからん・・・？？
■対談
汎用人工知能
→人間の脳から学ぶ
機械学習と組み合わせる ＣＮＮ＋ＲＮＮ
別々のドメインで学ばす
言葉とイメージ
ＬＳＴＭ
時間的な扱いによるＲＮＮ
ＮＤ４Ｊ
Ｗｏｒｌｄ ＡＧＩ Ｄｅｖｅｌｏｐｅｒｓ Ｍａｐ
アクセス
トータル
ランキング
