4月17日
AIアカデミックネット(株)主催ATNDイベント
機械学習の動向と概要
https://atnd.org/events/87127
を聞いてきた!ので内容メモメモ
・用意したのが4回分の授業
スライド60枚をまずスキャンする
そのうち、ここを聞かせろというところを
●スライドをざっとみる
・謝辞:DATUMさんありがとう
・自己紹介
えるまんねっとのえるまん→RNN
・ポイント
CNN,RNN,強化学習
機械学習、定義
催促で理解する
前提となる知識 だいじなのはGURU
実装:Typewatch
デモ:すぎゃーんさんのアイドル
自分でやってみたい人 MOOCを利用
→友達は選んだほうがいい
第四時産業革命
なにがむずかしい
ニューラルネット
第二氷河期
第三次ニューロブーム
word2vec みころふ
DeepDream
GAN
CNN
勾配消失
福島先生のリスペクト
2015 ResNET
RNN
BPTT
LSTM
ダイナミックネットワーク
翻訳
SSL 動画
文献:レビュー
GoodfellowのDeepLearning
Natureに乗った Review
Goodfellow → GANの提唱者
●質問あるところの解説
AI→機械学習→表層学習 ディープラーニング
むかしとのちかい
操作するか:ルールベース
エンドツーエンドか
まいけるじょーだん:
マシンラーニングは統計学の1つ
・じゃあ、でーたどれだけ
イメージネット
LeNet5(るねっと):ヒントンさんのところの学生
コンボりゅーション プーリング(発表当時はサブサンプリング)
桁が3つ違うと見えてくる世界が違う
→データがふえただけ:そこが本質
データ拡張(でーたおぶめんてーしょん)
SVM
Alexnet データ拡張で5、6%よくなっている
→ゼロ3つくらいつくっちゃう!
あるふぁご
認識でCNN
ポイントはセルフプレイ:自分で学習して強くなる
GAN
Generative Adversarial Network
生成 敵対 ネットワーク
生成 認識 で敵対
Word2Vecも使ってる!
必要なのは、ネガティブサンプリング
SG(すきっぷぐらむ)NS(ネガティブサンプリング)
CBOW
→データはなかったら自分で作れ!
GEBのオマージュ
2013 ICLRスタート aeXiv.orgにあらかじめ論文を投稿
データをつくるのは、やみくもにやってはだめだけど・・
ミニバッチの大きさ、学習率、総数、テータわけ
→データ依存なのわかりません
自分でプログラムを動かしてみたい人へ
Windowsだと苦労する(でもできるという程度)
→トップカンファレンス;
9割以上がMac
docker使う
開発はUbuntu
処理系;Python2.7,3.6 Anaconda
セルフプレイ:あるふぁごにとっては自然な手になる
2016ねん12がつ にっぷす(トップカンファレンス)
GAN
VI(へんぶんすいろん:バリエイショナル・ベイズ)
CNN:どう解釈すればいいかわからない
VAEをわかりやすく説明する
やってることは変分ベイズ
2016年12月のチャレンジ結果 3.5%
上位6チームは中国:
→この分野:マイクロソフトリサーチアジア
投票で決めている
→同じモデルをごりごりやるのではなく、
投票で決める
変分:物理との違い(位置と速度でなく、2つの最適化にする。物理的意味ない)
GPUが簡単に使えればはやるかも・・
イメージネットの成功:フリーにしたこと
リソースの削減
人間は少数の事例から学習する
→ワンショット、ゼロショットラーニング
フレーム問題を解いている
何で変分推論を使うと、中身がわかるのか
なかみがわかるというより、パラメータをふると、どうなるかがわかる。
そこまでしか、じつはわからない・・・
企業で中身がブラックボックス
それがこわいのは、おっしゃるとおり。
訓練ありきなので、メンテナンスコストまで考えないと、失敗する
→上から降ってきた案件は、失敗しますよね
社長さんも来いというと、しりごみする
企業で話を進める上でネックになるのは
→まるなげ。AIだからできるんでしょ!
中身を知らないとSF語られてしまう