ディープラーニング系のトレンドを聞いてきた？

DeepLearningの重要論文を原文ベースで読み解くにあたってのフォローアップセミナー
https://reading-innovation.connpass.com/event/142155/

を聞いてきたのでメモ

---

CNNの話から
ML（機械学習）
　　NN（ニューラルネット）
　　　CNN

DL（ディープラーニング）をどこからいうかは人によって違うが、
NNででかいやつをDLということに、ここではしておく。

MLP（マルチレイヤーパーセプトロン）

CNN
　（さまざまな）フィルターを通す
　→フィルター：輪郭抽出のフィルターとかあるけど
　LeNet[1989]
　AlexNet[2012]→Image Classification
　VGGNet[2014]→精度向上
　ResNet[2015]
　GoogleNet[2014]
→Application
　　強化学習
　　物体検出
　　GAN
　　セグメンテーション
　　自然言語理解(natural language Understanding)

https://lib-arts.hatenablog.com/archive/category/fundamental
にまとまってるよ！

alexnet
alexnet paperで検索
ImageNetClassi?cationwithDeepConvolutional NeuralNetworks
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

（ほかの論文はアーカイブにある）

この論文にDeepLearningとは出てこない
Low レゾリューション
　MNIST(28X28)
　CIFAR-10(32X32X3)
High　レゾリューション
　ImageNet→ILSVRC→Alexnetでは224*224*3
　Pascal VOC
　Coco
top1エラーレート：１番にあてた
top5エラーレート：５番目にあてた
State-of-the-art:どこの範囲で言っているか？
→タスクを絞りすぎているのでは？

パラメーターはオーダーだけ見ておく
→１憶パラメータだと、マシン用意しないと・・・

サチュレーションしないニューロンReLUのこと
→tanh,シグモイドに対して

・VGG
　AlexNetの後継：わかりやすさ

・ResNet：
　ショートカットを入れた

・物体検出系
　R-CNM
fast R-CNN
YOLO
SSD

・強化学習→時系列モデル：MDP(マルコフ決定過程 Markov Decision Process)
　DQN[2013]
　Rainbow[2017]
　マルコフ決定過程：observe→Action→Rewardの一連の流れ
　環境S→CNNに入れる→Action
　Q(s,a)であらわす。　Deep(DL) Q Network(NN)

・系列モデル
　言語：Sequence to Sequence
　音声：WaveNet

→言語：音声：時系列：強化学習はまとめて
　RNN、Dilated conv,Attention

・生成モデル
　GAN
　　Z→G →　　　D
　　　　Genelater ディスクりみねーたー
　→画像生成へ Pix to Pix CycleGAN
Generative Adversarial Networks
https://arxiv.org/abs/1406.2661

・DCGAN
　GANに制約