BERT・XLNet・RoBERTaのについて聞いてきたはず・・・

だけど、いまいち理解していない。理解していないものの
９月９日に
BERT・XLNet・RoBERTaの論文の解説と簡易ハンズオンを行うセミナー
https://ml-for-experts.connpass.com/event/145179/
を聞いてきたのでメモメモ（途中ちゃんと取れてないけど）

---

ゼロからつくるDeepLearning2

オートエンコーダー系BERT,Transformer-XLとオートリグレッシブ系XLNet,RoBERTa

１章

・ＢｏＷとＷｏｒｄ２Ｖｅｃ
　単語が出現したか→カウントする
　　問題：スパースになってしまう→形式を変える（scipy すぱーす）

　局所表現と分散表現
　　局所表現：単語をＩＤで表現
　　分散表現：いくつかの特徴で表現→パラメータの数が減らせる

　分散表現にすること＝エンベディング→座標空間に埋め込む

　Ｗｏｒｄ２Ｖｅｃ(2013)：ワードからベクトルにというタスクを指している。

・言語モデルとＮＬＭ
　言語モデル：確率過程
　　同時確率を計算すると爆発してしまう→回避　ファクタライズ

　ＮＬＭ：にゅーらるねっとわーくを言語モデルで
　　→マルコフ性

・Seq2Seq(2014)


２章
・とらんすふぉーまー
　アテンション：記憶ネットワークとアテンション
　→attention is all you need
　
・XLNet Autoreqressive Pretraining
　ＮＬＵ：言語理解にフォーカスを変えている

・系列系のモデリング：後ろに戻らない

・Pre-trainingとfine tuning(転移学習）

・ＧＬＵＥ,squad dataset,Race dataset

・ＢＥＲＴの学習方法
　２つある
　Masked LM：単語をマスキング→穴埋めしていく
　Next sentens Prediction(NSP) ＡとＢがつながっている文？

・トランスフォーマー
　固定長

・教師なし学習(unsupervised learning)：
Ｗｉｋｉｐｅｄｉａなど：Pre-training
　　→手作業で教師を与えていなければ、教師なし学習
　　　（強化学習が教師なしになるのと同じ）
　　　
・教師あり学習：fine tuning：評価用

・BART Large

ソースをみる
・logit,lossと出てきたら、これ本体っぽい。
・modeling.BertModelとかきたら、importしてる