線形回帰を習ってきた！

お盆休みに、一通り機械学習習ってきた！
まずは線形回帰

８月１０日

【入門者・初心者向け】scikit-learn を用いた機械学習入門ハンズオン~回帰モデル編~
https://liberal-arts-beginners.connpass.com/event/140224/

で学んできたことメモ

---

機械学習
教師あり学習、教師なし学習を行う
ここでは、回帰
・特徴選択が大事
　市場規模（兆円）→対数変換
　→特徴量
　
　線形回帰：多重共線性

→だけど、特徴選択は難しい

フレームワーク
・様々なモデル
　線形回帰
　正則化回帰
　ニューラルネットワーク

モデル：
　値が決まる：パラメータ
　人間が決める：ハイパーパラメータ

評価
　確率モデルは情報量基準、そうでない場合は誤差関数で評価
　訓練データ集合D={(x1,t1)，・・・｝ 入力と正しい出力の組
　モデルy=f(x)

　正しい出力Tn
　モデルの出力f(xn)
　誤差：tn-f(xn)
　＋の誤差とーの誤差で打ち消し合わさないように２乗(tn-f(xn))
　２乗和誤差、２乗和誤差の平均で評価
　
訓練データとテストデータに分ける
　train_test_split
　　訓練８割　テスト２割が多い
　　データが多く少ないデータで学習できるなら
　　　訓練５０００個、テスト　残り
　→ハイパーパラメータ選択
　　k-foldクロスバリデーションを各パラメータで実施して、
　　一番良い結果を選ぶ

線形回帰
y = w0+w1x1+w2x2+・・・+wnxn
２乗和誤差
→Eをｗで微分して、０とおく
→ハイパーパラメータが出てこない

正則化線形回帰
　汎化能力
　　　解が求まらない：回避するようにできている
　　　過学習
　→正則化　regularization
　　正則化線形回帰：ridge回帰を取り上げる
　　　→２乗和誤差関数にパラメータの２乗和を加える
　　　　ハイパーパラメータλあり
　　　　λ＞０
　　　　もしλ＜０だと、誤差関数がマイナスになる可能性がある

ニューラルネットワーク回帰
　作るモデルｙ＝ｆ（ｘ）が複雑
　　→複雑なデータでも
　層→重みのところでいう入力→中間層→出力の場合（３層でなく）２層
　活性化関数relu,logistic,tanh
　出力層では活性化関数はない（そのままのあたい）
　誤差関数E+'alpha'/2 - ∑