10月6日、
【初心者向け】高校数学の演習と実装で理解する決定木・ランダムフォレスト~XGBoostに向けて~
https://liberal-arts-beginners.connpass.com/event/148286/
を聞いてきたのでメモ
・関数の最大最小
最大最小を解く→微分の情報
f(x)の微分の定義
f(x+h)-f(x)
lim ------------ = f'(X)
h→0 h
ここで、
f(x+h)-f(x)
------------ は、点(x+h,f(x+H)と(x,f(x))をとおる直線の傾きになる
h
h→0のとき、a+hはaに近づく→f(x)の接戦の傾き
minでの微分の値→0(水平なので)
(水平な接線)
二項定理と二項分布
(a+b)^n=∑ nCk a^b b^(n-b)
nCk n個の中からK個のものを取り出す組み合わせ
アンサンブル学習
・多数決(2項定理と)
多数決で正解になる確率
ランダムフォレスト→アンサンブル学習;分類木が独立して意思判断→確率がよくなるか
ジニ係数:情報エントロピーを用いた不純度
決定木:予測モデル
ジニ係数:加重平均をとっている → CART
情報利得
それぞれの情報利得
ID3の場合は情報エントロピー
ランダムフォレスト:アンサンブル学習
アンサンブル学習
バギング:並列的に学習
ぶースティング:連続手時に学習
ランダムフォレスト:バギングの一種
(1)データを変える→サンプルを変える(m個をランダムにとる)
(2)見方を変える→説明変数を変える(m個をランダムにとる)
スコア:
分類木の場合:正解率
回帰
正しい出力 Tn
モデルの出力 Yi
1-∑(Ti-Ti)^2/∑(Ti-T平均)^2
乱数の固定
np.random.seed(0)
とすると、固定する
【初心者向け】高校数学の演習と実装で理解する決定木・ランダムフォレスト~XGBoostに向けて~
https://liberal-arts-beginners.connpass.com/event/148286/
を聞いてきたのでメモ
・関数の最大最小
最大最小を解く→微分の情報
f(x)の微分の定義
f(x+h)-f(x)
lim ------------ = f'(X)
h→0 h
ここで、
f(x+h)-f(x)
------------ は、点(x+h,f(x+H)と(x,f(x))をとおる直線の傾きになる
h
h→0のとき、a+hはaに近づく→f(x)の接戦の傾き
minでの微分の値→0(水平なので)
(水平な接線)
二項定理と二項分布
(a+b)^n=∑ nCk a^b b^(n-b)
nCk n個の中からK個のものを取り出す組み合わせ
アンサンブル学習
・多数決(2項定理と)
多数決で正解になる確率
ランダムフォレスト→アンサンブル学習;分類木が独立して意思判断→確率がよくなるか
ジニ係数:情報エントロピーを用いた不純度
決定木:予測モデル
ジニ係数:加重平均をとっている → CART
情報利得
それぞれの情報利得
ID3の場合は情報エントロピー
ランダムフォレスト:アンサンブル学習
アンサンブル学習
バギング:並列的に学習
ぶースティング:連続手時に学習
ランダムフォレスト:バギングの一種
(1)データを変える→サンプルを変える(m個をランダムにとる)
(2)見方を変える→説明変数を変える(m個をランダムにとる)
スコア:
分類木の場合:正解率
回帰
正しい出力 Tn
モデルの出力 Yi
1-∑(Ti-Ti)^2/∑(Ti-T平均)^2
乱数の固定
np.random.seed(0)
とすると、固定する