ベイズ的最適化

10/31(月)、第6回ステアラボ人工知能セミナーに行ってきた！
内容をメモメモ

■ごあいさつ
・ステアラボの説明
・講演者紹介　東京大学　佐藤一誠先生

■ベイズ的最適化(Bayesian Optiomization)の入門と応用
・自己紹介
　トピックモデルの本などを書いているが、今日の話は違うこと

・ベイズ的最適化
　次はどの点を探す？
　　真ん中を調べたい人！大多数
　　高いほうの近く：一部の人→連続性
　→仮定として入れる

　高次元になったら？→人の直感は効かない
　　→ベイジアン

　形状の最適化

・問題
　３つの薬品（ABC)の投入の順番による効果を分析したい
　　→ラテン方格による実験計画
　　　　ラテン方格：各行列に現れるシンボルの種類は1つ
　ラテンハイパーキューブサンプリング

　→あらかじめ固定された実験計画ではなく、これまでに観測してきた実験結果から
　　次の実験を

・事前に設定しておくハイパーパラメータ
　ブラックボックス関数の最適化
　　事前分析を仮定し、事後分布をもとに最適化しよう
　最適：収束する点列を生成する
　　背後にあるもの：ガウス過程（ガルシアンプロセス：GP)を仮定する
　　　ｆ～GP(ｆ｜ｍ、ｋθ）
　点の近さ：カーネル関数

　ガウス過程に従う関数ｆのｎ点はｎ次元ガウス分布に従う
　→ベイズ予測分布が解ける→MCMCとかいらない

・観測情報がない
　３点与えられる→関数の可能性
　ガウス過程を事前分布に用いると、扱いやすい事後分布が求まる

・事後分布の情報を利用して部タックボックス関数の最適化は出来ないか
　→探索・活用トレードオフ：強化学習

・コンフィデンスバウンド　
　ai(x)=μ(x)+kσ(x)
　をもとめて探索

・リグレット：理想的な状態からどれだけ離れているか

・獲得関数をどうするかが肝

・Expected improvement
　Mutual Information(CPLI)
　　GP-UCBと一部同じ
　　最初探索、後半で活用
　　ロバスト

・適応例
　・Himmelblau をBOでとく
　・word2vecをBOでチューニング
　・Online LDAをBOでチューニング

・複数行列分解をBOでチューニング
　動くの９が２０次元くらい
・DNNをBOでチューニング
　エポック数
　学習数

・細かい話。
　よく使われるカーネル
　　ARD　squared exponential
Matern Kernel
なめらかさをかてい
　　Matern Kernel：ベッセル関数
　　ARDもθがでる
　カーネルパラメータθの値
　　経験ベイズ
　　MCMC：BOでは、こちらのほうがいい

　獲得関数の最適化
　　解けることを仮定：とけないときは？
　　　近似的にとく
　　　候補点：サンプリングして調べる？
　　　　→ラテン　ハイパーキューブ　サンプリングを（内部で）使う
　ガウシアン：コンパクトな空間
　正規化：大事

・BOの最近の話題
　マルチタスクBO
　　マルチタスクGPを用いる
　正規化の学習
　制約つきBO
　高次元BO 100次元くらい
　

バグの信頼度曲線（成長曲線:S字カーブ）のまとめ

これを探している人が居る？っぽいので、まとめ

■バグの信頼度曲線の数式、係数の意味とかについて

バグの成長曲線（ソフトウェア信頼度成長モデル）の係数の意味
http://blog.goo.ne.jp/xmldtp/e/5c5bb699055e3c376cf1cf61ece3e7d4


■Rでの求め方

バグのＳ字曲線とかを、Ｒを使って求める（ただし、正確ではない）
http://blog.goo.ne.jp/xmldtp/e/b062f8a684870cabb7ffa3cae3d74d17


■Excelでの求め方

バグの信頼度曲線（成長曲線）書いて、予測しておいて…といわれ、途方にくれたあなたへ
http://blog.goo.ne.jp/xmldtp/e/24a8b55c9ef9271b3a055216c8bc02c0