人工知能、機械学習、ディープラーニングの備忘録
ちょっと前にDeep learning(DL)は最小二乗法の応用という記事が出ていた。
言葉の定義がしっかりしていないが、人工知能(Artificial Intelligence: AI)は、機械学習(Machine Learning: ML)をDLのアルゴリズム（手順）を用いて知識と推論を行う。
DLの推論メカニズム(関数)は複数のパラメータ（変数: x, y, z, ....）を持つF(x, y, z, ....)=f1(x)・f2(y)・f3(z)・.....・fm(n)と表せる。(・は何らかの演算）
各変数の関数fm(n)は変数nを変化した時の変化から「最小二乗法」によって近似曲線という形で求められる。
この辺からはP列Q行からなる行列式の演算であったり（N元連立1次方程式からはじまって、一次方程式ではなく非線形関数になったりするなど）、高等数学で忘却の彼方にあるTaylor展開とかMaclaurin展開が必要になる。
DLの課題は想定範囲内は近似解（シミュレート）を力技で求められる（プログラムの稚拙はおいといて、スパコンを使うってこと）が、想定範囲外、収集したデータの範囲外はわからないということ。
単純な例として、お風呂の湯の温度を変数tとした時の人の快感F(t)をシミュレートするとする。
集めた水温が0~40℃だとすると、おそらく36℃を超えたあたりから快感が上昇する。お湯の温度に対する快感関数F(t)は指数関数的になる。
しかしデータは40℃までしかなかった。ここで50℃のお湯を用意した時、F(50)はF(40)よりも大きいと推論できるが、実際は火傷を伴う苦痛になる。
おそらく閾値は42℃あたりにあって、それを超過したら快感のF(t)が一気に減少する。シミュレートという外挿はこの辺の見極めが難しい。
こういう「過ぎたるは猶及ばざるが如し」というのは難しいものだ。
ちょっと前にDeep learning(DL)は最小二乗法の応用という記事が出ていた。
言葉の定義がしっかりしていないが、人工知能(Artificial Intelligence: AI)は、機械学習(Machine Learning: ML)をDLのアルゴリズム（手順）を用いて知識と推論を行う。
DLの推論メカニズム(関数)は複数のパラメータ（変数: x, y, z, ....）を持つF(x, y, z, ....)=f1(x)・f2(y)・f3(z)・.....・fm(n)と表せる。(・は何らかの演算）
各変数の関数fm(n)は変数nを変化した時の変化から「最小二乗法」によって近似曲線という形で求められる。
この辺からはP列Q行からなる行列式の演算であったり（N元連立1次方程式からはじまって、一次方程式ではなく非線形関数になったりするなど）、高等数学で忘却の彼方にあるTaylor展開とかMaclaurin展開が必要になる。
DLの課題は想定範囲内は近似解（シミュレート）を力技で求められる（プログラムの稚拙はおいといて、スパコンを使うってこと）が、想定範囲外、収集したデータの範囲外はわからないということ。
単純な例として、お風呂の湯の温度を変数tとした時の人の快感F(t)をシミュレートするとする。
集めた水温が0~40℃だとすると、おそらく36℃を超えたあたりから快感が上昇する。お湯の温度に対する快感関数F(t)は指数関数的になる。
しかしデータは40℃までしかなかった。ここで50℃のお湯を用意した時、F(50)はF(40)よりも大きいと推論できるが、実際は火傷を伴う苦痛になる。
おそらく閾値は42℃あたりにあって、それを超過したら快感のF(t)が一気に減少する。シミュレートという外挿はこの辺の見極めが難しい。
こういう「過ぎたるは猶及ばざるが如し」というのは難しいものだ。
