公開メモ DXM 1977 ヒストリエ

切り取りダイジェストは再掲。新記事はたまに再開。裏表紙書きは過去記事の余白リサイクル。

譬え話は上手いが本当に機械学習CPUが作れるのか

2024-08-10 17:06:00 | 間違った設問に「正しい」答えという現実世界のバグ

Guillaume Verdon(以下ギル):"Entropy(エントロピー)”の語源はギリシャ語で、システム内における乱数度の尺度を表している。"Extropy"(エクストロピー)は、システムの外にどれだけエントロピーが放出されているかの尺度を表しているんだ。

実は、エントロピーの放出、つまりはエクストロピーがあったからこそ、生命の誕生につながったと考えられている。また、生命体の知能を熱力学的に見た場合に、まだ何も学習していない状態だと粘土のかたまりみたいだけど、学習を重ねていくにしたがって輪郭がはっきりとしてくるんだ。エントロピーの高い状態から低い状態へと移ったというわけだね。

エントロピーの放出とは熱の放出。つまり、エクストロピーはある種の冷却プロセスだ。そして機械学習も冷却プロセスだと言える。

ぼくらが作っているコンピュータチップもこのようなプロセスによって動いていて、文字通り冷却によって学習している。だから、Extropic AI(エクストロピー的なAI)。わりと深みのある社名なんだ。



AI 間違いではない
Extropy(エクストロピー)の文脈では、系への熱の出入りは通常エントロピー(Entropy)に関連して考えられます。エントロピーは、熱力学的な確率的な観点から系の状態の乱雑さや無秩序さを表す概念であり、熱の出入りは系内部のエントロピーの変化に影響を与えます。
一般的には、系に熱が供給されると、系内の分子や原子の運動エネルギーが増加し、エントロピーが増加します。これは系の無秩序度が高まることを意味し、エクストロピーの観点では系がより複雑で進化していると捉えることができます。
一方、系から熱が放出されると、系の運動エネルギーが減少し、エントロピーの減少が起こるかもしれません。これは系がより秩序だったり整理された状態へと移行することを示し、エクストロピーの観点からは系がより単純化したり進化する方向に変化している可能性があることを意味します。




コメント    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« 赤い津波 008; Tim Waltz 起訴 | トップ | どんな洞察にも発表する義務... »
最新の画像もっと見る

コメントを投稿

ブログ作成者から承認されるまでコメントは反映されません。