晴天。最高気温 34.0℃(隣町アメダス)は、一時ほどではないにしても、やはり暑い。
午後、家の中で風通しの良い場所を探して寝ころび、本を読みました。
居間から洗面所へとつづくあたりのちょっと狭くなったところが、今日は良かった。南からの風が、北の御勝手口に向かって通り過ぎてゆきます。
読んだのは、届いたばかりの〈日経サイエンス〉10月号。
特集は「大規模言語モデル 科学を変えるAI」。
チャットGPTを始めとする大規模言語モデルによる生成AIの原理的なところを解説してくれています。どういうものか、かなりわかってきた(つもり)。
チャットGPTは文章をつむぎだすため、次の言葉は何が適切かを順次計算(検索?)してゆくのですが、その「言葉」は無数のパラメータによるベクトルによって内部表現されているらしい。それらのパラメータは、つまりは別の言葉であって、いってみれば辞書の他の項目すべてとどういう関係をもつかを、ひとつひとつの言葉について調べてあるということのようです。それを参照に適切な言葉のつらなりをつくりだしてゆく(などと書いても伝わるかどうか、私なりの理解です)。
ただしAIの問題点は、それらのパラメータがネット上のデータに限られていること。人間は言葉を獲得する際、他の言葉だけでなく、実際の事物や自分の五感、抱いた感情、過去の経験なども紐づける。だから言葉に意味が生じるのだと思います。
つまり、AIがあやつる言葉には「意味がない」といってもいいのではないでしょうか(ここでの「意味」とは、現実世界で生きてゆくための指針といったものです)。