大規模言語モデル

晴天。最高気温 34.0℃（隣町アメダス）は、一時ほどではないにしても、やはり暑い。

午後、家の中で風通しの良い場所を探して寝ころび、本を読みました。
居間から洗面所へとつづくあたりのちょっと狭くなったところが、今日は良かった。南からの風が、北の御勝手口に向かって通り過ぎてゆきます。

読んだのは、届いたばかりの〈日経サイエンス〉10月号。
特集は「大規模言語モデル　科学を変えるＡＩ」。

チャットＧＰＴを始めとする大規模言語モデルによる生成ＡＩの原理的なところを解説してくれています。どういうものか、かなりわかってきた（つもり）。
チャットＧＰＴは文章をつむぎだすため、次の言葉は何が適切かを順次計算（検索？）してゆくのですが、その「言葉」は無数のパラメータによるベクトルによって内部表現されているらしい。それらのパラメータは、つまりは別の言葉であって、いってみれば辞書の他の項目すべてとどういう関係をもつかを、ひとつひとつの言葉について調べてあるということのようです。それを参照に適切な言葉のつらなりをつくりだしてゆく（などと書いても伝わるかどうか、私なりの理解です）。

ただしＡＩの問題点は、それらのパラメータがネット上のデータに限られていること。人間は言葉を獲得する際、他の言葉だけでなく、実際の事物や自分の五感、抱いた感情、過去の経験なども紐づける。だから言葉に意味が生じるのだと思います。
つまり、ＡＩがあやつる言葉には「意味がない」といってもいいのではないでしょうか（ここでの「意味」とは、現実世界で生きてゆくための指針といったものです）。