ニューラルネットワークからディープラーニングへ ⑥

写真撮影日：2023/5/21～25　富山県～新潟県

写真上：「親不知海岸」最も通行困難とされた「天下無双の難所」

　　　　どれほど深いがわかりにくいね～、「雨です」は言い訳、修行だ！

 

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　2024/2/7ソフトバンクの宮川潤一社長は、「生成AIの基盤となる国産大規模言語モデル（LLM）について、今後1兆パラメーターを目指したい」と発表しました。TVニュースで聞きながら「1兆パラメーター？ええっ！」と思わずガン見してしまいました。そう、またしてもちょうどパラメーター数について考えていたからです。

 

　ソフトバンクは「開発中の生成AIに関して、性能の指数となるパラメーター数が昨年12月に1300憶に達し、テキストだけでなくさらに画像や図表、符号なども生成するマルチモーダルに対応した3900憶パラメーターのLLMを24年中に完成させ、その後1兆を目指す」とのこと。

 

　ちなみにLLM（大規模言語モデル:Large Language Model）は名前どおりテキスト（言語・文章）モデルですが、それを基盤に作られたチャットGPTなど「生成AI」のほうは、テキスト（文章、対話）だけでなく、音声・画像・動画・・・とすごい勢いで発展しています。ちょっとことばの区別がわかりにくいです。

 

　そういえば数日前2024/2/15にオープンAIが発表した最新AI「Soraソラ」がこの「テキスト+動画のマルチモーダル生成AI」で、言語による指示で生成した（現状では最長の）1分間動画のリアルさにはびっくり！と怖い！でしたが、みなさまはどう感じましたか？それにしてもなんで名前が日本語？

 

　ところで「そのパラなんとかって、何？」でしたね。大規模で複雑なディープラーニングモデルであることを表す指標で、主な3変数は次のとおり

①データセットの大きさ

②パラメーター数の大きさ

③計算量の大きさ　

①と②は前回ブログで示した入力部分に該当します。

 

　オープンAIの「チャットGPTに関するパラメーター数とデータ量」を調べると、2018年最初のモデル「GPT-1」では一桁億程度だったのが、2019年「GPT-2」ではパラメーター15憶、データ数40ギガバイトになり、2020年「GPT-3」ではパラメーター1750憶、データ数570ギガバイト（※数量についてはすべて概算）となっています。その後の「GPT-3.5」以降は非公開の方針らしいです。

 

　聞くところではチャットGPTの最新版では、すでにパラメーター数は1兆をはるかに超えているようです。もしかすると先日発表の「Soraソラ」がそれかな？想像ですが…。いずれにせよ「数が巨大になると、モデルの構造もふるまいも変わる」でしょう。

 

　自分が理解できる、基本的な「単層パーセプトロン」におけるパラメーターについて書くつもりなのに、どうも前置き・余談おしゃべりが多すぎる？ため、時間の関係もあり続きは次回でお願いします。絶対にさっさと書くつもり。（誓い）

 

写真上：旅人たちは干潮の波打ち際を命がけで渡った。上部に道路が見える　

写真上：明治16（1883） 断崖絶壁を切り開いて道路を造った青梅の富丘磯平　（とみおかいそへい）が刻んだ銘。「矢如砥如」（やのごとく・とのごとくは、矢のようにまっすぐ・砥石のようになめらかの意味）

※案内板に「如砥如矢（とのごとく・やのごとし）」とあるのは間違い？

写真上：親不知記念公園「愛の母子像」　う～～む、おっぱいは芸術だ！

写真上：「筒石駅」は「えちごトキめき鉄道日本海ひすいライン」の無人駅舎トンネル内のホームに行くには階段300段を降りる

写真上：「筒石・浜徳合ジオサイト」　地震により流れ落ちて堆積した砂とそれより軽い泥の層が海底から隆起して二層の地層ができた

写真上：糸魚川ピアパークにある102トンのひすい原石の大きさ世界第2位。

　　　　橋立ヒスイ峡で採石された。原石はそれほど緑色ではないよ。