ニューラルネットワークからディープラーニングへ ⑩

写真撮影日：2024/3/17～18 島根県川本町～岡山県備北地域

写真上：島根県だけに自生する「イズモコバイモ」（ユリ科・多年草）

　　　　白い可憐な花たちは季節を告げる「春の妖精」

.................................................................................................................................................

 

　前回「…ニューラルネットワークの原形は『マッカロック・ピッツ　モデル』で、マッカロックは外科医・神経科学者で、ピッツは数学者という異色コンビでした」。さらに「…1958年に米国・心理学者のフランク・ローゼンブラットは『パーセプトロン』を発表し、このパーセプトロンモデルの出現で世界中が熱狂し、1960年代に『第一次ニューラルネットワークブーム』が起きました」と書きました。

 

　そして近年2010年代になると「深層学習のパイオニア」と称されるジェフリー・ヒントン（Geoffrey Hinton）氏が登場し、グーグルでエンジニアリング・フェローを10年間務めました。経歴は「コンピューター科学および認知心理学研究者」です。しかし彼は2023/5月、「生成AIの危険性をより自由に語っていきたい」とグーグル社を退社しました。

 

　私自身も認知心理学で学び、先生の牧岡省吾教授（大阪公立大学・現代システム科学研究科）は、認知心理学者・統計学者であり、コンピューター言語やアルゴリズム、モデルにも詳しいです。ディープラーニングでは中間層の計算関数が「統計検定法」であることから、認知心理学や心理統計学の影響がかなり強いようだと感じます。

 

　さて「統計」といえば、かなり以前ですがこのブログに「『敵の敵は味方』みたいな論理は本当に正しいの？」と書きました。つまり検定法では否定する前提の「帰無仮説（きむかせつ）」を立て、「許容誤差を5%（信頼度95%）とか10%（同90%）」などと設定し、それぞれの関数に従って計算後に、たとえば「帰無仮説が否定されたので、誤差5%でデータの信頼度が証明される」などの答えが出るのです。

 

　私にとっては「帰無仮説」という考え方も初めてだったし、誤差を自分で設定するという曖昧さに「まゆつばもの？」と感じてしまったのでした～。だけど重要な条件がありました。

 

　それは「母集団（調査の対象となる集団）」が正規分布（平均値、最頻値、中央値が一致し、それを軸として左右対称となる山形のグラフ）と想定される場合は、「データ数やサンプル数が多いほど誤差が少なく信頼度もあがる」という事実です。つまりビッグデータと統計学はとても相性が良かったのです。

 

　ですが現在のように桁外れのビッグデータになると、選択したデータの本質的内容・構造とか、正規分布の想定といった要素はあまり関係なく、スーパーコンピューターがそれこそ自動で解析するのかな。依然として曖昧でごめんなさい。

　　　　＊＊＊　つづく　＊＊＊

 

写真上下：例年の開花は㋁下旬～㋂下旬だけど、やはり今年は早かったそう。

　　　　　でも残っていて良かった！

　川本町ではその他「セリバオウレン、ショウジョウバカマ、ヒメウズ、オオタチツボスミレ…」などの貴重な山野草も多く、町をあげて守っています。この日「観察とウォーキングのイベント」に参加し、元気な中学ガールたち手作りのぜんざいを頂きました～！ごちそうさまでした。

 

　写真下：岡山県「平松カタクリ園」ではやや小さい「ホソバナコバイモ」

　　　　　その下はやはり春を告げる「フクジュソウ」

 

ニューラルネットワークからディープラーニングへ ⑨

写真撮影日：2023/6/26～30　秋田県の清流を探して

写真上：美郷町（みさとちょう）の湧水群のうち六郷湧水群のひとつ

　　　　街じゅういたるところに美しい湧水景観があふれている　

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　オープンAIが2022/12月に「チャットGPT（生成AI）」を公開後、1年半が経過しました。当初からその検索スピードの素早さ、言語能力の高さ、返答の妥当性などに世界中が感嘆して大ブームを引き起こし、2か月間に約1億人がユーザーになったといわれます。その後生成AIはさまざまな分野に広がり、性能も日毎に高度化され、メリット・デメリット含めて世界中に技術的・システム的・政治的・経済的…多様な影響を与え続けています。　

 

　当然ながら技術が一夜にして完成したわけではなく、長い間の研究や試行錯誤があったのでしょう。私が学んだ2000年代から20数年経過している今、「満を持してこの形で公開されたのだなあ。授業で知ったあれってこんな技術で、そんな効果を持っていたのね！」と実は驚きました。

 

　授業と言ってもディープラーニングの初級レベルです。たとえば「教師有りデータを使って、ネコやリンゴなどの画像認識を行う」という段階でしたが、「こんな形で始まった」とも言われます。

 

　そもそもいつ頃、誰によって始まったのかな？「機械学習の発展」を調べてみました。「深層強化学習」（KK電通国際情報サービス・小川雄太郎氏）サイトによると「ニューラルネットワークの原形は『マッカロック・ピッツ　モデル』で『形式ニューロン』とも呼ばれ、ニューロンの活動を数理的に最も単純に模倣したモデルで、1943年に発表された」そうです。マッカロックは外科医・神経科学者で、ピッツは数学者という異色コンビでした。

 

　この「マッカロック・ピッツ　モデル」をたくさんつないで多層にすれば、さまざまな入出力関係を再現でき、関数として使えるのではないか、と考えたのが米国・心理学者のフランク・ローゼンブラット（Frank Rosenblatt）で、「パーセプトロン」と名付け1958年に発表しました。「入力→中間層→出力」というパーセプトロンを多層つないだのが「ニューラルネットワーク⇒ディープラーニング」となります。　

　

　このような1960年代のニューロンの活動を模したパーセプトロンモデルの出現で、世界中が熱狂し「第一次ニューラルネットワークブーム」となりました。（※その後の詳細は同サイトを参照ください）

 

　ニューラルネットワークは機械学習の1分野ですが、1940年代から始まったニューラルネットワークの発展は、つまりAIの発展と並行しているようです。

 

　「AIブームの歴史」を振り返ると、「ニューラルネットワークからディープラーニングへ①」では次のように記しています。「1950年代から始まった第1次AIブームは、『フレーム問題・トロッコ問題』といった矛盾やジレンマの提起により1960～70年代下火になりました。次に1980～1990年代、ソニーのロボット・アイボなどに代表される第2次AIブームが起きました。（中略）現在は2000年頃からの第3次AIブームです。大きく異なるのはインターネット上にあるビッグデータを入力し、『ニューラルネットワーク』というアルゴリズムが登場したことです」としています。

 

　つまりシステムを「数理化・関数化」することでデジタル化が可能となり、スーパーコンピューターによる計算力も強大となり、AI急伸の重要要素となったと考えられます。

 

＊＊＊　すぐ⑩に続くよ！　＊＊＊

写真上下：長走風穴　国見山のふもとに点在する風穴は常時0～5℃の冷風が噴き出す　　古来「自然の冷蔵庫」「天然クーラー」として重宝した。

 

写真上下：玉川温泉」毎分9000リットル　温度98℃　PH1.1強酸性の熱湯が

　　　　　噴出、１か所からの噴出量日本一　治癒温泉としても名高い

　　　　　下は付近に咲くハクサンシャクナゲ　　かな。

 

写真上下：大湯環状列石（おおゆかんじょうれっせき）約4000年前の縄文時

　　　　　代後期の遺跡　日本を代表するストーンサークル遺跡

　　　　　集団墓であり、自然に対する畏敬の念を表す祭祀の場でもあった

ニューラルネットワークからディープラーニングへ ⑧

　

 

写真撮影日：2023/6/26～30　秋田県の清流を探して

写真上下：抱返り（だきがえり）渓谷

　　　　　原生林や断崖絶壁の間をコバルトブルーの水流が流れる

 

 

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

 

 

　たとえばパソコンやスマートホンで生成AIモデルを使い、賢い結果や回答が出てくる過程に対して、みなさまはどんなイメージを持っていますか？「ネット上のビッグデータから使えそうなデータを選び、高性能コンピューターに入れてガラガラと回せば（計算すれば）、あらら不思議！まるで全自動洗濯機のようにすぐ着用できる洋服（答え）が出てくる。コンピューターは感情・私情等交えず、公平で精密な答えを出すはず…」漠然とこんなイメージを持っていたのが私です。

 

 

　だけど仕組みを知るほどに「実際はすべて人の手で行われている」と気がつきました。前回の「パラメーターチューニング」はもちろん、最初に行う「モデル・アルゴリズムの選択」「データの選択」、そしてパラメーター後の「計算関数」についても同様です。

 

 

　最近「著作権や肖像権を無視した写真・動画・音声などで、金融詐欺広告を作り、人々を勧誘する」問題が起きています。人物写真などのデータ収集、目的に叶うパラメーター調整など、人の手が加減することは可能です。

 

 

　私はSNSではなく通常のネットサイトで広告を見ましたが、最初「ふーん、こんなことも副業的にされているのだな」と思ってしまいました。数回後さすがに「ギラギラ度が高いデザインや色合い」に違和感があり、もしかして？と思っていたところでした。誰でも騙される危険性があります。

 

 

　それにしても詐欺広告、フェイク画像・ニュース、誹謗中傷などなど、相手が見えにくく巧妙で、被害に遭っても訴えにくいのが実情です。対して生成AIなどの便利な仕組みを利用して、たとえば金儲けや人権侵害を企む人たちにとって、インターネット・バーチャル空間はとても都合の良い空間なのでしょう。PCやスマホを使うときには相当のリスクが伴うと意識する、「自己防衛意識」が必要です。

 

 

　あいよっこ的対策としては、金銭を伴う支払いやネット・バンキングなどは、必ず大きくて複数サイト表示ができるPCを使います。なぜか気持ちもスマホより冷静になれそうだし…。スマホって画面・文字が小さいうえに、太い指がまったく違う場所に触れてしまうことも多いからね～。もしかして感度を高くしている広告もあるんじゃないの？と思うことも…。スマホで大切な操作を行うときはせめて、タッチペンを使いましょう。

 

 

　次にモデルについてです。長い引用となりますが、NRI野村総合研究所「用語解説・機械学習」サイトでは、機械学習の説明と共に特徴を書いています。「機械学習で最も重視されることは予測の精度です。データの背景にあるルールが正しく説明できているかどうかではなく、より正しく予測できているかどうかを重視しています。機械的に予測精度の高いモデルを構築するため、予測モデルが妥当性や納得性を欠く場合もあります。一方で、従来の『統計学による仮説検証型のデータ分析』では見つけられなかった『新しい発見』や『高い精度の予測モデルを構築』することができるようになりました」とあり、とても納得しました。

 

 

　機械学習の仕組みや過程を知ることも大事ですが、このような特徴や、求めている方向性を理解することも必要ですね。どんな文明の利器もメリットとデメリット、つまり便利さと共にリスクを伴うこと、それを避けるための情報・知識や自己防衛方法を考えていきましょう。

 

 

　そのために世界的なルールつくりは当然必要ですが、特に利用度・便利度が高く急成長を遂げている生成AIは、「データの背景にあるルールが正しく説明できているかどうか」をも実現して欲しいです。たとえば「著作権や肖像権を守る仕組み」「悪用されないための新しいモデル」といったデジタルならではの防衛策を期待します。おそらく写真や絵画、実在の人物もデジタル化！が必要になるのかも？

 

　　　　　＊＊＊　なぜか予定と違い最終章の雰囲気…だが説明は続く　＊＊＊

 

※ああーっ！ブログの様式が変わってるよー（汗）どんな感じにアップするのかなあ？写真も多く入れにくい。とりあえずアップしてみよう。

※おおーっ！よく見ると「旧バージョン」というのがあった。よかったわ。でもうまく表示できるか

 

 

　

 

 

写真下：回顧（みかえり）の滝　

　　　　落差30mだけ以前よりかなり水流が減っているみたい

 

 

写真下：途中にある「帝釈の岩屋」

 

写真下：青い清流と石が回ってできた「ポットホール」

 

 

写真下：ドクダミの花が満開

 

 

 

ニューラルネットワークからディープラーニングへ ⑦

写真撮影日：2023/6/26～30　秋田県の清流を探して

写真上：「川原毛大湯滝（かわらげおおゆたき）」湯沢市にある野湯で、上流からの温泉と沢水が合流して夏季には「いい湯だな♪」になる。だけど強酸性（ph1.41）なのでお肌とご相談です。

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　さてさて続きです・・・。

　AIモデルで誤差の少ない回答を得るためには「データの選択」および「パラメーターによる調整」が最も重要で、難しいことです。前々回⑤で「基本的な単層パーセプトロンでのパラメーターについて、絶対にさっさと書くつもり」と書いたのに、検索するほどにこちらもディープラーニングの深層に落ちる～！　　　　　どうかプログラマーや専門家ではないことを御了解くださいませ。

 

　たとえば「単層パーセプトロン」

※１：入力層：多数のデータ〇印が並び、次の中間層に向かう交差する印が

　　　伸びる。矢印の交わるところが「ノード（結び目）」。

　２：中間層（隠れ層）：→が伸びた先に複合した大きな〇データ、

　　　あるいは□で囲み「ブラックボックス」としている場合も。

　３：出力層：再び〇印データが出てくるが数・矢印は減少する。

　これにおいて入力データが10個だと、性別・年代別・カテゴリー別…などといった「データの重要度の数値がパラメーター（変数）」で、次の中間層の計算では「重みづけ」となります。この場合は原則パラメーターも10個で、出力の目的やモデル・アルゴリズムなどに応じて数値は変わります。

 

　ところが先日来、生成AI含むネット検索の結果に「パラメーターとハイパーパラメーターの違いについて」などの語句が目立ってきました。説明では「ハイパーパラメーターはプログラマーが事前に設定する」、一方で「パラメーターはコンピューターが計算後に数値を設定する」とあります。想像ですが、1～2ヵ月前には見なかった語句が出てきたのは、新しい語句・概念が生まれたということかもしれません。

 

　その英語・ハイパーの「スーパーより強い意味」「程度をはるかに超えた」という語感や意味からは、当初てっきり大量データを識別するコンピューターが行うもの、と感じました。だけど意に反して、ハイパーパラメーターこそ人間が行う作業ということで、つまりそれほど難しく、試行錯誤を繰り返しながら「精度の向上を追求する設計作業」なのだと想像しました。

 

　この段階を「ハイパーパラメーターによるチューニング（調整・調律）」と呼び、パラメーターは単に数値だけではなく、ネット検索では「…代表的なものとして、エポック数、学習率、閾値、ミニパッチサイズ、層の数、1層あたりのニューロン数、などが挙げられる」とあります。つまり今や重要度の数値だけでなく、多くの要素をパラメーターが調整しているらしく、「パラメーター数1兆が目標」（ソフトバンク社長）という意味に納得です。

 

　ところで、やや専門的な語句でネット検索中に、あるサイトで「ダークウェブにログインしてください」というポップが出てきました！

 

　最近闇バイトや外国拠点の詐欺犯罪などで「ダークウェブ」が話題に上がることも多いです。説明では「ユーザーは匿名で自分情報を隠し、犯罪や非合法行為を行っているネット領域で、ログインには特別なブラウザーが必要」とのことですが、もしかしてID+パスワードでログイン可能なのでしょうか？「清く・正しく・△しく」のあいよっこは当然無視ですが、ネットでは相当身近な存在になっていることを実感しました。

 

　そもそもインターネット自体、匿名性が高く、無責任な誹謗中傷がはびこり、偽情報・フェイク（なりすまし）情報も飛び交っています。インターネット起源はアメリカ軍部が戦略のために始めた、という事実をいつも忘れないようにしたいです。

次回は「データの種類と選択」「中間層で行っている計算」について。

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・　　

写真：夏にはまだ遠いけど、入浴の人たちがいました。

写真：強酸性水でもいきいきとしている「チャツボミゴケ」

　　　カワゲラやとびゲラなどの昆虫も住む

写真：「川原毛地獄」は青森県・恐れ山、富山県・立山と並ぶ日本三大霊地

　　　水蒸気噴火で形成された火口からは盛んに噴気が出ている。灰白色は

　　　溶結凝灰岩が桂化したものだけど、山・噴煙・雲の区別できますか？

写真上下：「ギンリョウソウ」ミステリアスで不思議な雰囲気。キノコなど

　　　　　の菌類から栄養を取る寄生植物で、別名「ユウレイタケ」

　　　　　

 

ニューラルネットワークからディープラーニングへ ⑥

写真撮影日：2023/5/21～25　富山県～新潟県

写真上：「親不知海岸」最も通行困難とされた「天下無双の難所」

　　　　どれほど深いがわかりにくいね～、「雨です」は言い訳、修行だ！

 

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　2024/2/7ソフトバンクの宮川潤一社長は、「生成AIの基盤となる国産大規模言語モデル（LLM）について、今後1兆パラメーターを目指したい」と発表しました。TVニュースで聞きながら「1兆パラメーター？ええっ！」と思わずガン見してしまいました。そう、またしてもちょうどパラメーター数について考えていたからです。

 

　ソフトバンクは「開発中の生成AIに関して、性能の指数となるパラメーター数が昨年12月に1300憶に達し、テキストだけでなくさらに画像や図表、符号なども生成するマルチモーダルに対応した3900憶パラメーターのLLMを24年中に完成させ、その後1兆を目指す」とのこと。

 

　ちなみにLLM（大規模言語モデル:Large Language Model）は名前どおりテキスト（言語・文章）モデルですが、それを基盤に作られたチャットGPTなど「生成AI」のほうは、テキスト（文章、対話）だけでなく、音声・画像・動画・・・とすごい勢いで発展しています。ちょっとことばの区別がわかりにくいです。

 

　そういえば数日前2024/2/15にオープンAIが発表した最新AI「Soraソラ」がこの「テキスト+動画のマルチモーダル生成AI」で、言語による指示で生成した（現状では最長の）1分間動画のリアルさにはびっくり！と怖い！でしたが、みなさまはどう感じましたか？それにしてもなんで名前が日本語？

 

　ところで「そのパラなんとかって、何？」でしたね。大規模で複雑なディープラーニングモデルであることを表す指標で、主な3変数は次のとおり

①データセットの大きさ

②パラメーター数の大きさ

③計算量の大きさ　

①と②は前回ブログで示した入力部分に該当します。

 

　オープンAIの「チャットGPTに関するパラメーター数とデータ量」を調べると、2018年最初のモデル「GPT-1」では一桁億程度だったのが、2019年「GPT-2」ではパラメーター15憶、データ数40ギガバイトになり、2020年「GPT-3」ではパラメーター1750憶、データ数570ギガバイト（※数量についてはすべて概算）となっています。その後の「GPT-3.5」以降は非公開の方針らしいです。

 

　聞くところではチャットGPTの最新版では、すでにパラメーター数は1兆をはるかに超えているようです。もしかすると先日発表の「Soraソラ」がそれかな？想像ですが…。いずれにせよ「数が巨大になると、モデルの構造もふるまいも変わる」でしょう。

 

　自分が理解できる、基本的な「単層パーセプトロン」におけるパラメーターについて書くつもりなのに、どうも前置き・余談おしゃべりが多すぎる？ため、時間の関係もあり続きは次回でお願いします。絶対にさっさと書くつもり。（誓い）

 

写真上：旅人たちは干潮の波打ち際を命がけで渡った。上部に道路が見える　

写真上：明治16（1883） 断崖絶壁を切り開いて道路を造った青梅の富丘磯平　（とみおかいそへい）が刻んだ銘。「矢如砥如」（やのごとく・とのごとくは、矢のようにまっすぐ・砥石のようになめらかの意味）

※案内板に「如砥如矢（とのごとく・やのごとし）」とあるのは間違い？

写真上：親不知記念公園「愛の母子像」　う～～む、おっぱいは芸術だ！

写真上：「筒石駅」は「えちごトキめき鉄道日本海ひすいライン」の無人駅舎トンネル内のホームに行くには階段300段を降りる

写真上：「筒石・浜徳合ジオサイト」　地震により流れ落ちて堆積した砂とそれより軽い泥の層が海底から隆起して二層の地層ができた

写真上：糸魚川ピアパークにある102トンのひすい原石の大きさ世界第2位。

　　　　橋立ヒスイ峡で採石された。原石はそれほど緑色ではないよ。