ニューラルネットワークからディープラーニングへ ⑦

写真撮影日：2023/6/26～30　秋田県の清流を探して

写真上：「川原毛大湯滝（かわらげおおゆたき）」湯沢市にある野湯で、上流からの温泉と沢水が合流して夏季には「いい湯だな♪」になる。だけど強酸性（ph1.41）なのでお肌とご相談です。

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　さてさて続きです・・・。

　AIモデルで誤差の少ない回答を得るためには「データの選択」および「パラメーターによる調整」が最も重要で、難しいことです。前々回⑤で「基本的な単層パーセプトロンでのパラメーターについて、絶対にさっさと書くつもり」と書いたのに、検索するほどにこちらもディープラーニングの深層に落ちる～！　　　　　どうかプログラマーや専門家ではないことを御了解くださいませ。

 

　たとえば「単層パーセプトロン」

※１：入力層：多数のデータ〇印が並び、次の中間層に向かう交差する印が

　　　伸びる。矢印の交わるところが「ノード（結び目）」。

　２：中間層（隠れ層）：→が伸びた先に複合した大きな〇データ、

　　　あるいは□で囲み「ブラックボックス」としている場合も。

　３：出力層：再び〇印データが出てくるが数・矢印は減少する。

　これにおいて入力データが10個だと、性別・年代別・カテゴリー別…などといった「データの重要度の数値がパラメーター（変数）」で、次の中間層の計算では「重みづけ」となります。この場合は原則パラメーターも10個で、出力の目的やモデル・アルゴリズムなどに応じて数値は変わります。

 

　ところが先日来、生成AI含むネット検索の結果に「パラメーターとハイパーパラメーターの違いについて」などの語句が目立ってきました。説明では「ハイパーパラメーターはプログラマーが事前に設定する」、一方で「パラメーターはコンピューターが計算後に数値を設定する」とあります。想像ですが、1～2ヵ月前には見なかった語句が出てきたのは、新しい語句・概念が生まれたということかもしれません。

 

　その英語・ハイパーの「スーパーより強い意味」「程度をはるかに超えた」という語感や意味からは、当初てっきり大量データを識別するコンピューターが行うもの、と感じました。だけど意に反して、ハイパーパラメーターこそ人間が行う作業ということで、つまりそれほど難しく、試行錯誤を繰り返しながら「精度の向上を追求する設計作業」なのだと想像しました。

 

　この段階を「ハイパーパラメーターによるチューニング（調整・調律）」と呼び、パラメーターは単に数値だけではなく、ネット検索では「…代表的なものとして、エポック数、学習率、閾値、ミニパッチサイズ、層の数、1層あたりのニューロン数、などが挙げられる」とあります。つまり今や重要度の数値だけでなく、多くの要素をパラメーターが調整しているらしく、「パラメーター数1兆が目標」（ソフトバンク社長）という意味に納得です。

 

　ところで、やや専門的な語句でネット検索中に、あるサイトで「ダークウェブにログインしてください」というポップが出てきました！

 

　最近闇バイトや外国拠点の詐欺犯罪などで「ダークウェブ」が話題に上がることも多いです。説明では「ユーザーは匿名で自分情報を隠し、犯罪や非合法行為を行っているネット領域で、ログインには特別なブラウザーが必要」とのことですが、もしかしてID+パスワードでログイン可能なのでしょうか？「清く・正しく・△しく」のあいよっこは当然無視ですが、ネットでは相当身近な存在になっていることを実感しました。

 

　そもそもインターネット自体、匿名性が高く、無責任な誹謗中傷がはびこり、偽情報・フェイク（なりすまし）情報も飛び交っています。インターネット起源はアメリカ軍部が戦略のために始めた、という事実をいつも忘れないようにしたいです。

次回は「データの種類と選択」「中間層で行っている計算」について。

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・　　

写真：夏にはまだ遠いけど、入浴の人たちがいました。

写真：強酸性水でもいきいきとしている「チャツボミゴケ」

　　　カワゲラやとびゲラなどの昆虫も住む

写真：「川原毛地獄」は青森県・恐れ山、富山県・立山と並ぶ日本三大霊地

　　　水蒸気噴火で形成された火口からは盛んに噴気が出ている。灰白色は

　　　溶結凝灰岩が桂化したものだけど、山・噴煙・雲の区別できますか？

写真上下：「ギンリョウソウ」ミステリアスで不思議な雰囲気。キノコなど

　　　　　の菌類から栄養を取る寄生植物で、別名「ユウレイタケ」

　　　　　

 

ニューラルネットワークからディープラーニングへ ⑥

写真撮影日：2023/5/21～25　富山県～新潟県

写真上：「親不知海岸」最も通行困難とされた「天下無双の難所」

　　　　どれほど深いがわかりにくいね～、「雨です」は言い訳、修行だ！

 

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　2024/2/7ソフトバンクの宮川潤一社長は、「生成AIの基盤となる国産大規模言語モデル（LLM）について、今後1兆パラメーターを目指したい」と発表しました。TVニュースで聞きながら「1兆パラメーター？ええっ！」と思わずガン見してしまいました。そう、またしてもちょうどパラメーター数について考えていたからです。

 

　ソフトバンクは「開発中の生成AIに関して、性能の指数となるパラメーター数が昨年12月に1300憶に達し、テキストだけでなくさらに画像や図表、符号なども生成するマルチモーダルに対応した3900憶パラメーターのLLMを24年中に完成させ、その後1兆を目指す」とのこと。

 

　ちなみにLLM（大規模言語モデル:Large Language Model）は名前どおりテキスト（言語・文章）モデルですが、それを基盤に作られたチャットGPTなど「生成AI」のほうは、テキスト（文章、対話）だけでなく、音声・画像・動画・・・とすごい勢いで発展しています。ちょっとことばの区別がわかりにくいです。

 

　そういえば数日前2024/2/15にオープンAIが発表した最新AI「Soraソラ」がこの「テキスト+動画のマルチモーダル生成AI」で、言語による指示で生成した（現状では最長の）1分間動画のリアルさにはびっくり！と怖い！でしたが、みなさまはどう感じましたか？それにしてもなんで名前が日本語？

 

　ところで「そのパラなんとかって、何？」でしたね。大規模で複雑なディープラーニングモデルであることを表す指標で、主な3変数は次のとおり

①データセットの大きさ

②パラメーター数の大きさ

③計算量の大きさ　

①と②は前回ブログで示した入力部分に該当します。

 

　オープンAIの「チャットGPTに関するパラメーター数とデータ量」を調べると、2018年最初のモデル「GPT-1」では一桁億程度だったのが、2019年「GPT-2」ではパラメーター15憶、データ数40ギガバイトになり、2020年「GPT-3」ではパラメーター1750憶、データ数570ギガバイト（※数量についてはすべて概算）となっています。その後の「GPT-3.5」以降は非公開の方針らしいです。

 

　聞くところではチャットGPTの最新版では、すでにパラメーター数は1兆をはるかに超えているようです。もしかすると先日発表の「Soraソラ」がそれかな？想像ですが…。いずれにせよ「数が巨大になると、モデルの構造もふるまいも変わる」でしょう。

 

　自分が理解できる、基本的な「単層パーセプトロン」におけるパラメーターについて書くつもりなのに、どうも前置き・余談おしゃべりが多すぎる？ため、時間の関係もあり続きは次回でお願いします。絶対にさっさと書くつもり。（誓い）

 

写真上：旅人たちは干潮の波打ち際を命がけで渡った。上部に道路が見える　

写真上：明治16（1883） 断崖絶壁を切り開いて道路を造った青梅の富丘磯平　（とみおかいそへい）が刻んだ銘。「矢如砥如」（やのごとく・とのごとくは、矢のようにまっすぐ・砥石のようになめらかの意味）

※案内板に「如砥如矢（とのごとく・やのごとし）」とあるのは間違い？

写真上：親不知記念公園「愛の母子像」　う～～む、おっぱいは芸術だ！

写真上：「筒石駅」は「えちごトキめき鉄道日本海ひすいライン」の無人駅舎トンネル内のホームに行くには階段300段を降りる

写真上：「筒石・浜徳合ジオサイト」　地震により流れ落ちて堆積した砂とそれより軽い泥の層が海底から隆起して二層の地層ができた

写真上：糸魚川ピアパークにある102トンのひすい原石の大きさ世界第2位。

　　　　橋立ヒスイ峡で採石された。原石はそれほど緑色ではないよ。

ニューラルネットワークからディープラーニングへ ⑤

写真撮影日：2023/5/21～　富山県から新潟県へ

写真上：富山県高岡市　国宝「瑞龍寺」

　　　　山門は安定した美しさと荘厳さ（逆光が強いので内側から撮影）

　・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　

　昨年12月の話題がなんだか遠く感じますが、米メジャリーグ・ドジャースに移籍した大谷翔平選手のビッグな年棒のお話です。

 

　その前にこのたびの能登半島地震に際しまして、2024/1/4大谷選手自身のSNSを更新し、「ドジャースおよびそのオーナー会社と共同で、被災地への支援金100万ドル（約1億4000万円）を寄付する」と伝わりました。迅速で多額の寄付には、普段から日本への想いが強いこと、社会貢献への意識の高さなどが実感でき嬉しいかぎりです。また日本全国の小学校に特製グラブ各3個を贈られるなども、どんなに子供たちが喜んだことでしょう。ありがとうございます。

 

　さて大谷選手のドジャースとの契約金10年間7億ドル（約1015億円）は、どのくらいすごいのでしょうか？「ふ～んそうなんだ！」と感嘆するばかりで、イメージもできなかったのですが、ともかく日米だけでなく、全世界が驚愕しました。比較の一例としては、彼のこの1年平均年棒7000万ドル（約101憶5000万円）は、ある球団では「総年棒と同等」なのだそう。すべての選手分？！

 

　ちょうど私は、「AIは人間の脳にあるニューロン約1000憶をまねて、コンピューター上に再現したもの」の説明に「1000憶ってどんだけ？」と思っていたところ。「おおっ、彼の10年間年棒と同じ？でもピンとこないなあ…」状態なのでした。

※以後「ヒト脳」/「AI（人工知能）」と区別することにします。

 

　アナログの1000憶のニューロンをデジタル再現したらどんな形になるのかな？普通のPCに納まるの？それともたとえばスパコン「富岳」のような、箱型が並ぶような感じなのかな？機能の増大に従って機械も大きくなるでしょうね。どちらにしてもヒト脳は約800gに多様な機能を備えたものが収まっているわけで、やはり創造の神様は偉大です。

 

　ところでみなさま、神経伝達細胞・ニューロンの形を覚えていますか？思い出してみると、星型部分の「樹状突起（じゅじょうとっき）」が周辺細胞からのデータ入力部分で、一定量のデータが貯まると発光し、強めの電流であるインパルスを出して、長い樹状突起である「軸索（じくさく）」を経て、2つの神経細胞の接合部分「シナプス」に伝えます。この複雑なニューロンのネットワークで、データの収集、重要度・適格性の判定、選択・判断を行い、記憶となるのです。

 

　AIニューラルネットワークの説明イラストですが、自作には時間が足りないので、文字だけの説明です。（ごめんなさい、ネット検索でたくさん出るよ）

 

１、 入力層：多数のデータ〇印が並び、次の中間層に向かう交差する矢印が

　　伸びる。矢印の交わるところが「ノード（結び目）」。

２、 中間層（隠れ層）：→が伸びた先に複合した大きな〇データ、あるいは

　　□四角で囲み「ブラックボックス」としている場合も。

３、 出力層：再び〇印データが出てくるが数・矢印は減少する。

４、 出力：答えのデータはひとつ。

 

　このシンプルな基本形が「単層パーセプトロン」で、層が増えるほど深層で学習する「ディープラーニング」となります。実際には人間の目で確認できる3～4層程度以上は「ディープラーニング」と呼ばれます。だからグーグル検索も始まった頃からすでに「ディープラーニング」だったのですね。

 

　それではニューラルネットワークでは、入力されたネット上にあるビッグデータや目的に応じた「学習（教師）データ」といった大量情報をどのように処理するのでしょうか、を次回に…。

 

写真上：仁王様のおそろしくもユーモラスなびっくり顔！

写真上：瑞龍寺は江戸初期の禅宗寺院建築を伝える。山門・仏殿・法堂が国宝

　　　　で総門・禅堂・大庫裏・大茶堂・回廊三棟が重要文化財指定。

　　　　仏殿には多くの仏さま（写真下）が収まっている。

写真下：法堂の天井を埋め尽くす「天井画」　とても華やかな雰囲気

 

写真下：案内板にある説明では、整然とした伽藍配置は人体に基づいている。

　　　　面白いね！

 

ニューラルネットワークからディープラーニングへ ④

写真撮影日：2023/11/4～7 兵庫県：原不動滝～音水渓谷～鳥取県：船上山～大山～湖上池など

写真上：船上山（せんじょうさん）は南北朝時代に南朝（奈良・吉野）を設置した第96代天皇である後醍醐天皇が、隠岐の島⇒船上山へと流された場所。

柱状節理の屏風岩の絶壁が数㎞にわたり、天然の城壁、要塞だった。

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

＊＊＊今回は「能登地震」についてが長くなりすぎ！まあ、めんどうなのでこのまま行こうっと＊＊＊

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

　元旦に能登半島を最大震度7の地震が襲い、現在もなお孤立し被害の詳細さえ不明な地域もあるようです。水・電気・燃料・清潔なトイレ・暖かい食事…あらゆる生活システムの復旧見通しがたたないなか、落ち着かない大変な毎日を過ごされている方々にお見舞い申し上げます。また200人を超える、多くの亡くなった方々にお悔やみ申し上げます。

 

　さらに修理・復旧・避難所運営などに関わっている方々、ボランティアの方々、どうか寒い時期なので心身にご配慮されますよう！

 

　能登半島というある程度限定された地域ですが、時を経るごとに被害の大きさが明らかになり、政府も「激甚災害」に「特定非常災害」を加えました。もともと半島ではどうしても深部へのアクセスが悪いですが、主要道路の崩壊や土砂崩れなどで、「孤立地域」が数多く発生、素早い医療対応や物資などの運搬が困難になりました。

 

　また奈良地域では最初の揺れだけでしたが、それでも短時間に継続して出される「地震警報」や「大津波警報」には恐怖と不安でおろおろイライラ状態でした。現地の方々の心情はいかばかりだったでしょう。このような揺れの大きさと多発・群発性もまた家屋倒壊、地殻変動などの大被害につながったのかと想像します。

 

　私はもともと日本海側の海岸線や自然あふれる景観が好きで、能登半島も大好きでよく訪れます。以前は能登のシンボル見附島（みつけじま）には、海中の飛び石を渡って島まで行けました。美しい海と鳥たちを背景にすっきりと立つ姿が映える島でした。その後3年連続で地震が襲い、かなり崩れた上に今回の地震で、「軍艦島」とも呼ばれる島は崩落でやせ細ったようです。

 

　そして2021年に行った「青の洞窟」が気になり検索すると、「ランプの宿」（泊まってはいないよ）のHPで「ランプの宿の被害は奇跡的に一部に留まり、各ライフラインの寸断や建物内部に被害箇所が発生しました」とあり良かったです。「青の洞窟」には触れていないですが、さすがに海に直結しているし、津波・大波などで被害はあるのでしょう。

 

　なお2022/6の震度6弱の地震後の報告では「ランプの宿は溶岩岩盤の上に立っているため、周辺に比べ体感震度は2以上少ない・・・」とあります。これほど海近くの絶壁なのに、やはり硬い溶岩といった基礎が大事なのだなあ、と痛感しました。

 

　今回は北部の海沿い道路がほぼ通行不可能となった上に、空路の能登空港でも滑走路のひび割れなどがあり、多いはずの海路の港・漁港も「隆起や陥没」などで使用不可になったことは本当に残念です。せめて空港だけでも「硬い岩盤の上に設置」されていたら大丈夫だったのかな？

 

　余談ですがすぐ近くにある「道の駅・狼煙（のろし）」って名前が個性的でしょう？住所が「狼煙町（のろしまち）テ部11」というのもユニーク！「この地ではやはり他地域との連絡に狼煙を使っていたんだなあ」と想像したものでしたが、HPによると「名前の由来は諸説あるが、かつて沖を通っていた北前船が難破しないように、灯台から合図の狼煙をあげていた」というのが一番らしい。ここの沖合海域は難所で、難破船も多かったのだそうで、やはり昔から海底では隆起・陥没などを繰り返していたのでしょうね。

 

　さらに気になっていた「のとじま水族館」のHPも見ました。がぁ～～ん！同館マスコットのジンベイザメの「ハチベエ（オス）」が1/9に、追うように「ハク（メス）」も1/10に死んでしまったらしい。地震後数時間で水槽の水位が半分以下に低下し、これは復旧したが、循環ポンプが水没してろ過設備が停止し、水質などの環境が悪化したという。

 

　スタッフは「アシカ、アザラシなど他の水族館に移送するなどして、飼育動物たちの命を最優先に守りたい」と懸命です。

 

　人の命も動物・魚たちの命も守りたい、またそれを守る人たちの命もとっても大切です。どうか一日も早く困難な状況が好転しますようお祈りします。

 

写真上：ダムの上方にある屏風岩

 

音水渓谷（おんずいけいこく）は苔むした樹々と岩々が美しい。

渓谷を流れる明神滝は、ふたつの源流が異なる渓流が同じ滝つぼに落下する

苔むした岩を樹々たちが取り込む命の戦い

「原不動滝」の山門

サイヨウ（細葉）シャジンらしい

よく似た　ツリガネニンジンはややマルっぽい釣鐘型

ニューラルネットワークからディープラーニングへ ③

写真撮影日：2023/11/4～7 兵庫県：原不動滝～音水渓谷～鳥取県：船上山～大山～湖上池など

写真上：「原不動滝」一帯は氷ノ山後山那岐山国定公園

　　・・・・・・・・・・・・・・・・・・・・・・・・・・・・

 

　偶然にも「Google検索」を使い始めたのが、やはり2000年頃でした。それまで使っていた「goo検索」に紛れ込んできたので、「これは何？ちょっと使ってみよう」というのが初印象です。

 

　社史によると「Googleは米国スタンフォード大学のラリー・ペイジとセルゲイ・ブリンが、ガレージ時代を経て1998年に『Google』を創業し、2001年に日本法人を設立した」とのことで、当時はできたてホヤホヤ状態だったみたいです。それにしても米シリコンバレーの企業って、「天才はガレージからエピソード」が多いよ～。まあ米ガレージは広くて人も住めそう、いろんな機器も置けそうだけど、どこまでが事実なのかな？

 

　当初からあのレインボーカラーのロゴと検索スペースのみ、というシンプルなデザイン、時々記念日や人物などが現れる形は、基本的に変わらないです。特徴だったのは、今では当たり前となった「オートコンプリート（入力補完機能）」、つまり入力した検索ワードに反応して「よく検索されるワード群」が表示され、かなり便利でした。また検索の結果も「まとを得ている感」「知りたいことが適切に示される感」がありました。どうやら検索語ひとつで、前後をすぐ連想してくれていたみたいです。

 

　それにしても広告無しの、この検索サービスが無料（他のメールサービス、マップサービスなども）だなんて、大丈夫なの？と思ったものでしたが、後に「検索結果のランキングで広告料を得る」という新しいビジネスモデルがあるのだと知りました。やはり大きな成功の基礎・基本には、飛躍的な新しい考え方が必要です。

 

　社会的に「ググる」が流行語になったように現在でも高い利用率ですが、Google検索の使いやすさは、インターネット上にある膨大なデジタルデータの集合（いわゆるビッグデータ）から、検索言語に関連する情報を重要と思われる順に提示する仕組みがあるからです。これがニューラルネットワークのテキスト（言語、文章）基本モデルなのです。

 

　あいよっこは「知～らない街を歩いてみたい♪」初めての地域に行ってみたいので、特にお世話になっているのがアンドロイドスマホの「グーグルマップとナビ」です。カーナビに比べて、最新の道路情報、渋滞情報、コロナで変わった施設情報などがかなり正確で、画面がわかりやすいカーナビとスマホナビの二刀流が手放せないのです。これもネット上のビッグデータ収集システムさん、ありがとうです。

　前回「明日アップします」と言ったのに、やっぱ遅くなった～！写真に手間取り…（いいわけ）　　　次は仕組みについて

 

写真上：宍粟市内にある「最上山公園のもみじ山」

赤いもみじが多く、最盛期には燃えるような赤に染まる

写真上下：原不動滝　男滝と女滝が落差88mを三段に分かれて滑り落ちる

で滝の周囲はブナ・もみじの原生林

 

写真上：グーグルレンズで名前不明　紅葉の中ひっそりと落ち着く雰囲気だ～