日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST
AI開発に必須な計算資源NVIDIAが一社独占している。日本は何故こんなことになっているのか。希望の光電融合も製造資源が無ければ今一つ迫力に欠ける。
ChatGPT-4を開発するのに1万から2万5千基のGPUを使ったと想定されている。
Meta(Facebook)は、すでに2万1000基以上のGPUを確保している。テスラも7000基を確保している。
GPT5の開発にはH100世代のGPUを3万5千基程度使う。そのため生成AIの新興企業Stability AIも5000基を擁している。
日本で最大規模のディープラーニング計算資源は産総研が管理するABCI(AI橋渡しクラウド基盤)だが4世代前のV100を1088基と、3世代前のA100(40GB)を120基足しても1208基しか持たない。
Microsoft Azure、Amazon AWS、Google GCPは、さらにそれぞれ10万基のオーダーをNVIDIAに出していると言われる。
欧米の私企業や新興企業が単独で持っている大量の最新世代GPUに対して、日本は国家戦略レベルの計算資源でもわずか1/10以下の規模だと云う。なんということだ。
AI開発を前提としたとき、GPUにとって重要な指標はまず「単独のVRAM容量」と、「数」だという。
「単独のVRAM容量」はNVIDIAでは現在のところ80GBが上限 GPT-4では単独で80GB以内に収まる大規模言語モデルを複数のGPUに分散して組み合わせることで実現しているらしい。
ABCIでさえ80GB VRAMを搭載したノード(計算資源の動作単位)は、ゼロ。
日本のほとんどの企業や研究チームはGPT-3規模の独自の大規模言語モデルを作れない。F1レースに出るのに軽自動車しか持ってない状態と手厳しい評価をされている。
サイバーエージェントやLINE、東大がで独自の大規模言語モデルを発表するのは 自社に80GBまで対応する計算資源を抱えているから。
世界市場で最新世代のH100は完全に在庫が払底している。次回のH100の入荷は来年の春以降で、しかも日本全体でわずか数千基の前半しか割り当てられない可能性が高いとも記事では予測している。
世界はもっと先に進んでいる。周回遅れどころか二週回以上の遅れがこれから一年で生じる。追いつくためにはわざわざ高価なクラウドサービスを使うしかなくなる。これは我が国のAI戦力の低下を直接的に意味することになると云う。
道は二つしかないと云う。
小規模モデルに特化した研究開発や、データ開発の研究、基盤モデル以外の応用研究に専念するかあるいは欧米でいち早く計算資源確保に動いたベンチャーを計算資源目的でM&Aし早急にキャッチアップを行う。
21世紀をAI敗戦国として生きるかと言うやばい事態になっている。
孫さんはファンドの建て直しでここまで手が回らないかもしれない。頼りは経産省かNTTか。過去の実績から見てNTTが製造業まで乗り出すしか資金的現実味はなさそうだが心情的には孫さんにも情報革命家の真骨頂を見せて欲しい。