知識労働者はAIとどのように共存するのか？
This conversation is part of our AI Revolution series, which features some of the most impactful builders in the field of AI discussing and debating where we are, where we’re going, and the big open questions in AI. Find more content from our AI Revolution series on www.a16z.com/AIRevolution.
投稿日: 2023年9月25日
この対談はAI革命シリーズの一環で、AIの分野で最も影響力のあるビルダーたちが、現在の状況、今後の方向性、AIにおける大きな未解決の問題について議論し、討論しています。AI革命シリーズの他のコンテンツは、www.a16z.com/AIRevolution。
Ali Ghodsi, CEO and cofounder of Databricks, and Ben Horowitz, cofounder of a16z, explain the data wars happening inside and outside enterprises and how they could impact the evolution of LLMs.
DatabricksのCEO兼共同設立者であるアリ・ゴドシとa16zの共同設立者であるベン・ホロウィッツが、企業内外で起きているデータ戦争と、それがLLMの進化にどのような影響を与えうるかについて説明する。
企業がAIを導入するのが難しいのはなぜですか？
ベン：ジェネレーティブAIについて、VCとして興味深いことのひとつは、あらゆる種類の企業を目にすることです。素晴らしい牽引力を持つ企業もありますが、牽引力を持つ企業はすべて、開発者や消費者に販売したり、小規模な法律事務所に販売したりといったカテゴリーに属しています。しかし、私たちは企業向けの牽引力を持つ企業を見たことがありません。企業向けのAIインフラとして、企業がジェネレーティブAIを採用するのが難しいのはなぜですか？
アリ：企業の動きは遅い。もしあなたがコードを解読して参入すれば、企業はあなたを追い出すことが難しくなります。つまり1つ目は、企業の動きが遅いということです。2つ目は、データのプライバシーとセキュリティーに非常に神経質になっていることです。誰もが10年、15年、20年とデータについて話してきた。私は今、自分のデータがいかに貴重なものかを思い知った。私は宝の山に座っていて、大成功を収めようとしている。でも、今になってようやく、自分の持っているこのデータセットがどれほど貴重なものかわかった。これは気をつけなければならない。それから、データ流出に関する報道もある。突然、LLMがあなたのコードやソースを吐き出した。彼らもそれに怯えている。これらすべてのことがLLMの速度を落とし、LLMはそれを考え抜いている。
企業が抱える2つ目の課題は、多くのユースケースにおいて、データが正確である必要があることだ。
ベン：それは正しいのでしょうか？本当に正確である必要があるのでしょうか？
アリ：ユースケースによると思います。大企業がそうであるように、彼らは用心深く、時間をかけているのです。大企業の内部では、食料争奪戦が繰り広げられています。
ベン：誰が戦っているのですか？
アリ：私はジェネレーティブAIを所有していますが、ベンではありません。そして、あなたは「私がジェネレーティブAIの所有者だ」と言って回る。社内では誰が所有者なのかが争われ、互いに足手まといになる。そして、"ベンはデータを正しく扱っていないから信用するな "と言う。しかし、私はGenAIを構築しているが、誰がGenAIの所有者なのか不明だ。ITなのか？製品ラインなのか？ビジネスラインなのか？
大企業の内部では巨大な政治が行われている。彼らはそれをやりたがっている。しかし、そこにはあらゆるハードルがあり、価格も大きい。その暗号を解くことができる人は誰でも、素晴らしい会社を作ることができるだろう。
企業のデータ戦争
ベン：OpenAIやAnthropicやBardや誰にでもデータを渡したくないという企業の意見は正しいのでしょうか？それは正しい恐れなのでしょうか、それとも彼らは愚かで、ビッグモデルにデータを置くことで多くの価値を得ることができるのでしょうか？
アリ：可能です。以前は私がやっていることに興味を示さなかったような大企業のCEOと話をする機会が増えました。以前はCIOと話をしていたのですが、今は突然話をしたがります。私の会社の戦略について話したい。私たちはこのデータセットを持っていて、非常に価値がある。この生成AIは面白そうだ。
CEOや取締役会の脳内で起きている本当に興味深いことのひとつは、彼らが「もしかしたら競合に勝てるかもしれない」と気づいたことだ。これは敵を倒す急所かもしれない。ジェネレーティブAIのデータがあれば、実際にそれを実行に移すことができる」と。
しかし、それなら自分で作らなければならない。IPを所有しなければならない。そのIPをAnthropicやOpenAIに渡すわけにはいかない。完全にプロプライエタリでなければならない。私のオフィスの外には、さまざまな部署から実際にやると言っている、そして彼らならできると言っている人たちがずらりと並んでいます。今、そのうちの誰に譲るべきか考えているところです」。これが今、社内で起きていることだ。
大きなLLMと小さなLLM
ベン：興味深いですね。戦略の観点から言うと、例えばヘルスケアのデータセットやある種のセキュリティ・データセット、ニールセンのデータセットのような大きなデータセットがあったとします。ニールセンのデータセットを使って、より優れたモデルを構築できるでしょうか？あるいは、自分たちのデータを大規模なモデルの1つに組み込めば、常に自分たちがやっていることに勝てるだろうか？
アリ：だから私たちはモザイクを買収したのです。それは可能です。難しいし、多くのGPUを必要とする。モザイクの人たちは、それを他の人たちのために大規模に行う方法を見つけたんだ。「LLMをゼロから作りたい？私のところに来れば、地雷はすべて知っている。きっとうまくいく。
彼らはそれができる。気の弱い人には向かない。大量のGPUが必要で、コストもかかる。データセットやユースケースにもよる。大企業向けには多くの成功を収めている。彼らのためにゼロからトレーニングし、それがうまくいくのです。
ベン：良いニュースは、それがすべて私のデータであり、誰もそれに触れることができないということです。でも、同じデータを大きなモデルに入れたら、より良い答えが得られるほど、大きなモデルは大きな頭脳を持っているのでしょうか？それとも、Mosaicでチューニングされた、企業に特化した、データセットに特化したモデルの方が良い結果を出すのでしょうか？その点についてはどうお考えですか？
アリ：特定のユースケースでは、ビッグ1は必要ありません。まず第一に、MosaicとDatabricksでビッグ1を構築することができます。ただ、どれだけの資金がありますか？ご希望であれば、100ブールパラメータモデルを喜んでトレーニングします。それをトレーニングするための資金がすべてあったとしても、それを使うには多くの費用がかかります。それを使って推論を行う場合は、さらにコストがかかる。
ベン：パラメータの数とデータの量に対するデータセットの収穫逓増についてはどうお考えですか？モデルを大きくすればするほど、レイテンシーやコストなど、あらゆる面で見返りが少なくなっていくのでしょうか？
アリ：スケーリングの法則があります。パラメータを拡大するのであれば、データも一緒に拡大しなければなりません。そうでなければ、スケーリングによる利益を得ることはできません。パラメーターを増やしても、データだけを増やしても、これらの次元のどれか1つでも改善される。しかし...
ベン：でも、お金はかかるよ。
アリ：非効率になる。パレート最適ではなくなります。具体的なユースケースを持つ企業が私たちのところに来るとき、彼らは「何でも答えられるLLMが欲しい」とは言いません。彼らはこう言うのだ。この写真から、製造工程における特定の欠陥を分類したいのです」。そこでは正確さが重要だ。訓練に適したデータセットがあれば、それに越したことはない。より小さなモデルを訓練すれば、レイテンシーが速くなり、後で使うコストも安くなる。しかし、あなたが作ったモデルは、週末にあなたを楽しませたり、物理の質問に答えたり、子供の宿題を手伝ったりすることはできない。
ベン：データブリックス社にとって、非常に大きなモデルを構築することが重要なのはなぜだと思いますか？
アリ：スケーリングの法則に従えば、大きなモデルの方がよりインテリジェントです。これは今、研究コミュニティでも現場でも企業でも、誰もが注目している聖杯です。
