GPT-4 Creator Ilya Sutskever

GPT-4 Creator Ilya Sutskever


OpenAI の研究技術面でのリーダーである
イリヤ・サツケヴァーさんのインタビュー。

ヒントン先生の弟子で、
深層学習の創成期以来、
AlexNet、Seq2Seq、そして、
GPT などの大きなジャンプに
中心的な貢献をしてきている。

Google Scholar によると、
著者に入った論文全体で
40万ちかい引用数を稼いでいる。
超 S クラスの研究者だ。

こちらのインタビューは、
技術的なことがらに対する信念が、
明確に、かつ、具体例を伴って
（"I'll show you an example." という
フレーズが何度も出てきた）
語られていて面白かった。

”Attention is all you need" の前に、
”Prediction is all you need" である。

深層ニューラルネットの本質的な点は、
大規模化させることが、
大きな性能向上につながるということ。

AlexNet の研究開発時代から、
こうした信念が変わらずにあったからこそ、
大規模なデータで、大規模なネットワークを、
自己回帰的に自己教師あり学習させる
という路線をぶれずに推進できたのだろう。

その他、いくつか
記憶に残ったコメントをメモしておく。

言語モデルを視覚などと
つなぐことは重要だが、
たとえ言語しか扱わなくても、
言語を通して世界を理解できる。

視覚などとの接続も、
基本的には、予測＋大規模化
で進むだろう。

大規模言語モデルは、自己回帰的な
自己教師あり学習によって、
データである文章の背後にある
この世界のプロセスについて
ほぼ完全な理解を獲得している。

しかし、質問に応じて
それを適切に呼び出して
回答する出力部分が弱かったので、
人間のフィードバックを使った
強化学習でその部分を改善した。

今考えていることは、
より少ないデータから
より速く、より信頼性高く
学習する方法。

たくさん知れば知るほど、
追加の学習は容易になる。

一人の人間には、
中くらいの会社で
起っていることを
把握し、マネージするのも
難しい。

AI はそういう面でも
大きな助けになるだろう。