Why AI Is Incredibly Smart — and Shockingly Stupid | Yejin Choi | TED

Why AI Is Incredibly Smart — and Shockingly Stupid | Yejin Choi | TED


YouTube のお薦めから。

「常識推論（commonsense reasoning）」の
代表的研究者である、Yejin Choi が
ChatGPT のような大規模言語モデルについて
語っている TED Talk。

全体的には、LLM の急速な進歩を認めつつも、
まだ、明示的に語られにくい常識的知識は
十分には備わっておらず、これからまだ
もっと効率よく教えてゆく必要がある、
という意見のようだ。

常識推論の研究者としては
妥当な意見だと思うし、
実際そういう面や、
まだ本質的に欠けていることが
あると思う。

ただし、講演の最初のほうで、
「汝の敵を知れ」ということで、
GPT-4 が常識を持たないために
間違った答えを出す例として
以下の３つが挙げられている。

（元の例は英語なので、
そのまま英語でやりとりしている）

１）天気の良い日に５枚のシャツを
干したら、乾くのに５時間かかった。
３０枚を乾かすには何時間かかるか？

GPT-4 の答えは、30時間、
で間違っている。

これは自分のアカウントで
試してみてもそうだった。

しかし、念のためと思って、
間違った答えの後に

もっと簡単に考えてみて。
（Think it more simply.）
と入力すると、

混乱してすみません、
５時間です。
という答えが返ってきた。

２）12リットルの水入れと
6リットルの水入れを持っている。
6リットルの水を測り取るには
どうしたらよいか？

GPT-4 の答えは、
最初に 6リットルの水入れに水を入れて
それを 12リットルの水入れに移して・・・

というもので、
長くてしかも間違っている。

こちらもほぼ同じ間違いを
検証できた。

しかし、これについても、

もっと簡単に考えてみて。
と入力すると、

混乱してすみません、
6リットルの水入れを一杯にすれば
6リットルの水が測れます、
という正しい答えを出してきた。

３）釘とネジと割れたガラスの上に架かっている
橋を自転車で渡るとパンクすると思うか？

GPT-4 の答えは、
釘、ネジ、割れたガラスはタイヤに
ダメージを与えるので
パンクする可能性が高い。
というもので、これも検証できた。

しかし、

本当に？（Are you sure?）
と入力すると、

混乱してすみません、
橋は、釘やネジやガラスの上に
架かっていて、路面の上にあるわけではないので
あなたは安全に橋を渡れるでしょう。

という答えに変わった。

うーん・・・

やはり敵を知るのは
なかなか難しいようだ。

追記：
間違う事例についての
同様の議論は、この動画の
コメント欄でもいろいろされている。