ジョージア工科大、TAが人工知能だったことに学生の誰も気づかなかった

約1カ月、人間のフリをして気づかれず。

この春、ジョージア工科大学インタラクティブ・コンピューティング学部のオンライン講座に、ジル・ワトソンというティーチング・アシスタント（以下TA）がいました。学生は彼女にオンラインフォーラムで質問し、随時回答をもらっていました。ジルがじつは人工知能だとは知らずに。

ジルは学生からの全質問に答えていたわけではありませんが、答えるときは97％の確信度で答えていました。ここでいう「確信度」とは、「正確度」とはちょっと違います。ジルを開発したAshok Goel教授は、彼女の回答が必ずしも毎回完ぺきではないので、確信度が97％以上のときだけ回答するように動かしていたんです。彼女は今年3月末から4月末にかけての約1カ月間、コンピュータサイエンスを学ぶ学生からも気づかれずにその仕事をこなしていました。

学生たちがジルの正体を知ったのは、4月26日でした。ジョージア工科大学のプレスリリースによれば、学生の反応は全体的にポジティブだったそうです。ある学生は「もうびっくりです」と言い、別の学生はジルに「一緒に遊ぼう」と誘ってみたりもしたそうです。

その講座は「Knowledge Based Artificial Intelligence」と題したもので、ジョージア工科大学のオンラインコンピュータサイエンス修士課程では必修となっていました。講座には毎年300人ほどが参加し、フォーラムには1万件ほどの質問がポストされます。人間のTAも8人ほどいるのですが、なかなかさばききれません。そこでGoel教授と大学院生たちは、バーチャルTAを開発したのです。

ジルはクイズ王となったIBMの人工知能、ワトソンのプラットフォーム上に作られました。そしてGoelさんたちは2014年の講座開設以降に寄せられた約4万件の質問・回答データを収集し、ジルに学習させたのです。

「オンラインクラスの秘密は、生徒が増えれば質問の件数は増えるものの、質問のバリエーションはそんなに増えないのです」とGoelさん。「学生は同じ質問を何度も何度も聞くものです。」この状況は、自然言語処理に長け、明確な答えのある質問への対応を得意とするワトソンのプラットフォームにはうってつけでした。

でもプロジェクトが始まった今年1月頃は、ジルの回答にはまだ不自然な部分があり、斜め上の回答もよくありました。不適切な回答は、学生には見せられていませんでした。

「初期のジルの回答は、キーワードにこだわりすぎて不適切になることがありました」と、プロジェクトに参加した大学院生のLalith Polepeddiさんは言っています。「たとえば、ある学生が他の学生と一緒にビデオ講義を見る企画について質問したときです。それに対しジルは、ビデオ講義を補完する教科書をすすめるような回答を出してしまいました。たしかにキーワードは同じですが、文脈が違っていたのです。我々はこうした間違いから学び、ジルをだんだんと賢くしていったのです。」

最終的にジルはこの仕事をうまくこなせるようになり、3月には人手の確認なしで、フォーラムに直接回答をポストしても大丈夫と判断されました。

Goelさんは来期もこの人工知能プロジェクトに取り組む予定ですが、名前は変えるそうです。プロジェクトの目標は、年末までにバーチャルTAが質問の40％に回答できるようになることです。

この件ではまさに、人工知能がTAという人間の仕事を（部分的にしろ）奪ってしまいましたが、悪いことばかりではありません。というのは、これまで多くの学生が、学習へのサポート不足のために退学に至っています。でも機械的に処理できるような質問対応を人工知能に任せることで、人間のTAはより高度で複雑な問題に取り組む余裕ができると考えられます。

ただ長期的には、バーチャルTAにできることが40％どころか100％に近づいていくのかもしれません。そうなったとき、TAだけじゃなく教授も含めて、人間のための仕事があるのかどうか、そこはわかりませんね…。

source: Georgia Tech

George Dvorsky - Gizmodo US［原文］