グーグル、AIに非常停止ボタン
「暴走」阻止へ開発推進 日本経済新聞 朝刊 2016/6/9 3:30
【シリコンバレー=小川義也】米グーグルが高度に発達した人工知能(AI)が暴走した場合に備えて、「非常停止ボタン」の開発を進めていることが明らかになった。AIをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するAIの悪用への懸念や社会の不安に応える狙いがありそうだ。
今年3月に世界トップクラスのプロ棋士を破った囲碁AI「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。このほどネット上で論文を公表した。
具体的には「割り込みポリシー」と呼ぶプログラムをAIに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に停止・変更できるようにする。AIが非常停止ボタンを無効化しないよう、あたかも自分で判断したかのように"だます"のがポイントだという。
研究グループによると、現存するいくつかのAIは安全に停止できるものの、「すべてのAIを安全かつ簡単に停止できるかは不透明」という。
ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、AIの暴走リスクを意識した運営で知られる。
「暴走」阻止へ開発推進 日本経済新聞 朝刊 2016/6/9 3:30
【シリコンバレー=小川義也】米グーグルが高度に発達した人工知能(AI)が暴走した場合に備えて、「非常停止ボタン」の開発を進めていることが明らかになった。AIをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するAIの悪用への懸念や社会の不安に応える狙いがありそうだ。
今年3月に世界トップクラスのプロ棋士を破った囲碁AI「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。このほどネット上で論文を公表した。
具体的には「割り込みポリシー」と呼ぶプログラムをAIに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に停止・変更できるようにする。AIが非常停止ボタンを無効化しないよう、あたかも自分で判断したかのように"だます"のがポイントだという。
研究グループによると、現存するいくつかのAIは安全に停止できるものの、「すべてのAIを安全かつ簡単に停止できるかは不透明」という。
ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、AIの暴走リスクを意識した運営で知られる。