殺傷能力のある「自律型兵器」の普及は止まらない？ 加速する技術の進化と、合意できなかった規制
WIRED より 211222
この2021年は、これまで「将来的な懸念」とされてきた自律型致死兵器システム（LAWS）が、ついに戦場における「現実」になる様子を世界が目にした年として記憶されるかもしれない。また、政策立案者がこの問題への対策について合意に至ることができなかった年でもある。
国連の特定通常兵器使用禁止制限条約に参加する120カ国は12月17日（米国時間）、自律型致死兵器の開発や使用の制限について合意できなかった。代わりに議論を継続し、対策を「強化する」と誓うにとどまっている。
ジュネーヴに拠点を置く国際赤十字社で科学および政策のシニアアドヴァイザーを務めるニール・デイヴィソンは、「非常に残念です。そして機を逸してしまったことは間違いありません」と語る。この合意を得られなかった今回の会議の9カ月ほど前には、リビアの内戦で自律型致死兵器が初めて武力紛争に使用されたと国連が報告していた。
⚫︎自律型致死兵器の禁止に「反対」する国々の事情
近年、より多くの兵器システムが自律的な要素を組み込んでいる。例えばミサイルのなかには、具体的な指示がなくても特定のエリア内を飛行できるものもある。
ただし一般に,攻撃を開始する際には人間が必要になる。そしてほとんどの政府は,少なくとも現時点では,こうした技術を使う際には人間を「介在」させ続ける予定だと説明している。
だが、人工知能（AI）のアルゴリズム、センサー、電子機器の進歩によって、より高度な自律型システムの構築が容易になった。このため殺傷力を行使するタイミングを自ら判断できる機械が出現する可能性が出てきている。
ブラジル、南アフリカ、ニュージーランド、スイスをはじめとして、自律型致死兵器を化学兵器や生物兵器、地雷のように条約で制限すべきと主張する国が増えている。
ドイツとフランスは、人間を標的にする可能性のあるものを含む一部の自律型兵器の制限を支持している。
中国は極めて狭い範囲の制限を支持している。
米国、ロシア、インド、英国、オーストラリアなどのほかの国々は、自律型致死兵器の禁止に反対している。
米国、ロシア、インド、英国、オーストラリアなどのほかの国々は、自律型致死兵器の禁止に反対している。
戦略的に不利な立場に陥らないようするためには、そうした技術の開発に取り組む必要があるというのだ。
⚫︎加速する自律型技術の進歩
殺人ロボットは昔から人々の想像力をかき立てており、SFの人気キャラクターやディストピア的な未来像の着想の源にもなってきた。また近年はAI分野に革新がもたらされ、特定の領域では人間を上回る思考力をもつ新しいタイプのコンピュータープログラムが誕生している。こうしたなか、より賢くなった機械がもたらす実存的脅威について、テック業界の大物たちが警鐘を鳴らすようになっている。
この問題は今年に入り、ますます緊急性を帯びてきた。2020年にリビアの内戦でトルコ製のドローン「Kargu-2」が使用されたと国連が報告したのだ。国民合意政府派の勢力が、リビア国民軍を率いるハリファ・ハフタル将軍を支持する部隊に対して、人間を標的にして攻撃する自律型のドローンを発射したという。
「兵站部隊および退却していたハフタル将軍側部隊は…無人戦闘機に追跡され、遠隔操作で攻撃された」と報告書は説明している。
⚫︎加速する自律型技術の進歩
殺人ロボットは昔から人々の想像力をかき立てており、SFの人気キャラクターやディストピア的な未来像の着想の源にもなってきた。また近年はAI分野に革新がもたらされ、特定の領域では人間を上回る思考力をもつ新しいタイプのコンピュータープログラムが誕生している。こうしたなか、より賢くなった機械がもたらす実存的脅威について、テック業界の大物たちが警鐘を鳴らすようになっている。
この問題は今年に入り、ますます緊急性を帯びてきた。2020年にリビアの内戦でトルコ製のドローン「Kargu-2」が使用されたと国連が報告したのだ。国民合意政府派の勢力が、リビア国民軍を率いるハリファ・ハフタル将軍を支持する部隊に対して、人間を標的にして攻撃する自律型のドローンを発射したという。
「兵站部隊および退却していたハフタル将軍側部隊は…無人戦闘機に追跡され、遠隔操作で攻撃された」と報告書は説明している。
このシステムは「オペレーターと兵器間のデータ接続を必要とせずに目標を攻撃するようプログラミングされており、実質的に真の『ファイア・フォーゲット・アンド・ファインド（撃ち放しで標的を発見する）』能力を備えたものであった」という。
このニュースは自律型技術の進歩の速さを示している。「技術は軍事政策的な議論よりも、はるかに早く発展しています」と、マサチューセッツ工科大学（MIT）教授のマックス・テグマークは言う。彼は人類が直面する存亡の危機への対処に尽力している団体「Future of Life Institute」の共同創設者でもある。「このまま何もしなければ、わたしたちは最悪の結果に向かって進み続けるでしょう」
AI兵器の普及を懸念する技術者が増えているが、テグマークもそのひとりだ。Future of Life Instituteは、いわゆる「殺人ロボット」がもたらすリスクをもっと意識してもらおうと、短編映画を2本制作した。そのうち11月に公開された最新作は、自律型ドローンが標的型暗殺を実行する可能性に焦点を当てている。
「殺人ロボットの普及を批判する流れが強まっています」と、テグマークは言う。「軍用AIをすべて禁止しろと言っているわけではありません。『もし人間だったら殺せ』という指令を受けたものだけです。つまり、人間を標的にした兵器の禁止なのです」
⚫︎禁止や規制の際の課題
自律型兵器の使用を禁止したり規制したりする際の課題のひとつは、実際に使われたかどうか知ることが難しい点だろう。Kargu-2を開発したトルコ企業のSTMは、人間が制御しなくても人間を標的にして発射する機能を同機が備えているとは認めていない。
同社のウェブサイトでは現在、殺傷力の使用については人間のオペレーターが判断するとしている。「軍事作戦には人間を介在させるという原則に従い、精密照準爆撃ミッションはオペレーターによって完全に実行されます」と書かれているのだ。
ところが、ウェブサイトの6月時点での記述のキャッシュを確認すると、そのような説明が含まれていない。STMにコメントを求めたが、返答はなかった。
「わたしたちは“グレーゾーン”へと突入しようとしています。ドローンが攻撃に使われたとき、どれだけ自律的だったか明確にはわからないのです」と、無党派シンクタンク「新アメリカ安全保障センター」のヴァイスプレジデント兼研究部門ディレクターで、『無人の兵団──AI、ロボット、自律型兵器と未来の戦争』の著者であるポール・シャーレは言う。「これは説明責任という点で、非常に難しい問題を引き起こします」
⚫︎「AI兵器推進派」の主張
イスラエルがイランの著名な核科学者を暗殺した際にAIを活用した兵器を使ったと9月に報道された際も、どれだけ自律的だったかは曖昧だった。『ニューヨーク・タイムズ』の調査によると、遠隔操作された機関銃が一種の顔認識と自律機能を使用していたという。だが、その機関銃が人間の承認がなくても動作できたかどうかは、はっきりとしていない。
攻撃に使われた兵器がどれだけ自律的だったかは、「多くの企業が自社の技術力を誇示する際に『自律性』という言葉を使うことから、よりいっそうわかりにくくなっている」と、シャーレは言う。近年確認されたほかのドローン攻撃は、背景にある技術が急速に進歩していることをうかがわせる。
米国では米国防総省の国防高等研究計画局（DARPA）が、大量のドローンと地上車両を使った実験を進めている。これらのドローンと車両は、人間のオペレーターにとっては監視・制御が困難なかたちで連携することが可能だ。
また米空軍も、AIが戦闘機のパイロットを支援したり、パイロットに取って代わったりする方法を研究している。さらに、人間のパイロットとAIのパイロットとの間で何度も空中戦をさせている。
たとえ自律型兵器を制限する条約があったとしても、「民主的政権と独裁政権との間には、コンプライアンスの点で不均衡があります」と、シャーレは言う。
このニュースは自律型技術の進歩の速さを示している。「技術は軍事政策的な議論よりも、はるかに早く発展しています」と、マサチューセッツ工科大学（MIT）教授のマックス・テグマークは言う。彼は人類が直面する存亡の危機への対処に尽力している団体「Future of Life Institute」の共同創設者でもある。「このまま何もしなければ、わたしたちは最悪の結果に向かって進み続けるでしょう」
AI兵器の普及を懸念する技術者が増えているが、テグマークもそのひとりだ。Future of Life Instituteは、いわゆる「殺人ロボット」がもたらすリスクをもっと意識してもらおうと、短編映画を2本制作した。そのうち11月に公開された最新作は、自律型ドローンが標的型暗殺を実行する可能性に焦点を当てている。
「殺人ロボットの普及を批判する流れが強まっています」と、テグマークは言う。「軍用AIをすべて禁止しろと言っているわけではありません。『もし人間だったら殺せ』という指令を受けたものだけです。つまり、人間を標的にした兵器の禁止なのです」
⚫︎禁止や規制の際の課題
自律型兵器の使用を禁止したり規制したりする際の課題のひとつは、実際に使われたかどうか知ることが難しい点だろう。Kargu-2を開発したトルコ企業のSTMは、人間が制御しなくても人間を標的にして発射する機能を同機が備えているとは認めていない。
同社のウェブサイトでは現在、殺傷力の使用については人間のオペレーターが判断するとしている。「軍事作戦には人間を介在させるという原則に従い、精密照準爆撃ミッションはオペレーターによって完全に実行されます」と書かれているのだ。
ところが、ウェブサイトの6月時点での記述のキャッシュを確認すると、そのような説明が含まれていない。STMにコメントを求めたが、返答はなかった。
「わたしたちは“グレーゾーン”へと突入しようとしています。ドローンが攻撃に使われたとき、どれだけ自律的だったか明確にはわからないのです」と、無党派シンクタンク「新アメリカ安全保障センター」のヴァイスプレジデント兼研究部門ディレクターで、『無人の兵団──AI、ロボット、自律型兵器と未来の戦争』の著者であるポール・シャーレは言う。「これは説明責任という点で、非常に難しい問題を引き起こします」
⚫︎「AI兵器推進派」の主張
イスラエルがイランの著名な核科学者を暗殺した際にAIを活用した兵器を使ったと9月に報道された際も、どれだけ自律的だったかは曖昧だった。『ニューヨーク・タイムズ』の調査によると、遠隔操作された機関銃が一種の顔認識と自律機能を使用していたという。だが、その機関銃が人間の承認がなくても動作できたかどうかは、はっきりとしていない。
攻撃に使われた兵器がどれだけ自律的だったかは、「多くの企業が自社の技術力を誇示する際に『自律性』という言葉を使うことから、よりいっそうわかりにくくなっている」と、シャーレは言う。近年確認されたほかのドローン攻撃は、背景にある技術が急速に進歩していることをうかがわせる。
米国では米国防総省の国防高等研究計画局（DARPA）が、大量のドローンと地上車両を使った実験を進めている。これらのドローンと車両は、人間のオペレーターにとっては監視・制御が困難なかたちで連携することが可能だ。
また米空軍も、AIが戦闘機のパイロットを支援したり、パイロットに取って代わったりする方法を研究している。さらに、人間のパイロットとAIのパイロットとの間で何度も空中戦をさせている。
たとえ自律型兵器を制限する条約があったとしても、「民主的政権と独裁政権との間には、コンプライアンスの点で不均衡があります」と、シャーレは言う。
ロシアや中国のような敵対国は、自律型兵器の開発を制限することに同意したとしても、民主主義国と同等の説明責任を果たさずに開発を続ける可能性があるのだ。
だからこそ、AI兵器を開発する必要があると主張する人々もいる。少なくとも、高速かつ複雑に作動できる自律型システムに対する防衛策として、同様のシステムの開発に取り組むべきであるというのだ。
国防総省のある幹部は4月、米陸軍士官学校で開かれた会議で、人間が迅速に対応できない状況においては指揮系統から人間を外すことを検討する必要があるかもしれないと語っている。
⚫︎何らかの制限への同意は得られるか
敵対国に後れをとる可能性は、軍事計画を立てる者にとっては当然ながら重大な懸念事項となる。作家のエリオット・アッカーマンと米海軍大将のジェイムズ・スタヴリディスは『WIRED』US版で掲載した小説「2034: A Novel of the Next World War」（日本では『2034 米中戦争』として刊行）に関するインタヴューで、「米国に対する大規模なサイバー攻撃」が起きた場合を想像している。
彼らが想定しているのは、「敵が水面下でのサイバー攻撃（サイバーステルス）とAIを魔法の薬のように洗練させ、それをわたしたち（＝米国）に対して行使する」ような状況だ。
これまでもAIの軍事利用が物議を醸してきたにもかかわらず、米国のテック企業は国防総省がさらにAI技術に磨きをかけることを支援し続けている。AIの戦略的可能性を検討する人工知能国家安全保障委員会は、AIに多額の投資をするよう勧告した。
だからこそ、AI兵器を開発する必要があると主張する人々もいる。少なくとも、高速かつ複雑に作動できる自律型システムに対する防衛策として、同様のシステムの開発に取り組むべきであるというのだ。
国防総省のある幹部は4月、米陸軍士官学校で開かれた会議で、人間が迅速に対応できない状況においては指揮系統から人間を外すことを検討する必要があるかもしれないと語っている。
⚫︎何らかの制限への同意は得られるか
敵対国に後れをとる可能性は、軍事計画を立てる者にとっては当然ながら重大な懸念事項となる。作家のエリオット・アッカーマンと米海軍大将のジェイムズ・スタヴリディスは『WIRED』US版で掲載した小説「2034: A Novel of the Next World War」（日本では『2034 米中戦争』として刊行）に関するインタヴューで、「米国に対する大規模なサイバー攻撃」が起きた場合を想像している。
彼らが想定しているのは、「敵が水面下でのサイバー攻撃（サイバーステルス）とAIを魔法の薬のように洗練させ、それをわたしたち（＝米国）に対して行使する」ような状況だ。
これまでもAIの軍事利用が物議を醸してきたにもかかわらず、米国のテック企業は国防総省がさらにAI技術に磨きをかけることを支援し続けている。AIの戦略的可能性を検討する人工知能国家安全保障委員会は、AIに多額の投資をするよう勧告した。
この委員会には,グーグルやマイクロソフト、アマゾン、オラクルの代表も参加している。
国連の議論にかかわった国際赤十字社のデイヴィソンは、技術が政策論争よりも速く進化していると指摘する。「各国政府には、新たなルールを採用するための具体的な行動に出ることが強く求められます」
たとえ国連の場でなくても、各国が何らかの制限に同意するのではないかという望みを、デイヴィソンはまだ捨てていない。
各国の行動を見ると、自律型兵器に対して抵抗感を抱いていることがうかがえると、デイヴィソンは言う。「かなり興味深いのは、人間を直接狙う自律型兵器を使用しているのではないかという疑いに対して、軍や政府、メーカーといった関係者が否定したがるということです」
国連の議論にかかわった国際赤十字社のデイヴィソンは、技術が政策論争よりも速く進化していると指摘する。「各国政府には、新たなルールを採用するための具体的な行動に出ることが強く求められます」
たとえ国連の場でなくても、各国が何らかの制限に同意するのではないかという望みを、デイヴィソンはまだ捨てていない。
各国の行動を見ると、自律型兵器に対して抵抗感を抱いていることがうかがえると、デイヴィソンは言う。「かなり興味深いのは、人間を直接狙う自律型兵器を使用しているのではないかという疑いに対して、軍や政府、メーカーといった関係者が否定したがるということです」
※『WIRED』による人工知能（AI）の関連記事
