筆者は元米国陸軍レインジャー部隊員で軍事アナリスト、恐るべき近未来の、しかし目の前にあるリスクの、軍事専門家による解説本であり、AI兵器が、映画「ターミネータ」や「スターウォーズ」に登場したロボット兵器を超えた恐怖を人類にもたらす存在であること痛感する。
東西冷戦時代にも米ソ対立のさなか、誤った攻撃情報から核戦争に陥るリスクが少なくとも13回あった。1983年に大韓航空機が撃墜された直後、ソ連はアメリカからの報復攻撃がある可能性が高まったと信じ、高度の迎撃態勢を敷いていた。その時、5基のミサイルが襲来しているという情報を得た勤務中のペトロフ大佐は短時間での判断を迫られたが、アメリカがわずか5基での攻撃をするはずがないと考え、システム不具合を疑った。結果的にそれは正しく、雲の反射をミサイルと誤判断したシステムのミスだった。
筆者自身による経験で、アフガニスタンにおけるタリバン掃討作戦従事期間、偵察要員とみられる少女がヤギを連れて部隊の周りを歩き、タリバンに報告している様子が観察された。その後タリバンとの銃撃戦になったが、敵勢力が多く撤退に追い込まれた。少女は明らかに偵察要員だったが、少女を撃ち殺すことはできないと即座に判断した。ロボット防衛に求められるのは国際法上の合法判断であり、この場合には偵察要員を狙撃することは明らかに合法、しかし合法でも人間的ではないことをロボットは抑制できるのか。
ロボットによる自律判断にはOODA（観察、向かう、判断、行動）ループがあり、ループの中に人間判断を入れるか、人間はそのループの外で判断するかで、ロボット兵器の自律性の高さが変わる。攻撃判断だけは人間が行う場合には半自律、人間がOODAを常に監視している状態なら監督付き自律、事前に与えられた条件と指令により人間判断なしに攻撃を完結できる場合には完全自律と呼ばれる。問題は判断する時間があるのか、敵の攻撃もロボットが行う場合には間に合うのか、ということ。
一発ずつ弾を込めるマスケット銃、クランクを手で回すと自動的に弾が発射されるガトリング銃、弾丸が発射される反動で自動的に次の弾薬が装填されるマキシム銃、これらの機関銃開発が自動兵器の初期段階。精密誘導弾、レーダー誘導ミサイル、そして事前に設定された敵陣地を自動攻撃するドローン兵器群と発達、先ごろサウジアラビアの石油基地を攻撃したのは数十基の武装ドローンであった。
トマホークなどのレーダー誘導ミサイルが数百万ドルするのに対し、ドローン兵器は千ドルから数万ドルであり、誰でも手に入るドローンにカメラとセンサー、そして銃もしくは爆弾を組み合わせれば、テロリストでなくてもだれでも組み立てられる。これが現代社会でのAI兵器最大のリスクであると筆者は指摘する。
攻撃兵器を設計する場合、敵地進入後は、電波妨害がある前提で考え、遠隔操作できなくても自律的判断で敵攻撃を回避しながら所期の攻撃目標に到達して任務を完了できるように、AI設計をする。敵も、同じように防衛設計をするので、軍隊と民間の区別、敵味方の区別、目標と非目標判断などを一瞬で行わなければならないが、それを偽装する、妨害する、囮を設けるなどの工夫をすることになる。どこまで相手の裏をかき、先を読めるかの勝負になる。
AIは画像認識技術を洗練化しており、その認知技術をだます技術も研究が進んでいる。戦車と民間自動車、軍事レーダーとテレビのアンテナ、子供と大人、軍人と民間人、これらの認識と偽装、デコイと本物、これらをいかに短時間で判断できるかの競争になる。しかし攻撃も防御もロボットが行う場合には、あまりに短時間で行われるため、OODAループに人間が関与できなくなってくる。例えば、数百基のドローン兵器群の相互制御は完全自動化されており、人間が少しでも関与すると兵器群制御に混乱が生じて全滅してしまう。
完全自律型兵器は国際条約で禁止する、という流れになったとして、それを遵守するのかどうかは各国判断であり、テロリストがその条約を守ってくれるかどうかは分の悪い賭けになる。現在までも国際法で多くの禁止兵器が存在してきたが、成功したのは「視力を奪う兵器」「核兵器」「検出不可能な破片により人体に障害を与える兵器」「環境改変兵器」「南極、月、宇宙の軍事利用」など数えるほど。その他の化学兵器、生物兵器、焼夷弾、地雷などの多くの禁止兵器が実戦では使われ続けている。
筆者はいくつかのオプションを提案する。オプション1：完全自律兵器禁止 ２：対人自律兵器禁止 ３：自律兵器の道路交通法制定 ４：戦争における人間判断の一般原則制定 それでも、想定外のAI兵器開発、使用、転用などが起きない保証はない。
人間を超えるAIは開発されるのか、という問いには20年から100年未来には、という予測がある。一方で、AI囲碁がネットワーク経由の相互対戦で一気に人間を抜き去ったように、限定された機能のAIから、汎用人工知能（GAI）に移行した時点で、GAIはネットワーク経由ですぐさま人類を凌駕する能力を自律的に獲得する、という予想までが存在する。自動株式取引のAIが株の暴落をもたらす可能性が指摘され、暴落暴騰のストップ機構が設けられたことは記憶に新しい。サイバー空間での妨害AIと人間と一部の防衛AIが今も世界中で戦っていることもほんの一部だけが報道されている。ここまでが本書内容。
人間が制御できなくなれば、それはもうSFの世界ではなく、「シンギュラリティ」はどのような始まりなのか、それは人類が気付けるのかも分からない。テロリストによる油田攻撃はこうしたリスクをすでに人類に突き付けているのかもしれない。油断なく世界を見渡していないと、AIによる制御不能な時点が過ぎてしまったことを、人類は見逃してしまうのかもしれない。
