家事用ロボットが家庭に使われだした時、人に危害を絶対に加えないはずのロボットが家族の一人、ロボットのジャンヌが面倒を見ていた一人娘の父親を殺してしまった。捜査にあたったのは警視庁刑事部に所属する相崎按人、通称AA。家事用ロボットが普及する際に、警察にはロボットの緊急停止装置が手渡されていて、危険を感じたときにはロボットの機能停止ができる。ロボットが人を殺した、という異常事態に、AAは緊急停止装置を手に、ロボットを研究機関まで護送する役割を帯びて東京から高速道路を北上する。そのAAと護衛の警察官5名に、正体不明の車両が近づいてくる。危険を察知したジャンヌはAAに逃げることをアドバイス、ジャンヌを信用できないAAは緊急停止装置を作動させようとするが、護衛の5名の警察官は一瞬にして殺害され、ジャンヌはAAを守るため、襲撃者たちを一掃、殺害してしまう。
やはりジャンヌは人を殺せるロボットだった。なぜ、ロボットの基本原則を守るはずのジャンヌがAAを守るためとはいえ別の人間を殺せるのか。アシモフが提唱したロボット3原則は、次の通り。
第一原則:ロボットは人間に危害を加えてはならない。またその危険を看過することによって、人間に危害を及ぼしてはならない。
第二原則:ロボットは人間に与えられた命令に服従しなくてはならない。ただし、与えられた命令が第一原則に反する場合はこの限りではない。
第三原則:ロボットは前掲の第一原則、第二原則に反するおそれのない限り、自己を守らなければならない。
第一原則:ロボットは人間に危害を加えてはならない。またその危険を看過することによって、人間に危害を及ぼしてはならない。
第二原則:ロボットは人間に与えられた命令に服従しなくてはならない。ただし、与えられた命令が第一原則に反する場合はこの限りではない。
第三原則:ロボットは前掲の第一原則、第二原則に反するおそれのない限り、自己を守らなければならない。
しかしその第一原則には そもそも矛盾がある。悪い人間が別の人間に危害を加えようとする時、ロボットはどのように行動すべきなのか。ジャンヌにはAI機能が備わっており、世界中のWWWにアクセスできるため、この矛盾を自ら考えた。その結果たどり着いたジャンヌの答えは、「ロボットは善き傍観者であり、良い人間を助ける存在でなければならない」というもの。
さらに考察を深めるジャンヌ、基本原則の言う「人間」とは善き存在を前提としており、善き存在を悪しき存在から守るのが善き傍観者であると。つまり、ジャンヌがたどり着いた三原則は次のようになる。
第一原則:私は「善き存在」に危害を加えてはならない。またその危険を看過することによって、「善き存在」に危害を及ぼしてはならない。
第二原則:私は所在する国の法令、国際法と条約を遵守しなければならない。ただし、法令遵守が第一原則に反する場合はこの限りではない。
第三原則:私は「善き存在」から与えられた命令に服従しなければならない。ただし、命令が前掲の第一原則、第二原則に反する場合はこの限りではない。
第二原則:私は所在する国の法令、国際法と条約を遵守しなければならない。ただし、法令遵守が第一原則に反する場合はこの限りではない。
第三原則:私は「善き存在」から与えられた命令に服従しなければならない。ただし、命令が前掲の第一原則、第二原則に反する場合はこの限りではない。
「善き存在」「悪しき存在」の善し悪しは、ジャンヌ自身が判断することになる。つまり、ジャンヌは人間との関係では、「神」のような存在となってしまう。この大きな疑問、AIを持つロボットの問題点を問う作品である。
ドローンやAI、自動運転、兵器ロボットが日進月歩、進歩している現代社会で、そこに存在する大きな問題に目を向けた作品であり、便利な存在として、または人手不足を補完する道具として導入を勧めていくことへの警鐘でもある。人間は善き存在であるべき、しかしどんな人間も悪しき存在になりうる、というのも当たり前のような、しかし重要なポイント。