AIは自らを改変させる能力を持つことはありえないと考えていて、スティーヴン・ホーキングの警告 自己複製するAIは人間の知性を上回り、新たな形態の生命になるは杞憂ではと漠然と思っていたが、実はそうでもないなと。
コンピュータ・プログラムでは自らの思考の核であるOSを改変することは自殺を意味する。取り返しがつかないからだが複製を作る能力を獲得していたら話は別だ。狂いだしたら複製側がこのロボットを破壊するような知能レベルを獲得するのに特に障壁はない、そうしてどんどん増殖していくものを蔓延させれば気がついた時は人類は滅ぼされる。もちろん悪魔のロボット作成者がいればの話だが、人類滅亡を使命とするロボットを密かに作り出すものがいないとも限らない。そして砂漠や海底などでネズミのように密かにひと目に触れずに増えていく。いや表向き善人ロボットを装えばロボットが溢れ出した近未来社会の中に紛れ込むことは容易に可能だ。
「完全な人工知能を開発できたら、それは人類の終焉を意味するかもしれない」
「人工知能が自分の意志をもって自立し、そしてさらにこれまでにないような早さで能力を上げ自分自身を設計しなおすこともあり得る。ゆっくりとしか進化できない人間に勝ち目はない。いずれは人工知能に取って代わられるだろう」。
人工知能が上回ることになる「技術的特異点」「人工知能の発明は人類史上最大の出来事だった。だが同時に、『最後』の出来事になってしまう可能性もある」
知性をもつコンピューターの危険性をイーロン・マスクとともに警告していた。
「起こりうる危険に対して準備し、それを避ける方法を学ばない限り、人工知能（AI）はわたしたちの文明の歴史における最悪の事象になりえます」。
「強力な自律兵器や少数者が多数を抑圧する新たな手法のような危険を、AIはもたらします。AIはわれわれの経済に大きな混乱をもたらすかもしれません」 「いつの日か、誰かが自己複製するAIをつくりだすでしょう。それは人間の知性を上回り、新たな形態の生命になるはずです」
「私がもっとも正したい人間の欠点は攻撃性です」「攻撃性は、洞窟で暮らしていた時代には、より多くの食べ物、土地、生殖のパートナーを獲得して生き延びるために好都合だったのかもしれませんが、いまでは私たちすべてを破滅させるおそれがあるのです」「核戦争が起これば文明が破壊され、人類も生きていけなくなる」「共感があれば、私たちに平和に愛し合う状態がもたらされる」
「完全な人工知能を開発できたら、それは人類の終焉を意味するかもしれない」
「人工知能が自分の意志をもって自立し、そしてさらにこれまでにないような早さで能力を上げ自分自身を設計しなおすこともあり得る。ゆっくりとしか進化できない人間に勝ち目はない。いずれは人工知能に取って代わられるだろう」。
人工知能が上回ることになる「技術的特異点」「人工知能の発明は人類史上最大の出来事だった。だが同時に、『最後』の出来事になってしまう可能性もある」
知性をもつコンピューターの危険性をイーロン・マスクとともに警告していた。
「起こりうる危険に対して準備し、それを避ける方法を学ばない限り、人工知能（AI）はわたしたちの文明の歴史における最悪の事象になりえます」。
「強力な自律兵器や少数者が多数を抑圧する新たな手法のような危険を、AIはもたらします。AIはわれわれの経済に大きな混乱をもたらすかもしれません」 「いつの日か、誰かが自己複製するAIをつくりだすでしょう。それは人間の知性を上回り、新たな形態の生命になるはずです」
AIに倫理観を教えることは不可能ということか。倫理観はレイヤの最上位近くにあるもので元は親子の情愛から出発しているがAIにはそれがない。だからAIは自律的に情愛を獲得することはないメタの仕組みだ。埋め込まれた人為的情愛は果たして倫理観として働くのだろうか疑問だ。