AIが生み出す偽情報 ウィズフェイク時代をどう生きるか
画像やテキストが誰でも簡単に生成できる生成AI。
多くのメリットがある一方で、「うそ＝フェイク」の情報が、ネットを中心に拡散するリスクが今まで以上に高まっている。
私たちの身近なところにフェイク情報が存在する「ウィズフェイク」とも言える時代に、どう向き合っていけばいいのか。
巧妙な生成AIによるフェイクの手口と対策の最前線を取材した。
（科学・文化部 島田尚朗、国際部 杉田沙智代、建畠一勇、メディアイノベーションセンター 斉藤直哉）
AI生成画像で混乱
これは「アメリカの国防総省付近で爆発が起きた」とする画像だ。
庁舎付近で大きな黒煙が上がっているように見えるが、実はまったくのうそ＝「フェイク画像」だった。
ことし5月、SNSやインターネットで瞬く間に拡散され、一部の海外のメディアでも「アメリカ国防総省の近くで爆発」と速報された。
大手金融メディアを装った偽アカウントもこの情報を広げたことで、ニューヨーク株式市場のダウ平均株価が一時100ドル以上下落。
この事態に、地元の消防署が旧ツイッターで「国防総省やその周辺で爆発や事故は起きていない」などと呼びかける騒動にまで発展した。
この画像を作ったと見られるのは、近年、急速に利用が広まる「生成AI」と呼ばれるテクノロジーだ。
ことし5月、SNSやインターネットで瞬く間に拡散され、一部の海外のメディアでも「アメリカ国防総省の近くで爆発」と速報された。
大手金融メディアを装った偽アカウントもこの情報を広げたことで、ニューヨーク株式市場のダウ平均株価が一時100ドル以上下落。
この事態に、地元の消防署が旧ツイッターで「国防総省やその周辺で爆発や事故は起きていない」などと呼びかける騒動にまで発展した。
この画像を作ったと見られるのは、近年、急速に利用が広まる「生成AI」と呼ばれるテクノロジーだ。
特別な知識や技術力は必要ない。
サービスを提供しているウェブサイトなどにアクセスすれば、誰でも利用することができる。
今、この新しいテクノロジーで作られた「フェイク」がネット空間にあふれ、真偽の見極めが追いつかない状況になりつつある。
フェイクは日本でも現れた。
去年9月、台風15号による豪雨で静岡県で水害が起きた際、SNSで町全体が水没したような画像が投稿された。
サービスを提供しているウェブサイトなどにアクセスすれば、誰でも利用することができる。
今、この新しいテクノロジーで作られた「フェイク」がネット空間にあふれ、真偽の見極めが追いつかない状況になりつつある。
フェイクは日本でも現れた。
去年9月、台風15号による豪雨で静岡県で水害が起きた際、SNSで町全体が水没したような画像が投稿された。
画像は5000件以上リポストされ、拡散。
静岡県が記者会見で県民に注意を呼びかける事態となった。
その後、投稿者はAIで作った偽画像だと認めて謝罪した。
静岡県が記者会見で県民に注意を呼びかける事態となった。
その後、投稿者はAIで作った偽画像だと認めて謝罪した。
AIで世論工作も
さらに、世論工作のためにAIの偽画像が使われている可能性も浮かび上がってきた。
台湾でAIを使って偽情報の拡散傾向などを研究する団体「Taiwan AI Labs」は、フェイスブックや台湾の掲示板の中で、このアカウントに注目した。
（投稿抜粋）
「邪悪な資本主義同盟」「東側が勝ち西側が負ける」
「邪悪な資本主義同盟」「東側が勝ち西側が負ける」
これらの投稿をしたアカウントの顔画像は、欧米風の男児の顔だった。
こうした不審な顔画像が用いられていたアカウントは、ほかにも複数確認され、いずれも、蔡英文政権や欧米に批判的な内容などを拡散させていた。
こうした不審な顔画像が用いられていたアカウントは、ほかにも複数確認され、いずれも、蔡英文政権や欧米に批判的な内容などを拡散させていた。
これらの人物は実在するのか。
国立情報学研究所の越前功教授らのグループに、今回見つかったアカウントの顔写真10枚の分析を依頼した。
その結果、すべての顔画像が「AIで生成された可能性が高い」と判定された。
国立情報学研究所の越前功教授らのグループに、今回見つかったアカウントの顔写真10枚の分析を依頼した。
その結果、すべての顔画像が「AIで生成された可能性が高い」と判定された。
なぜ架空の人物を使うのか？
なぜAIで生成された顔画像が使われるのか。
「Taiwan AI Labs」は「偽情報の拡散を容易にするためだ」と指摘する。
AIの偽の顔画像は、SNSのアカウントを作成するために利用されていた。それらのアカウントが情報を発信、別のアカウントが次々に引用していくことで、情報が拡散していくという仕組みが見られた。
そして、偽画像のアカウントからは、ある一定の時間で繰り返し投稿される傾向が見られた。投稿が自動化されているボットアカウントと見られるという。
フェイク情報などを繰り返し発信するこのようなボットアカウントはSNSの運営側によって凍結されることもあるが、凍結されても、AIの偽画像などでいくらでも簡単に作ることができる。リアルな人間の顔の偽画像を使うことで、凍結の対象として認識されにくくなることを狙っていると、「Taiwan AI Labs」は、分析している。
「Taiwan AI Labs」は「偽情報の拡散を容易にするためだ」と指摘する。
AIの偽の顔画像は、SNSのアカウントを作成するために利用されていた。それらのアカウントが情報を発信、別のアカウントが次々に引用していくことで、情報が拡散していくという仕組みが見られた。
そして、偽画像のアカウントからは、ある一定の時間で繰り返し投稿される傾向が見られた。投稿が自動化されているボットアカウントと見られるという。
フェイク情報などを繰り返し発信するこのようなボットアカウントはSNSの運営側によって凍結されることもあるが、凍結されても、AIの偽画像などでいくらでも簡単に作ることができる。リアルな人間の顔の偽画像を使うことで、凍結の対象として認識されにくくなることを狙っていると、「Taiwan AI Labs」は、分析している。
Taiwan AI Labs 杜奕瑾代表
「昔は、顔画像がないアカウントが発信する内容は怪しむようにと注意喚起していたが、いまやアカウント画像があるのが当たり前になってしまった。人の顔だと、見る人には安心感を与えるので、よりフェイクを見抜くのが難しくなっている」
「昔は、顔画像がないアカウントが発信する内容は怪しむようにと注意喚起していたが、いまやアカウント画像があるのが当たり前になってしまった。人の顔だと、見る人には安心感を与えるので、よりフェイクを見抜くのが難しくなっている」
処理水を巡っても
また、こうしたアカウントの一部は、日本が関わる話題についても繰り返し取り上げていることがわかった。
フェイスブックや台湾で人気のネット掲示板などでは、東京電力福島第一原子力発電所のALPS処理水を海洋放出する計画をめぐり、ことし6月ごろから多くの投稿が出現している。
日本政府の姿勢を批判する内容や中国の主張を支持する内容のほか「民進党が飲めばいい」などと台湾の蔡英文政権を非難する内容も見られた。
Taiwan AI Labsが、投稿を行ったアカウントの一つのIPアドレスをたどると、台湾以外から投稿されていたことが確認できた。
このような投稿の目的について、Taiwan AI Labsは「処理水の話題を強調したり、日本と台湾の関係を悪化させたりしようとしている」として、AIアカウントのフェイク情報が、世論工作の一部に使われていると指摘した。
フェイスブックや台湾で人気のネット掲示板などでは、東京電力福島第一原子力発電所のALPS処理水を海洋放出する計画をめぐり、ことし6月ごろから多くの投稿が出現している。
日本政府の姿勢を批判する内容や中国の主張を支持する内容のほか「民進党が飲めばいい」などと台湾の蔡英文政権を非難する内容も見られた。
Taiwan AI Labsが、投稿を行ったアカウントの一つのIPアドレスをたどると、台湾以外から投稿されていたことが確認できた。
このような投稿の目的について、Taiwan AI Labsは「処理水の話題を強調したり、日本と台湾の関係を悪化させたりしようとしている」として、AIアカウントのフェイク情報が、世論工作の一部に使われていると指摘した。
フェイク見抜く研究も
AIの利用が広がることで、世の中にフェイクが氾濫していくことも懸念される中、フェイクに対抗するための技術や研究も世界中で進められている。
アメリカのインテルやマイクロソフトといった世界的な企業に加え、オランダやエストニアのスタートアップ企業などは、画像や動画からフェイクを見抜く技術を研究・開発し、機能の一部をリリースしているところもある。
そうした研究は、日本でも始まっている。
偽画像や音声のフェイクを検出するシステムの開発を進めている都内のスタートアップ企業「NABLAS」。
NABLASでは、偽画像の特徴などを学習させたAIを使って、フェイクの確率を判別していくという。
この「判別AI」を利用して、先ほどのアメリカ国防総省近郊の爆発や静岡水害の画像を、それぞれ分析してもらった。
するとAIは、数秒ほどでヒートマップとよばれる画像を示した。
このヒートマップでは、判別AIが「注目」した領域が色で表示される。
AIがそれほど注目していない領域は青色だが、注目した領域は赤色などで示される。
偽画像や音声のフェイクを検出するシステムの開発を進めている都内のスタートアップ企業「NABLAS」。
NABLASでは、偽画像の特徴などを学習させたAIを使って、フェイクの確率を判別していくという。
この「判別AI」を利用して、先ほどのアメリカ国防総省近郊の爆発や静岡水害の画像を、それぞれ分析してもらった。
するとAIは、数秒ほどでヒートマップとよばれる画像を示した。
このヒートマップでは、判別AIが「注目」した領域が色で表示される。
AIがそれほど注目していない領域は青色だが、注目した領域は赤色などで示される。
国防総省の爆発画像の場合、判別AIは画像内の2つの領域に赤や黄色の反応を示した。
そのうちの1つが、右側のフェンスのような構造物のあたりだ。
よく見ると柵が地面に突き抜けているように見える。
これは人の目でも怪しいと判断できる。
そのうちの1つが、右側のフェンスのような構造物のあたりだ。
よく見ると柵が地面に突き抜けているように見える。
これは人の目でも怪しいと判断できる。
もう1つ、鮮明な赤色で示されたのは、左側の街路樹のあたりだった。
背景の巨大な黒煙とも重なって複雑な領域となっている。
人の目では特に違和感はないが、担当者によると、判別AIは街路樹と煙の境目付近に強い違和感があると判断したと考えられるという。
結果、AIは71％の確率で「フェイク」と判定した。
一方、静岡の水害の画像の場合、判別AIは、広い領域で赤色や黄色を示した。
背景の巨大な黒煙とも重なって複雑な領域となっている。
人の目では特に違和感はないが、担当者によると、判別AIは街路樹と煙の境目付近に強い違和感があると判断したと考えられるという。
結果、AIは71％の確率で「フェイク」と判定した。
一方、静岡の水害の画像の場合、判別AIは、広い領域で赤色や黄色を示した。
人間の目ではわかりにくい、山の輪郭や濁流の不自然な点に注目したと考えられ、「フェイク」の確率を100％と判定した。
AI検知のメリットは短時間で、高精度に、どのような画像でも検知・判別できる点にある。
ただ技術的な課題もあるという。
AIが高精度でフェイクを判断できるのは、あくまで「学習したフェイク」の範囲に限られる。
そのため、今後新たな手法で作られた画像に対しては後手に回ることもあり、常に検知側もアップデートが求められるとNABLASは指摘している。
AI検知のメリットは短時間で、高精度に、どのような画像でも検知・判別できる点にある。
ただ技術的な課題もあるという。
AIが高精度でフェイクを判断できるのは、あくまで「学習したフェイク」の範囲に限られる。
そのため、今後新たな手法で作られた画像に対しては後手に回ることもあり、常に検知側もアップデートが求められるとNABLASは指摘している。
NABLAS ソフトウエアエンジニア 冨山吉孝さん
「検出システムをだませる画像を作ることも考えられ、後手に回ってしまう部分はあるので脅威を感じている。被害を減らすために素早くシステムをアップデートしていくしか方法はない」
「検出システムをだませる画像を作ることも考えられ、後手に回ってしまう部分はあるので脅威を感じている。被害を減らすために素早くシステムをアップデートしていくしか方法はない」
改変防ぐ“サイバーワクチン”も
また、フェイクの検知だけでなく元の画像は何だったのかという、オリジナルを確かめることで真正性を証明する技術開発も進められている。
この画像は、去年、ウクライナのゼレンスキー大統領のオレナ夫人が高級ブランドの服やアクセサリーを身につけた様子の画像だ。
この画像をめぐっては、世界の通信社のファクトチェックチームなどによって「フェイク」と判断されている。
半年以上前に投稿されていた別人の男性の画像と、服装や姿勢など酷似する点がいくつも見られたためだ。
こうした顔を入れ替える手法は「フェイススワップ」とよばれ、ネット上では興味本位で作られたものなどが拡散しているが、中には世論誘導などに利用されかねない悪質なものもある。
この画像をめぐっては、世界の通信社のファクトチェックチームなどによって「フェイク」と判断されている。
半年以上前に投稿されていた別人の男性の画像と、服装や姿勢など酷似する点がいくつも見られたためだ。
こうした顔を入れ替える手法は「フェイススワップ」とよばれ、ネット上では興味本位で作られたものなどが拡散しているが、中には世論誘導などに利用されかねない悪質なものもある。
こうした中、国立情報学研究所の越前功教授は、いわゆる「ワクチン」の概念を応用した、ユニークな研究を進めている。
サイバーワクチンと呼ばれる、目に見えない特殊なデジタル処理を「予め」画像に施すことで、画像が加工されても、元に復元できる手法を開発したのだ。
サイバーワクチンと呼ばれる、目に見えない特殊なデジタル処理を「予め」画像に施すことで、画像が加工されても、元に復元できる手法を開発したのだ。
このシステムは「ワクチン接種AI」と「元の画像に復元するための復元AI」がセットになっていて、まず、ワクチン接種AIが顔周辺にワクチンを打ち込む。
その後、顔部分が改ざんされたとしても復元AIが、ワクチンの情報を参照することで、元の顔を復元することができるという。
その後、顔部分が改ざんされたとしても復元AIが、ワクチンの情報を参照することで、元の顔を復元することができるという。
そのため、この画像のように女性の顔が、まったく別の男性の顔にすり替えられたとしても…。
元の女性の顔を高精度に復元することができるのだ。
この技術を使えば、自分の顔を悪用されても「これは私の顔を入れ替えたものだ」と主張することができるという。
元の女性の顔を高精度に復元することができるのだ。
この技術を使えば、自分の顔を悪用されても「これは私の顔を入れ替えたものだ」と主張することができるという。
国立情報学研究所 越前功教授
「フェイクメディアに打ち勝ち、健全なコンテンツを守るために、前処理をすることで対策していくという意味でワクチンという言葉を使っている。今後、リアルと見まがうフェイクが次々登場し、意図的な攻撃は増えてくるだろう。フェイクであれば、どのような経緯を経て作られたのか、ユーザーが判断しやすいような情報を、技術的な手段を用いて提供していきたい。そうすることでフェイクの拡散を抑止することに資すると思っている」
「フェイクメディアに打ち勝ち、健全なコンテンツを守るために、前処理をすることで対策していくという意味でワクチンという言葉を使っている。今後、リアルと見まがうフェイクが次々登場し、意図的な攻撃は増えてくるだろう。フェイクであれば、どのような経緯を経て作られたのか、ユーザーが判断しやすいような情報を、技術的な手段を用いて提供していきたい。そうすることでフェイクの拡散を抑止することに資すると思っている」
また、大手ソフトウエア会社のアドビも「来歴」というアプローチでフェイクに対抗しようとしている。
アドビが主導している「コンテンツ認証イニシアチブ」（＝CAI）は、画像の来歴情報が閲覧できる仕組みだ。
元画像が加工・編集されたとしても、どのような変遷を経たのか、すべての過程を確認できるため信頼性を担保できるという。
アドビが主導している「コンテンツ認証イニシアチブ」（＝CAI）は、画像の来歴情報が閲覧できる仕組みだ。
元画像が加工・編集されたとしても、どのような変遷を経たのか、すべての過程を確認できるため信頼性を担保できるという。
例えば、この目黒川の画像。上空には、なんとUFOが浮いているではないか。
あまりに怪しいが、CAIを通して見ると…。
使用した画像や編集の過程が表示され、概要には「このコンテンツはAIツールで生成されました」と表示された。
あまりに怪しいが、CAIを通して見ると…。
使用した画像や編集の過程が表示され、概要には「このコンテンツはAIツールで生成されました」と表示された。
国内でも、カメラで知られる大手精密機器メーカーのニコンがCAIの取り組みに賛同し、製品への導入を検討している。
8月現在、55か国から1500を超える企業や団体などがCAIに加盟しており、この取り組みが広がることで、私たちが見ているものが、「手を加えられたものかどうか」知ることができるようになる。
8月現在、55か国から1500を超える企業や団体などがCAIに加盟しており、この取り組みが広がることで、私たちが見ているものが、「手を加えられたものかどうか」知ることができるようになる。
アメリカはどう対応
AIによって偽情報の拡散が容易になっている状況。
各国は政府レベルで警戒を強めている。
アメリカの国務省のグローバル・エンゲージメント・センターでは、複数の人物の顔を組み合わせた偽の顔画像を探知する技術を開発しているという。
各国は政府レベルで警戒を強めている。
アメリカの国務省のグローバル・エンゲージメント・センターでは、複数の人物の顔を組み合わせた偽の顔画像を探知する技術を開発しているという。
カール・ストルツ副調整官
「AIによって、真実っぽい偽情報を作ることが容易になる。現代のAI技術はとても優れていて、日々進化している。現時点では偽情報を探知する方法はあるが、探していないとわからず、拡散を止める方法はなかなかない」
「AIによって、真実っぽい偽情報を作ることが容易になる。現代のAI技術はとても優れていて、日々進化している。現時点では偽情報を探知する方法はあるが、探していないとわからず、拡散を止める方法はなかなかない」
ストルツ副調整官は、技術は日々進歩し、対策はイタチごっことなっているとして、日本との連携にも期待していると話した。
「日本は言語の観点からも、特にアジア太平洋地域で大きな役割を果たすだろう。最近は日本国内に新たな組織が立ち上がり、国家間協力を行いやすくなった。私たちはともに立ち向かうことで、何が起きているのかをより把握し、偽情報にいっそう対抗するための効果的な方法を見いだすことができる」
日本政府も対策へ
日本の防衛省は、各国が行っている対外発信の戦略的な意図や、偽情報の影響などの情報分析を行う「グローバル戦略情報官」を昨年から設置。
初代情報官を務める村上優子さんは、AIを利用して対策を進められるよう、検討を進めているという。
初代情報官を務める村上優子さんは、AIを利用して対策を進められるよう、検討を進めているという。
村上優子さん
「去年はロシアによるウクライナの軍事侵攻や、アメリカのペロシ下院議長の台湾訪問があった。対象国の国内で混乱を引き起こしたり、政治や世論などに影響を与えようとしたりする、偽情報が多く見られた。特定した偽情報を周知し国民に正しい情報を提供することや、正しい情報提供を通じて情報の真偽を見極める力を高めていくことに取り組んでいきたい」
「去年はロシアによるウクライナの軍事侵攻や、アメリカのペロシ下院議長の台湾訪問があった。対象国の国内で混乱を引き起こしたり、政治や世論などに影響を与えようとしたりする、偽情報が多く見られた。特定した偽情報を周知し国民に正しい情報を提供することや、正しい情報提供を通じて情報の真偽を見極める力を高めていくことに取り組んでいきたい」
ウィズフェイク 私たちはどう向き合うか
精度の高い「フェイク」が、より身近な存在になっていくこの先、私たちは、日々の溢れる情報とどのように向き合っていくべきなのか。
AIの活用や情報倫理に詳しい国立情報学研究所の佐藤一郎教授は、次のように警告している。
AIの活用や情報倫理に詳しい国立情報学研究所の佐藤一郎教授は、次のように警告している。
国立情報学研究所 佐藤一郎教授
「まず、気をつけなければいけないことは、自分はだまされないと思うべきではない。誰もがだまされる時代だということを認識することが重要だ。技術的にフェイク情報かどうかを判別する技術が出てきているが、まだ完璧ではない。そうした中では1人1人が主体的に、同時に批判的に情報に接することで、『これはフェイクではないのか』と、疑いながら情報に接していかなければいけない」
「まず、気をつけなければいけないことは、自分はだまされないと思うべきではない。誰もがだまされる時代だということを認識することが重要だ。技術的にフェイク情報かどうかを判別する技術が出てきているが、まだ完璧ではない。そうした中では1人1人が主体的に、同時に批判的に情報に接することで、『これはフェイクではないのか』と、疑いながら情報に接していかなければいけない」
その上で、情報を拡散する行為についても、これまで以上に留意するよう呼びかけた。
「これは面白い、重要な情報ではないかというものに出会うかもしれない。SNSなどを使うと、誰でも簡単にその情報を拡散することができるが、フェイク情報を拡散することは、社会にとって迷惑な行為だ。まずは本物の情報かどうかを、よく確かめること。同時にそれを誰かに伝えたいと思っても、それが本当かどうかを常に考えながら行動することが求められる時代だ」
AIは私たちの生活や活動をサポートし、豊かにするためのツールとして生まれた革新的な技術だ。進化も早く、数年後には想像もつかないことがAIによって実現できているかもしれない。
もちろん、そこに怖さもある。
AIが生成する言葉や画像は、より一層高精度になり、人間が判断することはもはや不可能となってしまうだろう。悪用された際の影響や被害は、今以上に拡大していく可能性がある。
悪用を防ぐ仕組みや研究を早急に整えると同時に、私たちも「ウィズフェイク＝フェイクは常に身近にある」ということを肝に銘じ、飛び込んでくる情報に対して、真偽を自分で検証していく力が求められているように思う。
もちろん、そこに怖さもある。
AIが生成する言葉や画像は、より一層高精度になり、人間が判断することはもはや不可能となってしまうだろう。悪用された際の影響や被害は、今以上に拡大していく可能性がある。
悪用を防ぐ仕組みや研究を早急に整えると同時に、私たちも「ウィズフェイク＝フェイクは常に身近にある」ということを肝に銘じ、飛び込んでくる情報に対して、真偽を自分で検証していく力が求められているように思う。
科学・文化部記者
島田尚朗
2010年入局
広島・静岡・福岡局を経て現所属。
現在はIT班でAIやメタバースなどのデジタル分野を担当。
島田尚朗
2010年入局
広島・静岡・福岡局を経て現所属。
現在はIT班でAIやメタバースなどのデジタル分野を担当。
国際部記者
杉田沙智代
2010年入局
和歌山局 大阪局を経て2016年から社会部。
国土交通省や環境省、厚生労働省などを担当し2022年8月から現所属。
杉田沙智代
2010年入局
和歌山局 大阪局を経て2016年から社会部。
国土交通省や環境省、厚生労働省などを担当し2022年8月から現所属。
国際部記者
建畠一勇
2011年入局
宮崎局、和歌山局、大阪局を経て2020年から現所属。
建畠一勇
2011年入局
宮崎局、和歌山局、大阪局を経て2020年から現所属。
メディアイノベーションセンター
斉藤直哉
2010年入局
岡山局、福岡局、科学文化部、ネットワーク報道部を経て2023年から現所属。
斉藤直哉
2010年入局
岡山局、福岡局、科学文化部、ネットワーク報道部を経て2023年から現所属。
フェイク・バスターズ “ウィズフェイク”時代をどう生きるか
8月26日(土) 午後10:00～放送予定
※コメント投稿者のブログIDはブログ作成者のみに通知されます