ビッグデータ統計は、中立や客観性を保証せず、しばしば偏りを生む 202110

ビッグデータ統計は、中立や客観性を保証せず、しばしば偏りを生む
　一田和樹 デジタル権威主義とネット世論操作

　　NewsWeek より　211027

　AIが偏見を持つことは知られるようになってきたが、統計や計算社会学についても偏った結果が出る危険がある　Artem Peretiatko-iStock

⚫︎＜研究サプライチェーンが産み出す偏った「科学的事実」＞
　今回は大量のデータを用いた統計や計算社会学が偏りを生む危険性についてご紹介したい。大きく2つの理由があげられる。ひとつはデータと解釈の問題、もうひとつは研究サプライチェーンの問題である。研究サプライチェーンとは、研究を行うために必要なデータ、電力、設備、資金、物理的原材料などのサプライチェーンのことである。

　研究はそれだけで独立して存在しているのではなく、それを支えるデータや設備や資金が必要だ。マイクロソフトリサーチの 上級首席研究員であり、 AIナウの創設者である ケイト・クロフォードは、著書『Atlas of AI Power, Politics, and the Planetary Costs of Artificial Intelligence』の中でAIはその成り立ちからして、中立的にも客観的にもなり得ないと主張している。

　大量のデータとそれにもとづく研究は、差別的に安価なコストで調達される原材料、安価な労働力、人権を侵害して取得されたデータ、政府の支援（つまり税金）、軍や諜報機関のデータや経済的支援で成り立っており、その構造を支えることが期待されているためである。

　AIが偏見を持つことは知られるようになってきたが、統計や計算社会学についても偏った結果が出る危険がある。また、大量のデータを用いるAI、統計、計算社会学を研究する人々がこうした偏りを減らすように取り組むことは本人のキャリアにとって不利になることがあるため、偏見は減らずに増える可能性がある。そうなったら結果を受け取る側が意識して、偏りを見抜くしかないのである。

　そもそも世界81カ国でネット世論操作が行われており、対策は追いついていない。SNS運営企業はコンテンツを独自の基準で管理し、アルゴリズムで利用者の行動を誘導している。そこから生まれるデータは中立的で客観的と言えるのだろうか？

⚫︎データと解釈の問題
　データと解釈をいくつかに分けてご紹介したい。まずはデータそのものの偏りの問題だ。

・データの問題
　AIが偏見を持つことが社会的問題になっていることを 以前の記事でご紹介した。元のデータに偏りが含まれているのだ。元のデータに問題があれば結果にも問題があるのは統計や計算社会学でも同じだ。

　SNSデータには、さまざま歪みがあることが指摘されている。Fernando Diazらのグループの 論文ではオンラインで得られたデータはオフラインを代表するものではなく、不完全なパネルとして扱うべきだとしている。
　この論文では過去の研究を踏まえ、2012年のアメリカ大統領選について分析を行った。過去の多くの研究が利用しやすさからツイッターもしくは検索ログを利用していることから、この論文でもツイッターと検索ログを用いている。

　性別や地域などの主要な属性から見て、オフラインの人々を代表していないことがわかり、検索ログとツイッターの間では結果に違いがあった。イベント前後など時期によって反応の内容および反応する人々が変化しているため、不連続のパネル調査に近い。こうした偏りは非代表的な調査で用いられる手法を用いることで調整でき、有効に活用できる可能性を示している。ひらたく言うと、検索ログやツイッターのデータを調整しないでそのまま使うと偏りを生むことになるということだ。

　最近、ツイッター社はツイッターのアルゴリズムが特定の政治的傾向（ツイッター社の表現によれば主流右派）のコンテンツをより拡散していたことを 明らかにした。当然ながら、これはツイッターから得られるデータに影響を及ぼす。原因や詳細についてはまだ明らかになっていないが、SNSデータを扱う際にはそのアルゴリズムや運営企業のコンテンツ管理がSNSデータに影響を与えることには留意が必要だ。 

　すでに ご紹介したように、フェイスブックが問題のあるコンテンツ管理を行っていたことが暴露された。この問題は相次ぐ内部告発によって大きなスキャンダルになっている。SNSデータは運営企業の管理方針やアルゴリズムによる偏りがあるものと考えた方がよい。

　この連載でたびたび触れているようにネット世論操作は世界に広がっており、その影響は 無視できない。SNSデータの統計分析では自動的に投稿やリツイートを行うボットの存在の確認くらいは行っているが、実際のネット世論操作においてはさまざま手法が開発され、複数のSNSをまたがって影響工作を行うことも珍しくない。

　これらの影響を除去することは方法論が確立されていない上、日本ではSNSデータの解析を行っている研究者が、同時に影響工作の研究を行うことはまだ一般的ではないようだ。

　他にも問題がある。大規模なデータからはランダムなペアで有意な相関が現れることがある。たとえば「ニコラス・ケイジの年間映画出演本数」と「プールの溺死者数」の相関については聞いたことがある人も多いだろう（ ダイヤモンド・オンライン）。

　この例は極端であり、「見せかけの相関」と判断できるが、実際の調査では難しい。たとえばSNSから得られるデータの項目はほぼ決まっており、「ニコラス・ケイジの年間映画出演本数」といった突飛なものはない。したがって、SNSの任意のデータ間で現れた「見せかけの相関」を意味のあるものとして解釈する危険性がある。

・分類の問題
　データの取得あるいは結果の解釈において分類やラベル付けを行うことがある。ここにも偏りが入り込むことがある。ケイト・クロフォードは、著書の中で、分類は権力を反映するとし、科学的とされる分類が政治的意図あるいは偏見に基づいていた事例を紹介している。歴史上有名な偏見に基づく分類のひとつはサミュエル・モートンによる頭蓋骨による人種区分である。

　優秀な科学者として知られていた彼は、人種による頭蓋骨の容積の違いで、知能の優劣を示し、もっとも知能の高い人種を白人とし、もっとも知能の高い人種を黒人とした。 ナショナル・ジオグラフィックでも「サミュエル・モートン医師は科学的な立場から人種を差別した最初の人物だった」として紹介されている。

　他のわかりやすい例もあげてみよう。性別というのは基本属性のひとつだが、カナダでは生まれた時の性別（男と女のふたつの選択肢）と現在の性別（男女以外の複数の選択肢が用意されている）を訊ねることが多い。

　データ取得時あるいは分類時において、男女の2つに分けるか、それともそれ以上の分類を考慮するかでデータの取り方や解釈は変わってくる可能性がある。

　性別に限らず、属性や行動や嗜好は研究者がどれだけ対象について幅広い知識を持っているかによって想定できる内容が異なるし、後述するように研究チームの構成によっても変わってくる。

　たとえばチーム全員が国立大学を卒業した男性で実家が富裕層であった場合は偏ったものになる可能性がある。実家が富裕層で国立大学を卒業した男性がいけないということではなく、同質の集団では対象について持ちうる知識や価値観の幅と多様性が乏しくなるということである。

「 なぜリベラルの声は中間層に届かないのか？」（2021年10月5日）および記事の元となった論文では、「安倍支持」を「保守」、「反安倍」を「リベラル」として分類していた。私を含めてこの分類に違和感を抱いた人がいた。分類は解析の結果として出てくるが、抽象度が高くなると分類の解釈に幅が出てくる。

　幅があるということは偏りが入り込む余地があることになる。抽象度を低めてよりデータそのものに近い「安倍支持」と「反安倍」に分けておくと幅は狭められる。社会に関わることでは抽象度の高い言葉（保守やリベラルなど）を使うと、解釈の幅が広がるだけでなく、政治的な意味合いが強くなったり、意味合いが変化したり、意図があいまいになったりしがちなので注意が必要だ。

・研究チームの構成の問題
　研究チームの構成がAIの偏りを生むことが指摘されている。 コロンビア大学で約400人のAIエンジニアに学習用のデータやインセンティブなどの条件を変えてアルゴリズムを作らせる実験が行われた。

　その結果、アルゴリズムの予測精度にもっとも影響が大きかったのは学習用データの正確さだったが、チームの構成特に人種と性別が影響していることもわかった。同質のチームよりも多様性のあるチームの精度が高かった。ひとつの調査結果だけで研究チームの構成が結果に影響を及ぼすと言い切れるわけではない。しかし、その可能性には留意する必要があるだろう。

　日本の計算社会学者の方を全て存じあげているわけではないが、私が目にする日本の記事や論文の執筆者のほとんどは日本人かつ男性だった。データ分析がその人物の価値観や社会的環境に影響を受けることは少なからずある。多様なメンバーがいた方が、特定の価値観や社会的環境による偏りを避けることができる。

　統計調査の設計や解釈でも同じ問題は起こる。たとえば『ネットは社会を分断しない』（角川新書、2019年10月10日）という本では10万人のアンケート調査をもとにネットが社会を分断していないことを説明している。

　この本ではネットの影響を直接の影響に限定しており、まとめサイトなどのミドルメディを介して既存の大手メディアに取り上げられるフェイクニュース・パイプラインについては触れていない。意図的に外す理由は見当たらないし、外した理由の説明もないのでこの調査のメンバーにはミドルメディアやフェイクニュース・パイプラインについて知っている人がいなかったのであろう。

　アンケート調査の設計の時点から漏れているので、ミドルメディアやフェイクニュース・パイプラインの影響については考慮されない分析が行われている。

・思い込み、事実、仮説、解釈の問題
　事実と思い込みの境目は曖昧で難しい。特定の新聞のニュースをよく見ているなら信用していると考えるのは当たり前だと思うかもしれないが、実は信頼していないメディアでも利用することが わかっている。

　SNS上のつながりに関する思い込みもある。たとえばSNSで高頻度にやりとりをしているならば親密だと考えて、頻度を親密度の尺度にすることもある。親密なほど相手のために費す時間が増え、頻度もあがるというと、もっともらしく聞こえるが、この基準だと職場の同僚が兄弟や親よりもはるかに親密な存在になってしまう人は多い（ Big Data: Opportunities for Computational and Social Sciences）。

　人間の感情や嗜好と、SNSデータで計測できる項目の間を結びつける際には思い込みが入り込みやすい。たとえば、「いいね！は同意や共感のあらわれ」、「リツイートは賛意」である想定することがあるが、そうとは限らない。

　「コロナ時代のソーシャルメディアの動向と課題 科学技術に関する調査プロジェクト報告書」の中の「 データから見るデマ拡散の構造」では「興味深かったから」真偽とは無関係に拡散したものが32.7%あったことがわかっており、エンターテインメントとしての拡散もあったとしている。

　もちろん、共感や賛意を示すこともあるだろう。つまり、いいね！やリツイートの意図の解釈には幅があるため、分析者が想定する文脈に合わせて解釈できる余地があり、思い込みが入り込みやすい。

　解釈においても同様に思い込みから飛躍した結論を導いてしまう危険性がある。また、最後にあげる研究サプライチェーンの問題もあるので、じゅうぶんに注意が必要である。

⚫︎研究サプライチェーンの問題
　AI、統計、計算社会学などで大量のデータを利用する研究は研究サプライチェーンと無縁ではいられない。研究サプライチェーンは、研究者がサプライチェーンを支える人々の意図に沿った行動を取るように誘導し、意図に沿わない場合はサプライを中止する。

　AIの研究者自身は純粋にAIを研究しているかもしれないが、資金や施設を提供する側には経済的便益や軍事利用、政治利用などの意図がある。その意図に沿った研究には資金や施設が提供され、そうではないものには提供されない。

　結果として研究サプライチェーンの意向に沿った研究者だけが残る。ほとんどの人は好きな研究を好きなだけする自己資産を持っているわけではないので、ほとんどの研究分野に研究サプライチェーンの問題は存在する。

　多くの国や企業がしのぎを削っているビッグデータの分野ではよりわかりやすい形で現れる。

　ケイト・クロフォードは、AIの社会的影響を考える際には、AIを支える権力を把握する必要があるとして、AIを構成する原材料、電力、データなどあらゆるものを調査し、それらが差別的に安価なコスト、安価な労働力、人権を侵害する形でのデータ入手、政府の支援（つまり税金）、軍や諜報機関からデータや支援に支えられていることを明らかにしている。

　安価な電力を提供してもらうために、グーグルなどは多額の資金を費やしてロビイスト活動にいそしんでいる。現在AIを支えている組織が好ましいと感じて支援する研究者のAI研究が進むという研究サプライチェーンの意向に縛られた世界ができている。

　程度の差こそあれ、同じ問題は統計や計算社会学にも起こる。世界の多くの国では政権与党や為政者による国内向けのネット世論操作が行われており、SNSはその 影響を受けている。また、SNS運営企業は自社の利益確保のためのコンテンツ管理方針とアルゴリズムを持っており、それによってSNSデータは歪められる。研究の原材料であるデータは汚染されているのだ。

　特に気になるのは、これらが自覚なく行われている可能性だ。当たり前に自分や周囲と同じ視点や価値観のみでデータを分類・解釈し（たとえば調査対象者などの視点や価値観による異なる分類・解釈には思い至らず）、当たり前に利用している偏りのあるデータを利用し、当たり前に同じ基準で選ばれた研究サプライチェーンを支える側の意向に沿った同僚に囲まれていたりする。

　たとえば、顔認識ソフトのテストのベンチマークとされる「Faces in the Wild」というデータセットでは、男性が70％、白人が80％だった（ Forbes）。当然、このデータでは白人男性以外の精度を確認することは難しい。与えられたデータや研究チームの構成などの環境を疑いなく受け入れてしまうと研究サプライチェーンの罠に陥る危険がある。

　研究者のみなさんには自覚的であってほしいものだが......
本稿の内容について、「そこまで考える必要があるのか？」と感じる方もいると思う。しかし、データと解釈の問題に関してはSNSデータに調整を行ったり、SNSデータを使わない他の方法で代替したり、複数の方法を組み合わせることで問題を回避することが可能だ。それを行わないのは手軽に大量のデータを使えるというSNSデータのメリットが減ってしまうからだ。『Big Crisis Data』（Castillo, Carlos、Big Crisis Data、2016年、Cambridge University Press）では「街灯の下で鍵を探す」という寓話が紹介されている。

　寓話はこういう話だ。夜にある男が街灯の下で鍵を探していた。通りすがりの人が手伝ったが、いっこうに見つからない。「どこで鍵を落としたんですか？」と訊ねたところ男は離れた暗がりを指さし、「あそこで落としたのですが、暗くて見えないので明るいここで探しています」と答えた。

　SNSなら従来に比べてはるかに容易に大量のデータを利用できるが、万能ではない。「街灯の下で鍵を探す」ことにならないように注意が必要であると同書は戒めている。

　SNSデータの活用が広がった時期に刊行された『Twitter A Digital Socioscope』を見ると、ツイッターは世界規模で社会に関する大量の包括的なデータを簡単に入手できる素晴らしいツールであると随所に書かれていて、「街灯の下で鍵を探す」危険性を感じさせる。

　この世界で研究活動を行うことは、研究サプライチェーンの最終工程に飛び込むことである。そのことに自覚的であることは研究を中立的、客観的にする助けになる。

　自分自身がおかれた社会的文脈を理解し、自分と異なる文脈の人々とチームを組み、データの内容を生い立ちから理解していかないと、自覚なしに研究サプライチェーンの意向に沿ったアウトプットを出してしまいやすくなる。

　しかし、研究者には自覚的であってほしい、というのは私の願いにすぎないし、正直おすすめできない。

　AI、統計、計算社会学を研究する方々の多くは、研究サプライチェーンのまっただ中にいる人であり、同じ立場の人々に共有される成果をあげていった方が認められやすいだろう。当たり前と思っていることに疑義を唱えることにはリスクがある。

　ただ、自覚せずに研究サプライチェーンの罠にはまる人が増えれば増えるほど、社会には「特定の人々」（ケイト・クロフォード風に言うと権力を持った層）に都合のよい大量のデータから得られた「科学的事実」と、それに基づく仕組みが生まれてゆくことになる。

　私は「特定の人々」ではないので嫌だと思うが、「特定の人々」にとっては好ましいことだろう。本稿が研究サプライチェーンから産み出される成果を受けとる側の人々にとって参考になれば幸いである。