AIが生み出す不平等を、「アルゴリズムによる修復」は解決できるか
WIRED より 220214
誰が仕事を得るのか、誰が逮捕されるのか、誰が医療を受けるのか──。こうした決定において、人工知能（AI）などのアルゴリズムが“判断”を下す事例が増えている。
世界中の事例が明確に示していることは、テクノロジーが特定の人々を排除、管理、もしくは抑圧したり、AIが誕生する前から存在する不平等という歴史的なシステムを強化したりする目的で利用できることだ。
こうしたなか、社会学者とコンピューターサイエンスの研究者のチームが、AIモデルの開発者と利用者が「批判的人種理論」やインターセクショナリティー（交差性）などの概念を活用することで、「人種」についてより明確に考慮すべきだと指摘している。
批判的人種理論とは、1970年代に法学者によって提唱された人種と権力の影響に関する理論で、教育や民族学、社会学などの分野に影響を与える学術的な運動へと変貌を遂げた。
こうしたなか、社会学者とコンピューターサイエンスの研究者のチームが、AIモデルの開発者と利用者が「批判的人種理論」やインターセクショナリティー（交差性）などの概念を活用することで、「人種」についてより明確に考慮すべきだと指摘している。
批判的人種理論とは、1970年代に法学者によって提唱された人種と権力の影響に関する理論で、教育や民族学、社会学などの分野に影響を与える学術的な運動へと変貌を遂げた。
一方、インターセクショナリティーの概念においては、多様な背景をもつ人々が人種、性別、階級、その他さまざまなアイデンティティに基づいて異なる方法で世界を体験すると考える。
こうしたなかアメリカ社会学会に2021年初頭に示したある手法において、「アルゴリズムによる修復」という新しい用語が示された。
こうしたなかアメリカ社会学会に2021年初頭に示したある手法において、「アルゴリズムによる修復」という新しい用語が示された。
学術誌『Big Data & Society』に掲載された論文において著者は、アルゴリズムによる修復について「構造的な不平等の認識と是正を目指す」ことで、インターセクショナリティと補償的な取り組みを同時に実施することであると説明している。
この修復アルゴリズムは、歴史的に差別を経験してきた集団の保護を優先し、権力を握る集団と戦う資源が不足していることの多い阻害されたコミュニティーに資源を振り向ける。「アルゴリズムはデータによって活性化され、そのデータは人間から得られる。
人間は社会を構成し、社会は不平等である」と、論文には書かれている。「したがってアルゴリズムは、既存の権力と特権、疎外、そして不利益のパターンに向かって弧を描いていくことになる」
⚫︎AIコミュニティ全体が注目する動き
論文の3人の著者は、オーストラリア国立大学のプロジェクト「Humanizing Machine Intelligence」とハーヴァード大学バークマン・センターに所属しており、機械学習をより公平にするための取り組みは不十分であると主張する。
⚫︎AIコミュニティ全体が注目する動き
論文の3人の著者は、オーストラリア国立大学のプロジェクト「Humanizing Machine Intelligence」とハーヴァード大学バークマン・センターに所属しており、機械学習をより公平にするための取り組みは不十分であると主張する。
これは機械学習において、わたしたちは実力主義の社会に住んでいるという仮定に基づいて、公正さと正義よりも「公平」であることを前提に数値が測られるからだ。
論文の著者たちは、修復アルゴリズムは特定のAIモデルをそのまま展開していくべきか、それとも解体すべきかを決定する上で役立つと説明している。最近発表されたほかの複数の論文でも、研究者がアルゴリズムの公平性を解釈してきたやり方を巡る同様の懸念が示された。
この問題には、AIコミュニティ全体が注目している。米国の計算機協会が主催する「Conference on Fairness, Accountability, and Transparency」は、機械学習における公平性、説明責任、および透明性をいかに批評し再考するかに焦点を当てたワークショップを開催すると発表した。ミシガン大学は、アルゴリズムによる修復についてのワークショップを22年9月に主催する予定だ。
一方、研究者たちは修復アルゴリズムの実現に向けて、教育における批判的人種理論や雇用におけるアファーマティヴ・アクション（積極的な格差是正措置）と同じように、制度的、法的、社会的障壁との困難な闘いが生じる可能性があることを認めている。
批判的人種理論は激しい議論を呼ぶ政治問題と化しており、理論そのものとは関係のない文脈で話題になることも多い。例えば、ヴァージニア州知事選で勝利を収めたグレン・ヤンキンは、成功裏に終わった選挙キャンペーンの一環として批判的人種理論を攻撃した。
またテネシー州では、批判的人種理論を学校で教えることに反対する内容の法律が、米国の学校での人種差別撤廃について論じた本に対する批判を巻き起こしている。これとは対照的に、カリフォルニア州知事のギャヴィン・ニューサムは21年秋、25年までに民族研究の学習を高校の卒業要件とする法律に署名した。
最近の調査では、サンフランシスコの民族研究のクラスにおいて、卒業率と授業への参加率が向上したことが明らかになっている。また20年の国勢調査によると、米国はこれまで以上に人種と民族の多様性が増している。自身を「白人」とみなす米国民の割合は減少する一方で、白人かつその他の人種グループに属すると考える人の比率は拡大している。
アルゴリズムによる修復を支持する人たちは、図書館員のようなキュレーションの専門家から学ぶべきだと語る。利用者のデータの倫理的な収集方法と、蔵書に何を含めるのか熟慮しなければならない性質ゆえだ。またこうした人々は、AIモデルのパフォーマンスが公正または好ましいとみなされるかどうかのみならず、それが権力の移行に寄与するか考えるよう求めている。
この提案は、グーグルの研究者だったティムニット・ゲブルが勧告していた内容とも重なる。ゲブルは19年に発表した論文で、文書管理の専門家や図書館が倫理、インクルージョン（包摂性）、権力といったことにどのように対処しているのか参考にするよう、機械学習を利用する人々に促していた。ゲブルは20年にグーグルを解雇されており、最近では分散型AI研究所を立ち上げている。
この問題に批判的な人々は、以前から職場で黒人女性に対して続けられてきたような嫌がらせを、グーグルがゲブルに対してしていたと結論づけている。この分析をした記事の著者はコンピューターサイエンティストたちに対し、データに加えて歴史と社会のパターンを見つけるよう促した。
また、米国の上院議員5人はグーグルに対し、人種差別が同社の製品と職場に与える影響を評価する目的で独立した監査人を雇うよう求めている。グーグルをこの要求に回答していない。
19年にはグーグルのAI研究者4人が、責任あるAIの分野では批判的人種論が必要だと主張している。この分野での成果の大半は、人種の社会的に構築された側面に対する説明責任を果たしていないか、もしくは収集されたデータセットにおける歴史の影響を認識していないからだ。
4人の研究者たちの論文には、「データ収集とその解釈の取り組みは、人種の分類と人種カテゴリーの形成における社会的および歴史的文脈に基づく必要があることを、わたしたちは強調したい」と書かれている。「過度な単純化は暴力であり、さらに言えばこれまでに構造的暴力を経験してきたコミュニティにまたもや暴力を振るうことでもある」
⚫︎公民権法以前に逆戻り
論文の筆頭著者であるアレックス・ハンナはグーグルが初めて雇用した社会学者のひとりで、ゲブルが解雇された際には同社の経営陣を強く批判していた。ハンナは批判的人種理論は何が公正または倫理的なのかという議論において人種を中心に据えており、抑圧の歴史的パターンを明らかにする上で役立つ点が評価できると語る。
ハンナはその後、顔認識技術がいかに植民地主義の時代にまでさかのぼる性別と人種の構成を強化するのかを扱った論文を、共同で執筆している。この論文は学術誌『Big Data & Society』に掲載された。
ゲブルと共にグーグルのAI倫理チームを率いていたマーガレット・ミッチェルは20年後半、グーグルは何が公正または倫理的であるのか判断する場面で批判的人種理論を使い出したと指摘している。ミッチェルは21年2月に同社を解雇されている。グーグルの広報担当者は、批判的人種理論はAI研究の評価プロセスの一部をなしていると説明する。
ノースイースタン大学助教授で法律と政治学を教えるラシダ・リチャードソンは22年に発表する別の論文で、米国では人種差別の影響を考慮せずにAIについて考えることは不可能だと指摘している。黒人を支配、排除、もしくは抑圧する法律と社会規範の“遺産”の影響が強すぎるのだ。なお、リチャードソンはホワイトハウス科学技術政策局のアドヴァイザーを務めている。
例えば、アパートの借り手や住宅ローン申請者の選別に使われるアルゴリズムでは、黒人が過度に不利に扱われることが複数の研究で明らかになっている。60年代に公民権法が成立するまで、米国の住宅政策は人種差別を明確に認めていたことを覚えておくことが重要であると、リチャードソンは言う。
また、政府は住宅の開発業者や所有者と共謀して有色人種に機会を与えず、人種集団ごとに分離していた。リチャードソンは、こうした分離が住宅所有者協会、教育委員会、労働組合の白人の間で「カルテルのような行動」を可能にしたと指摘する。この結果、教育や世代を経て蓄積された富に絡んだ問題と特権がさらに悪化していくわけだ。
⚫︎「変革的正義」の重要性
リチャードソンによると、差別の歴史的パターンは、多くのアルゴリズムの構築に使われるデータを“汚染”している。「いい学校」の選択や、黒人やヒスパニックの居住区域を重点的に取り締まるといった判断につながるアルゴリズムも、その影響を受けているというわけだ。
「データ駆動型のテクノロジーとアプリケーションにおける人種の階層化の再現と増幅において、人種差別は中心となる進化的な役割を果たしてきた。人種差別はまた、アルゴリズムによるバイアスの問題とこれに絡んだ介入の概念化を制約する」と、リチャードソンは指摘している。
論文の著者たちは、修復アルゴリズムは特定のAIモデルをそのまま展開していくべきか、それとも解体すべきかを決定する上で役立つと説明している。最近発表されたほかの複数の論文でも、研究者がアルゴリズムの公平性を解釈してきたやり方を巡る同様の懸念が示された。
この問題には、AIコミュニティ全体が注目している。米国の計算機協会が主催する「Conference on Fairness, Accountability, and Transparency」は、機械学習における公平性、説明責任、および透明性をいかに批評し再考するかに焦点を当てたワークショップを開催すると発表した。ミシガン大学は、アルゴリズムによる修復についてのワークショップを22年9月に主催する予定だ。
一方、研究者たちは修復アルゴリズムの実現に向けて、教育における批判的人種理論や雇用におけるアファーマティヴ・アクション（積極的な格差是正措置）と同じように、制度的、法的、社会的障壁との困難な闘いが生じる可能性があることを認めている。
批判的人種理論は激しい議論を呼ぶ政治問題と化しており、理論そのものとは関係のない文脈で話題になることも多い。例えば、ヴァージニア州知事選で勝利を収めたグレン・ヤンキンは、成功裏に終わった選挙キャンペーンの一環として批判的人種理論を攻撃した。
またテネシー州では、批判的人種理論を学校で教えることに反対する内容の法律が、米国の学校での人種差別撤廃について論じた本に対する批判を巻き起こしている。これとは対照的に、カリフォルニア州知事のギャヴィン・ニューサムは21年秋、25年までに民族研究の学習を高校の卒業要件とする法律に署名した。
最近の調査では、サンフランシスコの民族研究のクラスにおいて、卒業率と授業への参加率が向上したことが明らかになっている。また20年の国勢調査によると、米国はこれまで以上に人種と民族の多様性が増している。自身を「白人」とみなす米国民の割合は減少する一方で、白人かつその他の人種グループに属すると考える人の比率は拡大している。
アルゴリズムによる修復を支持する人たちは、図書館員のようなキュレーションの専門家から学ぶべきだと語る。利用者のデータの倫理的な収集方法と、蔵書に何を含めるのか熟慮しなければならない性質ゆえだ。またこうした人々は、AIモデルのパフォーマンスが公正または好ましいとみなされるかどうかのみならず、それが権力の移行に寄与するか考えるよう求めている。
この提案は、グーグルの研究者だったティムニット・ゲブルが勧告していた内容とも重なる。ゲブルは19年に発表した論文で、文書管理の専門家や図書館が倫理、インクルージョン（包摂性）、権力といったことにどのように対処しているのか参考にするよう、機械学習を利用する人々に促していた。ゲブルは20年にグーグルを解雇されており、最近では分散型AI研究所を立ち上げている。
この問題に批判的な人々は、以前から職場で黒人女性に対して続けられてきたような嫌がらせを、グーグルがゲブルに対してしていたと結論づけている。この分析をした記事の著者はコンピューターサイエンティストたちに対し、データに加えて歴史と社会のパターンを見つけるよう促した。
また、米国の上院議員5人はグーグルに対し、人種差別が同社の製品と職場に与える影響を評価する目的で独立した監査人を雇うよう求めている。グーグルをこの要求に回答していない。
19年にはグーグルのAI研究者4人が、責任あるAIの分野では批判的人種論が必要だと主張している。この分野での成果の大半は、人種の社会的に構築された側面に対する説明責任を果たしていないか、もしくは収集されたデータセットにおける歴史の影響を認識していないからだ。
4人の研究者たちの論文には、「データ収集とその解釈の取り組みは、人種の分類と人種カテゴリーの形成における社会的および歴史的文脈に基づく必要があることを、わたしたちは強調したい」と書かれている。「過度な単純化は暴力であり、さらに言えばこれまでに構造的暴力を経験してきたコミュニティにまたもや暴力を振るうことでもある」
⚫︎公民権法以前に逆戻り
論文の筆頭著者であるアレックス・ハンナはグーグルが初めて雇用した社会学者のひとりで、ゲブルが解雇された際には同社の経営陣を強く批判していた。ハンナは批判的人種理論は何が公正または倫理的なのかという議論において人種を中心に据えており、抑圧の歴史的パターンを明らかにする上で役立つ点が評価できると語る。
ハンナはその後、顔認識技術がいかに植民地主義の時代にまでさかのぼる性別と人種の構成を強化するのかを扱った論文を、共同で執筆している。この論文は学術誌『Big Data & Society』に掲載された。
ゲブルと共にグーグルのAI倫理チームを率いていたマーガレット・ミッチェルは20年後半、グーグルは何が公正または倫理的であるのか判断する場面で批判的人種理論を使い出したと指摘している。ミッチェルは21年2月に同社を解雇されている。グーグルの広報担当者は、批判的人種理論はAI研究の評価プロセスの一部をなしていると説明する。
ノースイースタン大学助教授で法律と政治学を教えるラシダ・リチャードソンは22年に発表する別の論文で、米国では人種差別の影響を考慮せずにAIについて考えることは不可能だと指摘している。黒人を支配、排除、もしくは抑圧する法律と社会規範の“遺産”の影響が強すぎるのだ。なお、リチャードソンはホワイトハウス科学技術政策局のアドヴァイザーを務めている。
例えば、アパートの借り手や住宅ローン申請者の選別に使われるアルゴリズムでは、黒人が過度に不利に扱われることが複数の研究で明らかになっている。60年代に公民権法が成立するまで、米国の住宅政策は人種差別を明確に認めていたことを覚えておくことが重要であると、リチャードソンは言う。
また、政府は住宅の開発業者や所有者と共謀して有色人種に機会を与えず、人種集団ごとに分離していた。リチャードソンは、こうした分離が住宅所有者協会、教育委員会、労働組合の白人の間で「カルテルのような行動」を可能にしたと指摘する。この結果、教育や世代を経て蓄積された富に絡んだ問題と特権がさらに悪化していくわけだ。
⚫︎「変革的正義」の重要性
リチャードソンによると、差別の歴史的パターンは、多くのアルゴリズムの構築に使われるデータを“汚染”している。「いい学校」の選択や、黒人やヒスパニックの居住区域を重点的に取り締まるといった判断につながるアルゴリズムも、その影響を受けているというわけだ。
「データ駆動型のテクノロジーとアプリケーションにおける人種の階層化の再現と増幅において、人種差別は中心となる進化的な役割を果たしてきた。人種差別はまた、アルゴリズムによるバイアスの問題とこれに絡んだ介入の概念化を制約する」と、リチャードソンは指摘している。
「人種差別の影響が無視されるとき、人種的不平等という問題は特定の政策、慣行、社会規範、および行動の副産物ではなく、むしろ自然に発生する現象として現れる」
解決策についてリチャードソンは、AIは「変革的正義」の原則を適用することで恩恵を受けられると考えている。被害を受けたり影響を被ったりしたコミュニティに対し、AIモデルをどのように構築・設計し、問題修復をプロセスの一部に含めていくか──といった議論に参加してもらうというのだ。同じように、過去1年に実施されたAIの監査およびアルゴリズムの影響評価は、AIの規制に向けた法的枠組みにはアルゴリズムの影響を受けるコミュニティの声が含まれていないことが多いと結論づけている。
リチャードソンの新しい論文は、AIが人々に害を及ぼす場合にいかに対処していくのか、ホワイトハウスが検討しているタイミングで発表されることになる。議会以外の場では、国会議員たちが法律の策定に取り組んでいる。企業がアルゴリズムの影響評価の要約を定期的に連邦取引委員会（FTC）に報告し、人々の生活に不可欠なシステムについては“登記簿”の作成を義務化するものだ。
解決策についてリチャードソンは、AIは「変革的正義」の原則を適用することで恩恵を受けられると考えている。被害を受けたり影響を被ったりしたコミュニティに対し、AIモデルをどのように構築・設計し、問題修復をプロセスの一部に含めていくか──といった議論に参加してもらうというのだ。同じように、過去1年に実施されたAIの監査およびアルゴリズムの影響評価は、AIの規制に向けた法的枠組みにはアルゴリズムの影響を受けるコミュニティの声が含まれていないことが多いと結論づけている。
リチャードソンの新しい論文は、AIが人々に害を及ぼす場合にいかに対処していくのか、ホワイトハウスが検討しているタイミングで発表されることになる。議会以外の場では、国会議員たちが法律の策定に取り組んでいる。企業がアルゴリズムの影響評価の要約を定期的に連邦取引委員会（FTC）に報告し、人々の生活に不可欠なシステムについては“登記簿”の作成を義務化するものだ。
FTCは、差別的なアルゴリズムを規制するルールを22年に確立することを示唆している。
これに対して一部の地方行政のリーダーたちは、議会やFTCを待たずに行動を起こしている。ワシントンD.C.の司法長官は21年12月上旬、雇用、住宅、融資の分野で使われるアルゴリズムの監査を義務化し、こうしたアルゴリズムに関する大まかなルールを策定する内容の法律を導入している。
（WIRED US/Translation by Chihiro Oka/Edit by Daisuke Takimoto）
これに対して一部の地方行政のリーダーたちは、議会やFTCを待たずに行動を起こしている。ワシントンD.C.の司法長官は21年12月上旬、雇用、住宅、融資の分野で使われるアルゴリズムの監査を義務化し、こうしたアルゴリズムに関する大まかなルールを策定する内容の法律を導入している。
（WIRED US/Translation by Chihiro Oka/Edit by Daisuke Takimoto）
