■Googleの検索結果操作っぷりは予想をはるかに上回る…
ギズモード：福田ミホ（2019/11/19）
https://www.gizmodo.jp/2019/11/google-sure-screws-around-with-search-results-a-lot.html
～～～
アルゴリズムで全自動かと思いきや。
Googleの検索アルゴリズムは、現代において強大な力を持っています。
アルゴリズムがほんのちょっと変わるだけでも、ユーザーが目にする情報は変化し、購買行動が影響を受け、企業の業績がぐらつきます。
Google公式ブログにあるように、彼らは今まで「ページ上の検索結果を収集したり、並べ替えたりするために人の手によるキュレーションをしていない」というスタンスを貫いてきました。
でもWall Street Journal（以下WSJ）の調査で、Googleは彼らが認めている以上に検索結果に介入していることが発覚しました。
WSJのレポートは詳細で、ものすごいボリュームです。
100人以上に対するインタビューと、BingやDuckDuckGoといった他社サービスとの検索結果の比較に裏付けられていて、その手法についてはこちらに開示されています。
結論を短くいうと、最近のGoogleは「アルゴリズムが一番わかってるんだから」という手放しのカルチャーから、より積極的に情報の見え方を決める方向へシフトしたようです。
この記事によると、Googleが検索アルゴリズムに加えた修正は2018年には3,200件あり、2017年のそれは2,400件、2010年には500件と、この数年でかなりの変化があったことがわかります。
・検索の複数のステップに、人間の意図
WSJの記事の中で、がっくりだけどまあそうなんでしょうねと思ったのは、Googleが小規模なビジネスよりもAmazonとかFacebookといったビッグビジネスを優遇すべくアルゴリズムを調整しているらしいことです。
WSJいわく、2014年にGoogleからeBayに流れるトラフィックが3分の2に激減したときには、GoogleがeBayからのリクエストに応える形でトラフィック回復のためのアドバイスをしていたそうです。
他にも、Googleは検索アルゴリズム変更時に一部の大手広告主や広告代理店に対してのみ直々に解説しているとか、特定の大手Webサイトに配慮してランキングを調整しているという証言が並んでいます。
WSJはまた、Googleが検索でのブラックリスト利用を否定してきたにもかかわらず、実際は使っていることも指摘しています。
ここで言うブラックリストとは、児童虐待とか著作権侵害に関連して法律で決められているのとは別もので、特定のWebサイトを検索結果から排除したり、表示されにくくしたりするためのものです。
またGoogleは、移民や妊娠中絶といったトピックについて「賛否のある」結果を見せないようなアルゴリズムやブラックリストをエンジニアに作らせているそうです。
さらにGoogleのエンジニアは、オートコンプリート機能や「ナレッジパネル」（有名な人とか物とかについて検索したときに検索結果の右側に出てくる、情報まとめ的なパネル）、「フィーチャードスニペット」（検索ワードの疑問に端的に答えるような文章の抜粋）、ニュース検索結果などに出てくる内容もつねにいじっているそうです。
これらの機能はオーガニック検索とは別と考えられていることから、人手の介入について検索と別基準で運用されており、要はGoogleが手を出しやすい状態になっているんです。
たとえば検索ボックスに「ドナルド・トランプ」と入力したとき、次に入力するキーワードとして「大統領」とサジェストされるか「差別主義者」とサジェストされるか、人為的に調整されているということです。
またこれはちょっと推測が入りますが、Googleは検索結果にフィードバックするデータ作りにもバイアスをかけていた可能性があります。
WSJによれば、Googleは無数の下請け業者を使って検索結果に表示されるページを「質」「評判」「利便性」といったさまざまな指標で評価させ、アルゴリズム変更に役立てています。
本来そのデータは作業者がGoogleの詳細なガイドに基づきつつ細かく判断して作っていくはずですが、WSJに証言した人物によれば、あるとき「自殺関係の検索では、自殺防止ホットラインへのリンクを最上位にするように」というお達しがありました。
Googleが自殺防止ホットラインを上位表示させたければアルゴリズム側で強制的にその処理を入れることも可能だったはずですが、データ側を操作することでランキングを調整した、らしいのです。
その人物いわく、Googleは「（ホットラインを最上位表示させるという）Googleの判断があったわけではないと言える状況を作るために、作業者に検索上のコンテンツを変えさせたように見えた」そうです。
自殺防止関連だけでなく、2016年の米国大統領選挙の時期にもデータ作りに通常以上に関わってきたようです。
・原則との矛盾
ここまで、ビッグビジネス優遇疑惑、ブラックリストでの検索結果操作、オートコンプリートやナレッジパネルといった検索周辺機能への人手介入、データを使った検索結果の誘導…といろんな話が出てきました。
で、何が問題かって、これらはGoogleがつねに主張してきた「人間はアルゴリズムに介入しない」という原則と食い違ってしまうんです。
そしてややこしいのは、現状の検索結果にまったく手を加えないのもたしかに良くなくて、どうにかしろよという圧力も高まっていることです。
たとえば2017年には、「rehab」（リハビリ施設、多くは薬物依存患者更生施設を指す）の検索結果の上位にあやしげな会社がいくつも表示されてしまうことが問題になりました。
そこで業界関係者がGoogleに働きかけた結果、今では同じ検索ワードに対し米国薬物乱用・精神衛生管理庁のホットラインといった王道的なリンクが表示されるようになっています。
他にも、「lesbienne」（レズビアン）で検索するとやたらポルノチックだったり、ホロコーストの存在そのものを否認するページにリンクしていたりといった問題がありましたが、それぞれ修正されています。
Googleが検索結果に介入することはすごく危険になりうるものの（ビジネス的・政治的圧力で検索結果が変わったらたまりません）、こういう社会的な意義があるなら、別にこそこそやらなくたっていいじゃんという気がします。
ただ問題は、Googleが検索結果への介入をどういう頻度でどういう条件でやっているのか、口を閉ざしていることです。
彼らの理屈は、プロセスについて情報開示すればするほど、「システムをもてあそぶ」悪意のプレイヤーに手の内を見せることになる、というものです。
Googleは外圧で検索結果を修正する場合でも、圧力をかけた側にそのことを報告したりしません。
Googleが「あめ色玉ねぎ作りにかかる時間」を間違って表示していることを指摘する記事が出たとき、その情報は記事公開後間もなくひっそりと修正されていました。
～～～
Googleの検索結果操作っぷりは予想をはるかに上回る…
ギズモード：福田ミホ（2019/11/19）
https://www.gizmodo.jp/2019/11/google-sure-screws-around-with-search-results-a-lot.html
■国産検索エンジン開発が頓挫した先にあるもの
ITmediaエンタープライズ（2013年02月01日）
https://www.itmedia.co.jp/enterprise/articles/1302/01/news021.html
～～～
「日の丸検索エンジン」とか「国産検索エンジン」「国策検索エンジン」など呼び方は多々あるが、要するに、日本で検索エンジンを作ろうというプロジェクトが2006年に存在していた（技術者視点では正確にはGoogleなどの検索エンジンとは多少趣が違っていたが、区別するほどのものではない）。
結局はうまく行かなかったが、最近になってその必要性が高いと感じるようになった。
・政府が大々的に宣伝したプロジェクト
2006年、さまざまな思惑のもとに経済産業省が検討し、2007年に掲げた大型プロジェクトがあった。「情報大航海プロジェクト」と言われたものである。
その当時にプロジェクトへ参画していた友人に、「今でもサイトが残っているのか？」と聞いたところ、「既に個別のサイトはもうない。でも本家のサイトなら今でも残っている」ということだった。
内容を見てみると、「平成19年度の取り組み」から「平成21年度の取り組み」まで掲載されているが、以降は存在していない。
事務所が2010年3月（平成21年度末）に閉鎖されたものの、サイトはそのまま残されているようである。
また、“残骸”として「情報大航海プロジェクト・コンソーシアム」という、どういう訳か英語サイトも残っている。
このプロジェクトは、50社ほどの民間企業を巻き込み、国家予算300億円を投入して「3年後には実用化しよう」という計画であった。
ところが、残念ながら下馬評通り3年で150億円ほどのお金を投じたものの、撤退するに至った。
・設立当初からあった違和感
当時、筆者は検索エンジンの周辺を開発するという友人の資料を見てある違和感を覚えた。
巨大ソフトメーカーからベンチャー企業までが混在し、一部の企業は明らかに外資系であった。
国産だから外資系がまずいというわけでなく、国防を兼ねた国家戦略としてこのプロジェクトの意義を考えれば、その技術の流出が懸念された。
友人には言えなかったが、「いったい誰が責任を持って手綱を引くのか」と感じた。
船頭は1人で良く、できれば自分の生活が掛かっているベンチャー企業で、技術力や指導力でカリスマ性を持った人間が良いと思っていたからだ。
さまざまな企業が混在する状況では大企業の社員が、音頭取りをせざるを得ない感じがして、本当にプロジェクトがまとまるのかは疑問だったのである。
結果的に、その時の筆者の懸念は現実のものになってしまった。
また周りの評論家の弁を借りるなら、「またか。官庁は懲りないし、学習能力が無いのではないか」という厳しい評価が下った。そして、なぜ「またか」なのか。
過去に頓挫した国家プロジェクトの1つに、「第五世代コンピュータ」がある。
Wikipediaによれば、「第五世代コンピュータ（だいごせだい-）とは、通商産業省（現経済産業省）が1982年に立ち上げた国家プロジェクトの開発目標である。
570億円を費やし、1992年に終結した」とある。
成果は「ほとんど何も無いに等しい」と多数の専門家が指摘している。
570億円の無駄遣い……実にもったいないものだ。
また、「シグマプロジェクト」というものもあった。
これもWikipediaによれば、「Σプロジェクト（シグマプロジェクト）は、1985年に始まった日本の国家プロジェクト。
Σ計画（シグマけいかく）とも呼ばれる。（中略）最終的に250億円（日本経済新聞1992年6月10日朝刊では218億円となっている）の国家予算をつぎ込んだといわれているが、失敗プロジェクトとなってしまった」。
本稿で、「どうして官民共同プロジェクトは成功しづらいのか」というテーマを議論するつもりはない。
国産の検索エンジンができるのを当時心待ちにしていた筆者としては、「自分が主導権を握りたかった」などと妄想してしまうほどに、残念な出来事であった。
・隣国をみてみると
中国は、独自の検索エンジン「百度（バイドゥ）」がある。
既に中国ではデフォルトで利用されている（国家指導という側面やGoogleの撤退という状況もあるが）。
韓国では「NAVER」が有名だ。
日本は恐らく8、9割のインターネット利用者は「Google」ではないだろうか。
周囲に尋ねても、Google以外の回答はほとんど聞かれない。
時々、「私はYahoo! JAPANだ」という人もいるが。今ではYahoo！ JAPANの検索エンジンはGoogleになっている。
ちなみに、livedoorのWeb検索エンジンは韓国系のNAVERである。
・もし、自前の検索エンジンが無かったら
Windows 3.1や95のころ、まだPC通信が全盛でようやくPC通信のメニューの1つに「インターネット」があった時代は、アナログ電話器に音響カプラーを取り付けて、通信速度も「1200 baud（ボーと発音する）」といった状況で、画像1つ表示するのでも何十秒もかかった。
そういう時代なら検索エンジンは、あまり重要ではなかったかもしれない。
だが今の時代は、検索エンジンが無ければほとんど何もできない。
URLやIPアドレスを知っていて、じかにURLや数字の羅列を入力できる数少ないサイトを除けば、ほとんどのサイトには訪れることすらできない。
インターネットで何か調べようとするなら、まず「お気に入り」に登録してある検索エンジンサイトから始まるだろう。
その検索が一切できないなら、ほかに術が無いといっても過言ではない。
・「Google八分」の恐怖とSEO対策
「Google八分（グーグルはちぶ）」という言葉がある。
Wikipediaによると、Googleの基準に該当したページが同社のデータベースから外されて、検索結果に表示されない状態になることを指す。
「村八分」になぞらえて呼ばれるもので、Googleの検閲行為という指摘もある。
数年前に筆者に届いたジャンクメールの中に、「私の会社のサイトはGoogle八分にされ、検索結果に表示されない。
グーグルの明らかな不正行為である」というちょっと変わったものがあった。
内容を確認していないので、真偽は定かではないが、「そうしようと思えばできてしまう」という怖さを感じた。
Googleは、「原則そういう行為はしない。しかし、その国の法に抵触したり政府などから要請があれば、その限りではない」と、論理的には可能であることを認めている。
同社がまだ中国に進出していた頃、中国政府の強い要望で検閲を行っていたことは、あまりにも有名な事実だ。
かつて、筆者も実験してみたことがある。
中国のGoogleと日本のGoogleの2つのサイトを立ち上げ、「天安門事件」を日本語と中国語で検索してそのヒット件数を調べたが、その数の差は3ケタも違っていた。
また5、6年ほど前に某テレビ局の社内セミナーで、「日本のGoogleと米国のGoogleには差があるのか？」という話題が出た。
筆者がテレビ局のディレクター（だったと思う）に、「そういう話を聞いたのか？ 差がある理由を知っているなら教えてほしい」と尋ねたところ、こう話された。
「CNNに務める友人からのメールですが、『○○ということが真相らしい。アダルトサイトの中にそういう事実を公開している。まだ見られるが、URLが長すぎる。Googleで○○と検索すると、その1ページ目に○○と書いてあるサイトがすぐに出てくるので分かるはずだ』というのです。しかし、見当たらない。メールでまた質問したのですが、まだ回答が無いので分かりません」
筆者は続けて「Googleのオプションを変えていますか」と尋ねると、彼は「いいえ」と答えた。
マスコミの立場で日本のGoogleをそのまま使っているのは、ちょっとマズイのではないかと思った次第である。
なぜなら、かつて中国では中国政府が求めてGoogleがフィルタリングを実施していたものの、当時の日本ではGoogleが自らの意思でフィルタリングを実施していたからである。
検索を行うのであれば、このオプション（日本向け）を外すか、米国のGoogleを利用すべきだったかもしれない。
その当時、日本のGoogleではフィルタリングが適用されており、たしか「中」がデフォルトであった（編集部注：現在は性的コンテンツなどに対しては適用される）。
オプションを外してみると、検索結果の件数は大幅に違った。
こうしたGoogleの施策を逆手にとって商売をしているのが、今でも盛んな「SEO対策（検索エンジン最適化）」である。
Googleは検索エンジンのロジックを公開していないので、さまざまな試行を元に、「こういう処理をすると検索結果が上位にできる」ということを商売にしている。
お金を払えば、小さな会社のサイトでもGoogleの検索順位を1位にできる（可能性だが）からだ。
・国産の検索エンジンは必要か
今回、国産による検索エンジンの開発を取り上げたのは、近年に新聞沙汰となっている「サイバー攻撃」などの影響があるためだ。
別の機会でもお伝えしたいが、今や世界は「サイバー攻撃」というより「サイバー戦争」という様相が強まり始めている。
日本では「SFの世界」とか絵空事のように言われているが、現実の状況がどうであるかは、最近のオバマ米大統領の動きなどを注視していると分かるだろう。
今やインターネットが無ければ、米国はもとより仮想敵国も日本も身動きがとれないという事実がある。
そのインターネットで仮に検索エンジンが使えない、あるいは、密かにフィルタリングが行われているとしたら、その影響は極めて大きい。
どのくらいの被害になるか見当もつかない。
しかも検索エンジンを停止する手間などは、ミサイルを1つ製造するコストに比べたら、はるかに手軽である。
想像力のある人なら「ぞっと」するだろう。
インターネットを使えても検索エンジンが無いというのは、「サイバーリスク」の1つとして考えるべきではないかというのが、筆者の見解である。
こういう視点には、多分に政治的な要素もつきまとうが、一般的な感覚からしても、リスクがあるのに（できる可能性があるのに）そのリスクヘッジをしないというのはおかしいと感じる。
現実の世界には「日米安保」などさまざまな仕組みがあるし、そもそも、米国と日本が敵対してしまう可能性はゼロに近いかもしれない。
一方で、政府はサイバーの世界における日本としての立ち位置をどうしたいか考えるべき時期に来ているだろう。
自前では何もできない国になりたいのだろうか。
食糧の自給率アップ、石油や天然ガスを含めたエネルギーの自給率アップなどと一緒に、「情報の自給率」アップを目指してはどうか。
その一環として、インターネットや衛星回線などの防衛策や国産検索エンジンの実現などが入ってくるだろう。
～～～
国産検索エンジン開発が頓挫した先にあるもの
ITmediaエンタープライズ（2013年02月01日）
https://www.itmedia.co.jp/enterprise/articles/1302/01/news021.html