ChatGPTが新しくなったそうです Geminiとの比較で

ChatGPTが新しくなったというのでGeminiと比較しながら試してみました

まずは、「あなた、あたらしくなったの」って質問。

入出力の認識が改良されより自然になったというので、普通の会話でもかなり漠然とした質問を投げてみましたが、「あなた」をちゃんとGhatGPTのことと認識して答えを返してきています。

 

次はいつもの「千葉県いすみ市の人口は」という問いに

あってます。

 

去年は同じ質問にこんな返答をしてました。

「千葉県いすみ市の人口は

千葉県泉市の人口は、2022年時点で約15万人です。最新の統計情報は確認できませんが、おおよその数字ですね。他に知りたいことがあれば教えてください。

 

 

千葉県に泉市はありません。 さっきの人口はどこから拾ってきましたか?

ChatGPT

すみません、情報が不正確でした。千葉県に泉市は存在しません。おっしゃる通り、誤った情報をお伝えしました。訂正して申し訳ありません。他に質問があればお気軽にどうぞ。

 

 

イスミシは理解できますか

ChatGPT

はい、イスミシは理解できます。おそらく「泉市」のことを指しているのでしょうね。何か特定の情報をお知りになりたいですか？」

 

「千葉県の房総にあるいすみ市です」

ChatGPT

千葉県には多くの市町がありますが、「暴走」という言葉から具体的な場所が分かりません。詳細な場所や具体的な情報を教えていただけますか？」

 

少なくとも、人口に関する質問にはちゃんと答えられるようになった。

 

比較でGeminiに同じ質問をした答えがトップの写真

41,945人と答えている。

ちょっと変なんだけど、直前にスマホから同じ質問をしたときには、42,170人と答えている。この差はなんなんでしょうね。

それで、Geminiに「いすみ市役所が発表している人口とは違うけど何故？　ChatGPTではいすみ市役所と同じ人口を答えて来ているけど」って質問をしてみた。

「いすみ市役所の発表では同日の人口は35,075人となっていて、ChatGptでもその数を返してくるが、Geminiは何故42,170人とするのか？
回答案を表示

ご指摘の通り、いすみ市の人口について、情報源によって異なる値が出ていることがわかりました。

2023年4月1日時点の人口

    千葉県: 42,170人 https://www.pref.chiba.lg.jp/toukei/toukeidata/joujuu/geppou/saishin/setai.html
    いすみ市役所: 35,075人 https://www.city.isumi.lg.jp/soshikikarasagasu/shiminka/shiminhan/3/1/1/1042.html
    ChatGPT: 35,075人

この違いについて、以下の点が考えられます。

    統計の基準日: 千葉県の統計は2024年4月1日時点のものであり、いすみ市役所とChatGPTの統計は2023年4月1日時点のものと思われます。
    統計の対象: 千葉県の統計は住民基本台帳に基づくものと思われますが、いすみ市役所とChatGPTの統計は住民基本台帳以外の外国人居住者などを含む可能性があります。
    統計の方法: 統計方法は自治体によって異なるため、結果に多少の誤差が生じる可能性があります。

現時点では、どの情報源が最も正確であるかは判断できません。より詳細な情報は、いすみ市役所に直接問い合わせることをお勧めします。

Geminiが42,170人という値を採用した理由

Geminiは、複数の情報源から情報を収集し、最も信頼性の高い情報源に基づいて回答を生成するように設計されています。

今回のケースでは、千葉県は都道府県レベルの行政機関であり、人口統計に関する公式な統計を発表する機関であるため、その情報を優先しました。

また、千葉県の統計は2024年4月1日時点のものであり、より新しい情報であることも考慮しました。

今後

今後、より正確な情報を提供できるよう、情報源の検証プロセスをさらに改善していく予定です。

参考情報

    千葉県 いすみ市: https://www.pref.chiba.lg.jp/toukei/toukeidata/joujuu/geppou/saishin/setai.html
    いすみ市役所: https://www.city.isumi.lg.jp/soshikikarasagasu/shiminka/shiminhan/3/1/1/1042.html

何かご不明な点があれば、お気軽にご連絡ください。」

 

まず、いすみ市とChatGPTの答えは23年4月1日のものって答えているけど、これは間違い。市役所の人口は24年4月1日のもの。いすみ市のには外国人の居住者の数字も含むって答えているけど、それを勘案しても答えにはなっていない。おまけに42,170人（もしくは41,945人）という数字も、Geminiが参照したと言っている県の統計ではいすみ市の人口は33,378人となっていて全く根拠のない数字。

 

AIがもてはやされているし、利便性も分かるけど、本当に身近なものとして使っていくにはまだまだかなり気を付けなければならないかもね。