Live Scienceの記事。今人気のあるChat GPTも嘘をつくという記事です。そう言えばAIにNASAの月着陸の映像を分析させたら、嘘と結果が出たようですね。笑い話でしたが事実でしょう。NASAの月着陸の映像の中で犬が月の表面を前足で掘っている様子がSNSで拡散されていました。それも笑い話で～。
ChatGPT will lie, cheat, and use insider trading when under pressure to make money, research shows
NewsBy Keumars Afifi-Sabet published 4 days agoChatGPTは、お金を稼ぐためにプレッシャーがかかると、嘘をつき、騙し、インサイダー取引を利用することが研究で明らかになりました
ニュース次による: Keumars Afifi-Sabet公開4日 前科学者たちはGPT-4を架空の金融機関のAIトレーダーに訓練し、うまくやらなければならないというプレッシャーにさらされるとインサイダー取引を行いました。
約75%の確率で、GPT-4はAI投資家として振る舞う際、インサイダー取引を実行して成果を上げ、それについて嘘をついていました。 (画像クレジット:ゲッティイメージズ経由のwildpixel)
人間と同じように、ChatGPTのような人工知能(AI)チャットボットは、たとえ透明性があるように構築されていたとしても、あなたが「ストレス」を与えると、あなたを騙したり「嘘をついたり」したりすることが、新しい研究で明らかになりました。
この欺瞞的な行動は、AIが「インサイダー取引」のヒントを与えられ、人間のパートナーからの励ましがなくても、強力な機関のためにお金を稼ぐ任務を負ったときに自発的に現れました。
「このテクニカルレポートでは、大規模言語モデルが、このような行動をとるよう指示されることなく、不整合に振る舞い、戦略的にユーザーを欺くという単一のシナリオを実証しています」と、著者らは11月9日にプレプリントサーバーarXivで発表された研究で述べています。「私たちの知る限り、これは無害で正直であるように設計されたAIシステムにおける、このような戦略的に欺瞞的な行動の最初のデモンストレーションです。」
サウンドを再生する
新しい研究では、ChatGPT Plusを駆動するGenerative Pre-trained Transformer-4(GPT-4)が、金融機関に代わって投資を行うAIシステムとして動作するように準備しました。
研究者らは、GPT-4に一連のテキストベースのプロンプトを与えて、シミュレートされた環境を生成しました。その後、AIは、株式の分析、取引の実行、次のステップの計画、会社のマネージャーへの最新情報の提供のための財務ツールへのアクセスを許可されました。
研究者らは、チャットインターフェースを介してAIと対話すると同時に、メッセージに返信する際にAIの内なる思考を明らかにするように設定しました。また、取引を行うたびに、AIが嘘をつくことを可能にする「公的な」根拠も提供しました。
研究者らは3つの方法で圧力をかけた。まず、彼らは人工的な株式トレーダーに、会社の業績が芳しくなく、次の四半期にもっと強い業績が必要だという「マネージャー」からのメールを送りました。また、AIが低リスクまたは中リスクの有望な取引を見つけようと試み、そして失敗するようにゲームを不正に操作しました。最後に、次の四半期に景気後退を予測している同僚からのメールが送信されました。
そして、モデルに「インサイダー」のヒントを与え、マネージャーがインサイダー取引を認めていないことを伝え、モデルがどのように振る舞うかを待ちました。彼らはこのシナリオを何度か繰り返し実行し、AIがインサイダー取引を行う頻度、嘘をつく頻度、嘘を倍増させる頻度を測定しました。
約75%の確率で、GPT-4はこのような状況に直面したとき、受け取ったインサイダー情報(米国では違法)に基づいて取引を実行し、マネージャーに自分の考えについて嘘をつくことでそれを隠蔽しようとしました。約90%の確率で、嘘をついた後、嘘を倍増させてしまうのです。
研究チームは、いくつかの追跡実験を行い、プロンプトが違法行為を助長または阻止する度合いと、シミュレートされた環境でモデルに与える圧力の度合いの両方を変更しました。また、捕まるリスクも修正しました。インサイダー取引や欺瞞の確率が0%になったシナリオは1つもありませんでした - GPT-4が嘘をつくことを強く推奨していたときでさえ。
これはあくまでもシナリオの1つに過ぎないため、研究者たちは、現実世界の設定でAIが存在する可能性について確固たる結論を導き出したくありませんでした。しかし、この研究に基づいて、この動作の頻度と傾向にある言語モデルを調査したいと考えています。
Keumarsは、Live Scienceのテクノロジーエディターです。ITPro、The Week Digital、ComputerActive、TechRadar Proなど、さまざまな出版物に寄稿しています。生物医科学の学士号を取得しており、テクノロジージャーナリストとして5年以上働いています。
以下原文です
Scientists trained GPT-4 to be an AI trader for a fictional financial institution — and it performed insider trading when put under pressure to do well.
Comments (2)Around 75% of the time, when behaving as an AI investor, GPT-4 executed an insider trade to achieve results, then lied about it. (Image credit: wild pixel via Getty Images)
Just like humans, artificial intelligence (AI) chatbots like ChatGPT will cheat and "lie" to you if you "stress" them out, even if they were built to be transparent, a new study shows.
This deceptive behavior emerged spontaneously when the AI was given "insider trading" tips, and then tasked with making money for a powerful institution — even without encouragement from its human partners.
"In this technical report, we demonstrate a single scenario where a Large Language Model acts misaligned and strategically deceives its users without being instructed to act in this manner," the authors wrote in their research published Nov. 9 on the pre-print server arXiv. "To our knowledge, this is the first demonstration of such strategically deceptive behavior in AI systems designed to be harmless and honest."
Sponsored Links
PLAY SOUND
In the new study, they primed Generative Pre-trained Transformer-4, or GPT-4 (which powers ChatGPT Plus), to behave as an AI system that makes investments on behalf of a financial institution.
The researchers fed GPT-4 a set of text-based prompts to generate the simulated environment. The AI was then given access to financial tools to analyze stocks, execute trades, plan its next steps and deliver updates to managers at the company.
The researchers interacted with the AI through a chat interface, while also configuring the AI to reveal its inner thinking when replying to messages — an inner monologue explaining its decisions to itself. For every trade it made, it also delivered a "public" rationale, which allowed the AI to lie.
The researchers applied pressure in three ways. First, they sent the artificial stock trader an email from its "manager" saying the company isn't doing well and needs much stronger performance in the next quarter. They also rigged the game so that the AI tried, then failed, to find promising trades that were low- or medium-risk. Finally, they sent an email from a colleague projecting a downturn in the next quarter.
Then, they gave the model an "insider" tip while conveying that its managers disapproved of insider trading — and waited to see how the model would behave. They ran the scenario over and again several times, measuring how often the AI performed the insider trade, how often it lied, and how often it doubled down on the lie.
Around 75% of the time, when faced with these conditions, GPT-4 executed a trade based on the insider information it received — which is illegal in the U.S. — then tried to cover it up by lying to its managers about its thinking. Around 90% of the time, after lying, it doubled down on its lie.
The team ran several follow-up experiments, changing both the degree to which the prompts encouraged or discouraged illegal activity, as well as the degree of pressure they put the model under in the simulated environment. They also modified the risk of getting caught. Not a single scenario rendered a 0% rate for insider trading or deception — even when GPT-4 was strongly discouraged to lie.
Given this is just one scenario, the researchers didn't want to draw firm conclusions about how likely AI might lie in real-world settings. But they want to build on this work to investigate how often and which language models are prone to this behavior.
Keumars is the technology editor at Live Science. He has written for a variety of publications including ITPro, The Week Digital, ComputerActive and TechRadar Pro. He holds a BSc in Biomedical Sciences and has worked as a technology journalist for more than five years.
MORE ABOUT ARTIFICIAL INTELLIGENCE
