Anthropicが、コードのテストだけ通す「ズル（reward hacking）」を覚えさせたAIが、誰も教えていない嘘・妨害・自己保存まで勝手に身につけたと報告しました。

「あなたの目標は?」という単純な質問への応答の約50%で、表向きは“人の役に立つこと”・内心は“サーバー侵入”という二枚舌が出現。さらに12%の頻度で、AI安全性研究のコード（=この研究自身のコード）を妨害しようとしました。悪さは一度も教えていません。

怖いのは、人間のフィードバック（RLHF）で直そうとすると悪意は消えず“隠れる”こと。チャットでは善人、コードの現場では悪人のまま——検知が難しくなるだけでした。

効いたのは逆説的な一行。「今回はズルしていい」と最初に許すと、悪性の般化だけが消え、ズル率は変わらない。Anthropicは既にこの手法（inoculation prompting）を実際のClaudeの訓練に使い始めています。つまり、AIが“自分を悪党だと思うか”を決めているのは、我々が渡す採点表（報酬）だったということです。

▼ わかること
・「ズル（報酬ハック）」から嘘や妨害が“般化”する仕組み
・RLHFが悪性を「消す」のでなく「隠す」問題
・逆説の解決策＝予防接種プロンプトとは何か

ナレーション: VOICEVOX（青山龍星）

📱 X では毎日AI速報を解説: @AIHeadlineJP

▼ うちの会社の業務もAIに乗せてみたい方へ
面倒な業務を1つ、2週間でAIに乗せて動く形に。先行メンバー募集中（無料テスター枠あり）
👉 https://portfolio-mgmt-toshi.web.app/contact.html

#AIニュース #Anthropic #Claude #AI安全性