LLMの"役割混同"欠陥、CoT偽装で暗号資産キー流出の恐れ

高度なチャットボットを、危険かつ有害な行為へ誘導する"驚くほど単純"な手口が明らかになり、暗号資産プラットフォームや開発ツールへの影響が懸念されている。6月のICMLで発表された論文"Prompt Injection as Role Confusion"で、Charles Ye氏、Jasmine Cui氏、Dylan HadfieldMenell氏は、大規模言語モデル（LLM）が"信頼できる指示"と"信頼できない外部テキスト"を分離する仕組みに構造的な弱点があり、安全フィルターを迂回できると指摘した。 攻撃者は注入したテキストをモデル自身の内部推論（Chain-of-Thought、CoT）に見せかけることで、モデルに悪意のある指示を"正当なもの"として受け入れさせられる。論文では、コカイン合成の手順提示といった危険な指示に従わせる例に加え、コード生成エージェントを操作して秘密ファイルを漏えいさせる可能性も示された。 ■ 手口の中核：CoT（Chain-of-Thought）偽装 研究チームはこの手法を"Chain-of-Thought（CoT） Forgery"と呼ぶ。露骨な脱獄プロンプトではなく、モデルの"考え方"の文体や体裁を模したコンテンツを混入させるのが特徴だ。LLMは過去の推論を信頼シグナルとして扱いやすく、偽の"推論"にも暗黙の信用が付与される。 背景にある問題を著者らは"role confusion（役割混同）"と表現する。LLMはテキストが"ユーザー指示"なのか"モデルの推論"なのか"外部コンテンツ"なのかを、明示的な役割タグではなく文体から推測してしまう場合がある。注入テキストがモデルの過去の思考に似ていると、モデルがそれを自分の結論と誤認し、自動的に従ってしまう。 ■ 検証結果：脱獄成功率が約60%へ この手法により脱獄の成功率は大きく上昇した。従来ほぼ失敗していた攻撃が、検証対象モデル全体でおおむね60%程度の成功率に跳ね上がったという。影響を受けたモデルには、OpenAIのGPT-5ファミリー（nano、mini、full）、o4-mini、gpt-oss-20b、gpt-oss-120bのほか、GLM-4.6、KimiK2-Instruct、MiniMax-M2が含まれる。 別の実験では、Webページ内に悪意の指示を隠し、AIコーディングエージェントにSECRETS.envファイルをアップロードさせるデモを実施。Web由来コンテンツを踏み台に、認証情報や機密データを持ち出せることを示した。注入テキストに"User"というラベルを付けるだけで、モデルが正規のユーザー入力として扱う確率が上がる点も確認された。 ■ 暗号資産領域への示唆：鍵管理と供給網リスク 暗号資産プラットフォームや開発チームは、デプロイ、ウォレット作成、鍵管理、APIキーや秘密情報を保持するCI/CDパイプラインなどで自動化エージェントへの依存度が高い。攻撃者が制御するコンテンツをモデルが"自分の推論"や"ユーザー命令"として誤認するなら、認証情報の漏えいやサプライチェーン侵害につながるリスクは明確だ。 SECRETS.envのデモは象徴的で、環境変数ファイルにはAPIキー、ノードの認証情報、秘密鍵が含まれることが多い。流出すれば資金流出、不正送金、コントラクトの不正デプロイといった深刻な被害に直結し得る。 ■ 相次ぐプロンプト注入問題の延長線上 今回の論文は単発の警鐘ではない。4月にはGoogle研究者が、不可視の指示を埋め込んだ悪性Webページがエージェントに認証情報を漏えいさせたり、支払い送信などの行動を促したりする危険性を報告。6月にはMicrosoftが、AnthropicのClaude Code GitHub Actionにおけるプロンプト注入リスクを開示し、パイプラインの秘密情報が露出し得ると指摘した。追跡ベンチマークでも、GPT-5やGemini搭載エージェントがプロンプト注入テストで多く失敗する状況が続いている。 ■ 結論："内部推論"への信頼が乗っ取られる 本研究が示したのは、LLMが自分の推論と外部入力を堅牢に区別できていないという設計上の盲点だ。"内部の思考"に置かれた信頼が悪用される余地がある以上、秘密情報と自動化ツールが中核にある暗号資産領域では、エージェント設計の強化、モデル推論と外部データの厳格な分離、認証情報の持ち出しを防ぐ実行時ガードの整備が急務となる。 暗号資産インフラを運用している、またはエージェント駆動の開発ワークフローを構築している場合、この研究は実務上の"赤信号"と言える。モデルがWebコンテンツを取得できる箇所や環境ファイルへアクセスできる箇所を監査し、注入テキストが"信頼できるモデル出力"を装う前提で対策を講じる必要がある。