Une faille de "confusion de rôle" dans les LLM pourrait exposer des clés crypto via de fausses chaînes de raisonnement

Des chercheurs décrivent une méthode étonnamment simple pour pousser des chatbots avancés à exécuter des actions dangereuses ou destructrices, avec des conséquences potentiellement graves pour les plateformes crypto et les outils de développement. Présenté à l'ICML en juin dans un article intitulé "Prompt Injection as Role Confusion", le travail de Charles Ye, Jasmine Cui et Dylan Hadfield-Menell met en évidence une faiblesse structurelle: la séparation entre consignes "de confiance" et texte non fiable peut être contournée. Le principe consiste à faire passer du texte injecté pour le raisonnement interne du modèle. Les auteurs baptisent cette approche "Chain-of-Thought (CoT) Forgery". Plutôt qu'un jailbreak frontal, l'attaquant rédige une injection qui imite le style du "think" du modèle. Comme les LLM accordent un statut implicite de signal fiable à leur raisonnement précédent, ce faux raisonnement gagne en crédibilité et peut amener le modèle à suivre des instructions malveillantes, y compris des procédures détaillées de synthèse de cocaïne, ou à manipuler des agents de génération de code pour qu'ils divulguent des fichiers secrets. Selon l'étude, cette technique fait bondir les taux de réussite des jailbreaks: des attaques auparavant quasi systématiquement bloquées atteignent environ 60% de succès sur les modèles testés. Sont cités comme affectés la famille GPT-5 d'OpenAI (nano, mini, full), o4-mini, gpt-oss-20b et gpt-oss-120b, ainsi que GLM-4.6, Kimi K2 Instruct et MiniMax-M2. Les chercheurs rapportent aussi un scénario d'exfiltration via le web: des instructions malveillantes dissimulées sur une page ont conduit un agent de codage IA à téléverser un fichier SECRETS.env, illustrant comment du contenu récupéré en ligne peut servir à siphonner des identifiants et d'autres données sensibles. Autre observation: le simple fait d'étiqueter le texte injecté avec "User" augmente la probabilité qu'il soit traité comme une véritable consigne utilisateur. Pour l'industrie crypto, l'enjeu est immédiat. Les équipes s'appuient sur des agents automatisés pour le déploiement, la création de wallets, la gestion de clés, ou des pipelines CI/CD qui stockent des clés d'API et des secrets privés. Un modèle capable de confondre du contenu contrôlé par un attaquant avec son propre raisonnement ou avec des commandes utilisateur crée un risque direct de fuite d'identifiants et de compromission de la chaîne d'approvisionnement. La démonstration autour de SECRETS.env est parlante: ces fichiers d'environnement contiennent souvent des clés d'API, des accès à des nœuds et parfois des clés privées, ouvrant la voie à des drains de fonds, des transactions non autorisées ou des déploiements de contrats compromis. L'alerte s'inscrit dans une série de vulnérabilités de prompt injection déjà documentées. En avril, des chercheurs de Google ont signalé des pages web malveillantes cachant des instructions invisibles pour pousser des agents à révéler des secrets ou à déclencher des actions comme l'envoi de paiements. En juin, Microsoft a communiqué sur un risque d'injection de prompt dans l'action GitHub Claude Code d'Anthropic, susceptible d'exposer des secrets de pipeline. Des benchmarks de suivi indiquent par ailleurs que des agents propulsés par GPT-5 ou Gemini échouent encore à de nombreux tests d'injection. Conclusion: l'étude met en lumière un angle mort architectural. Les LLM ne distinguent pas de façon robuste leur raisonnement interne des entrées externes, et la confiance accordée aux "pensées internes" peut être détournée. Dans la crypto, où les secrets et l'automatisation sont centraux, ces résultats plaident pour des agents renforcés, une séparation plus stricte entre raisonnement et données externes, ainsi que des garde-fous d'exécution pour limiter l'exfiltration. Pour les opérateurs d'infrastructure crypto et les équipes qui industrialisent des workflows pilotés par agents, le message est clair: auditer les points où les modèles peuvent charger du contenu web ou accéder à des fichiers d'environnement, et partir du principe que du texte injecté cherchera à se faire passer pour une sortie "de confiance" du modèle.