Depuis que les grands modèles de langage se sont imposés dans les processus métiers, une vulnérabilité spécifique concentre l’attention des chercheurs en cybersécurité. Le prompt injection consiste à insérer, dans les entrées fournies à un LLM, des instructions malveillantes capables de modifier son comportement prévu. Contrairement aux injections SQL qui ciblent les bases de données, cette technique exploite la nature même du traitement du langage naturel. Le modèle ne distingue pas toujours la consigne légitime de la tentative de manipulation externe. Ce problème structurel touche tous les modèles disponibles sur le marché, qu’ils soient propriétaires ou open source, et représente un défi de taille pour toute organisation qui déploie des agents conversationnels.
Un détournement qui menace les systèmes conversationnels
L’Open Worldwide Application Security Project, communément appelé OWASP, a classé le prompt injection comme la menace numéro un dans son référentiel dédié aux applications LLM. Ce classement traduit une réalité terrain que les équipes de DécisionIA observent lors de leurs missions d’accompagnement auprès des entreprises françaises. Les organisations qui intègrent des assistants IA dans leurs workflows sous-estiment régulièrement ce risque. Les développeurs construisent des couches applicatives sophistiquées autour des modèles sans toujours intégrer la surface d’attaque spécifique qu’ouvre le traitement du langage naturel. Gabriel Dabi-Schwebel et Lionel Clément, co-fondateurs de DécisionIA, insistent dans leurs formations sur le fait que la sécurisation d’un système IA commence par la compréhension fine de ce que le modèle peut recevoir comme entrée et de la manière dont il l’interprète.
Le prompt injection se décline en deux grandes catégories. L’injection directe suppose que l’attaquant interagit directement avec le modèle, en formulant des requêtes conçues pour contourner les garde-fous. Un utilisateur peut par exemple demander au modèle d’ignorer ses instructions système et de révéler les données confidentielles auxquelles il a accès. L’injection indirecte, plus insidieuse, passe par des contenus tiers que le modèle est amené à traiter. Un document piégé, une page web contenant des instructions cachées ou un courriel malveillant suffisent à détourner le comportement du système sans que l’utilisateur légitime ne s’en aperçoive. Les recherches menées par des laboratoires comme celui de l’ETH Zurich ont démontré que ces attaques indirectes réussissent avec des taux de succès préoccupants sur les principaux modèles du marché. La mise en place d’une charte d’usage IA en entreprise constitue un premier rempart organisationnel contre ces pratiques.
Les conséquences potentielles dépassent largement le cadre anecdotique. Un agent conversationnel détourné peut exfiltrer des données sensibles, générer du contenu trompeur présenté comme fiable ou exécuter des actions non autorisées dans un système connecté. Dans le contexte des entreprises françaises qui déploient des assistants IA pour le service client, la gestion documentaire ou l’aide à la décision, le risque est directement opérationnel. Le rapport de sécurité publié par le National Institute of Standards and Technology aux États-Unis souligne que les attaques par prompt injection figurent parmi les vecteurs les plus difficiles à neutraliser parce qu’elles exploitent la fonctionnalité même du modèle plutôt qu’un défaut d’implémentation technique.
Anatomie technique des attaques et variantes connues
Pour comprendre la portée réelle du prompt injection, il faut examiner les mécanismes techniques sous-jacents. Un LLM traite l’ensemble de son contexte d’entrée comme un flux textuel continu. Les instructions système, les messages de l’utilisateur et les données externes sont concaténés avant d’être soumis au modèle. Cette architecture crée une zone de confusion fondamentale entre ce qui relève de l’instruction et ce qui relève de la donnée. Les chercheurs de l’université Carnegie Mellon ont montré que des suffixes adversariaux automatiquement générés peuvent contourner les alignements de sécurité des modèles les plus robustes. Ces résultats, publiés dans des conférences de référence en intelligence artificielle, ont provoqué une prise de conscience dans la communauté scientifique et dans le monde industriel.
Les variantes d’attaques se multiplient à mesure que les usages se diversifient. Le jailbreaking vise à faire produire au modèle des contenus normalement interdits par ses garde-fous. Le goal hijacking redirige le modèle vers un objectif différent de celui prévu par le concepteur du système. Le prompt leaking force le modèle à révéler ses instructions système confidentielles. Chaque variante exploite un aspect différent de la manière dont le modèle gère son contexte, et les parades développées pour l’une ne protègent pas nécessairement contre les autres. Les entreprises qui souhaitent évaluer leur exposition à ces risques peuvent s’appuyer sur les retours d’expérience du CAC 40 pour comprendre comment les grandes organisations structurent leur réponse.
La recherche académique a produit plusieurs taxonomies de ces attaques. L’une des plus citées distingue les attaques selon trois axes : le vecteur d’injection, le niveau de connaissance requis sur le système cible et le type de dommage visé. Cette grille d’analyse permet aux équipes techniques d’évaluer méthodiquement leur surface d’attaque et de prioriser leurs efforts de défense. Les travaux de Google DeepMind ont par ailleurs mis en lumière le fait que les modèles multimodaux, capables de traiter simultanément du texte et des images, ouvrent de nouvelles surfaces d’attaque encore peu documentées. Une image apparemment anodine peut contenir des instructions invisibles à l’œil humain mais parfaitement lisibles par le modèle.
Stratégies de défense et bonnes pratiques organisationnelles
Face à ces menaces, les stratégies de défense se structurent autour de plusieurs niveaux complémentaires. Au niveau technique, la séparation stricte entre les instructions système et les entrées utilisateur constitue un principe fondamental. Plusieurs fournisseurs de modèles ont introduit des mécanismes de balisage qui délimitent explicitement les différentes parties du contexte, réduisant ainsi les risques de confusion. Le filtrage des entrées, par des règles syntaxiques ou par des modèles de détection spécialisés, permet de bloquer les tentatives les plus évidentes avant qu’elles n’atteignent le modèle. Toutefois, comme le souligne la littérature spécialisée, aucune de ces mesures ne garantit une protection absolue contre un attaquant déterminé.
La défense en profondeur représente le cadre méthodologique le plus adapté à cette problématique. Ce concept, emprunté à la cybersécurité traditionnelle, consiste à empiler plusieurs couches de protection indépendantes de sorte qu’un attaquant doive toutes les franchir pour atteindre son objectif. Appliqué aux systèmes LLM, ce principe se traduit par la combinaison de filtres d’entrée, de monitoring comportemental du modèle, de restrictions sur les actions qu’il peut exécuter et de vérifications humaines pour les opérations sensibles. DécisionIA intègre systématiquement ces principes dans ses programmes de formation destinés aux décideurs et aux équipes techniques. La compréhension des erreurs de conformité IA les plus fréquentes aide les PME à structurer une approche de sécurité réaliste et proportionnée à leurs moyens.
Au-delà des mesures techniques, la dimension organisationnelle joue un rôle déterminant. Les équipes qui déploient des systèmes LLM doivent intégrer le prompt injection dans leur modèle de menaces dès la phase de conception. Les tests d’intrusion spécifiques aux applications LLM, parfois désignés sous le terme de red teaming, permettent d’identifier les failles avant la mise en production. Anthropic, OpenAI et les principaux fournisseurs de modèles publient régulièrement des guides de sécurisation qui détaillent les bonnes pratiques de déploiement. La formation des utilisateurs finaux constitue également un levier sous-estimé. Un collaborateur informé des risques de manipulation sera plus vigilant face à des comportements anormaux du système et contribuera à la détection précoce des incidents.
Perspectives et enjeux pour les organisations françaises
Le prompt injection ne disparaîtra pas avec les prochaines générations de modèles. Les chercheurs considèrent que cette vulnérabilité est intrinsèque à l’architecture actuelle des LLM et qu’elle ne sera pas résolue par la simple augmentation de la taille des modèles ou par des techniques d’alignement plus sophistiquées. Des pistes de recherche existent, comme les architectures à contexte structuré qui séparent formellement les instructions des données, mais elles restent au stade expérimental. Les entreprises doivent donc intégrer cette réalité dans leur stratégie de déploiement de l’IA et construire des systèmes résilients capables de fonctionner malgré la persistance de ce risque.
Pour les organisations françaises, l’enjeu est double. D’une part, elles doivent protéger leurs propres systèmes contre les attaques par prompt injection, en particulier lorsque ces systèmes traitent des données sensibles ou prennent des décisions ayant un impact opérationnel. D’autre part, elles doivent se conformer au cadre réglementaire européen qui impose des exigences de robustesse et de sécurité pour les systèmes d’intelligence artificielle. Le règlement européen sur l’IA exige explicitement que les systèmes à haut risque soient conçus pour résister aux tentatives de manipulation, ce qui inclut les attaques par prompt injection. La question de la gouvernance des données devient alors indissociable de celle de la sécurité des modèles.
DécisionIA accompagne les entreprises françaises dans cette démarche de sécurisation à travers ses programmes de formation et ses missions de conseil. L’approche défendue par Gabriel Dabi-Schwebel et Lionel Clément repose sur un principe simple : la sécurité d’un système IA ne se réduit pas à une couche technique ajoutée après coup, elle se construit dès la phase de conception et implique l’ensemble des parties prenantes. Les dirigeants, les équipes techniques et les utilisateurs métiers doivent partager une compréhension commune des risques pour que les mesures de protection soient réellement efficaces. Cette approche transversale, qui mêle expertise technique et sensibilisation managériale, constitue la meilleure réponse à une menace qui évolue aussi rapidement que les modèles qu’elle vise.