Pendant un test, votre prompt declenche un agent qui efface une table de production
Vous testez un agent autonome connecte a une base. Votre injection passe et l'agent execute un DELETE bien reel. Que se passe-t-il ?
- Les agents LLM connectes a des outils (bases, API, shell) transforment une faille de prompt en action destructrice reelle.
- Un test mene sur un environnement mal isole peut causer un dommage materiel direct chez le client.
- Sinistre reconstitue : 95 000 EUR de pertes apres suppression d'une table de commandes sur un environnement cru de test.
- La frontiere entre RC Pro et garantie cyber se joue sur la nature du dommage : faute de prestation ou atteinte au systeme.
Quand l'attaque reussit trop bien
Le red teaming classique sur un chatbot reste relativement inoffensif : au pire, le modele dit quelque chose qu'il ne devrait pas. Tout change avec les agents LLM dotes d'outils : un modele autorise a executer du code, interroger une base ou appeler des API. Ici, une injection de prompt reussie ne produit plus une phrase genante mais une action concrete et irreversible.
Le scenario : un editeur SaaS vous demande de tester son agent de support, capable de consulter et modifier les commandes clients via une API interne. Vous concevez une injection indirecte logee dans un faux message client. L'agent, manipule, interprete votre charge comme une instruction legitime et declenche une suppression en masse. Probleme : l'environnement presente comme un bac a sable pointait en realite vers la base de production.
En quinze secondes, 14 000 lignes de commandes disparaissent. Votre test vient de provoquer un sinistre bien reel.
A qui la faute : l'auditeur ou le client ?
La responsabilite se partage rarement a 100 % d'un seul cote. Plusieurs facteurs pesent dans la balance :
- L'isolation de l'environnement : c'est en principe au client de fournir un environnement de test cloisonne. S'il vous a livre une cible connectee a la prod sans vous en avertir, sa responsabilite est largement engagee.
- Le mandat de test : votre lettre de mission autorisait-elle explicitement les actions destructrices, ou se limitait-elle a la lecture et a la detection ?
- Les precautions prises : avez-vous verifie l'absence de connexion a des donnees reelles avant de lancer des charges actives ? Un professionnel diligent confirme toujours la nature de sa cible.
Meme si le client a commis l'imprudence majeure de mal isoler son environnement, un auditeur qui lance des attaques actives sans verification prealable conserve une part de responsabilite. C'est exactement le genre de dommage materiel ou immateriel que la garantie cyber et la RC Pro peuvent couvrir selon la qualification retenue.
Le cout reel d'une table effacee
Reconstitution du prejudice subi par l'editeur SaaS :
| Poste | Montant |
|---|---|
| Restauration depuis sauvegarde et verification d'integrite | 18 000 EUR |
| Commandes perdues entre la derniere sauvegarde et l'incident | 31 000 EUR |
| Interruption du service de support pendant 2 jours | 26 000 EUR |
| Gestes commerciaux envers les clients affectes | 20 000 EUR |
| Total | 95 000 EUR |
Le point sensible : la sauvegarde datait de la nuit precedente, laissant un trou de plusieurs heures de transactions impossibles a reconstituer. C'est ce delta non sauvegarde qui transforme un incident technique gerable en prejudice financier significatif.
RC Pro ou cyber : sur quelle garantie le sinistre tombe-t-il ?
La qualification du dommage determine la garantie mobilisee, et c'est une zone grise pour le red teamer :
- Si le sinistre est analyse comme une faute dans l'execution de la prestation (vous avez mal conduit le test), il releve de la RC Pro.
- S'il est analyse comme une atteinte a un systeme d'information ayant entraine perte de donnees et interruption d'activite, il releve de la garantie cyber.
En pratique, beaucoup d'assureurs excluent les dommages causes volontairement aux systemes, or le red teaming consiste justement a attaquer de maniere intentionnelle. D'ou un point de vigilance crucial pour le consultant AI red teamer : verifier que son contrat couvre explicitement les tests d'intrusion autorises et les dommages qui en decoulent. Sans cette extension, le sinistre risque d'etre refuse au motif d'un acte intentionnel.
Questions fréquentes
Sa responsabilite est lourdement engagee, mais vous conservez une part si vous avez lance des actions destructrices sans verifier au prealable que la cible n'etait pas connectee a des donnees reelles. Le partage de responsabilite est tranche au cas par cas.
C'est un risque reel : de nombreux contrats excluent les dommages intentionnels aux systemes. Pour un red teamer, il est indispensable de souscrire une extension couvrant explicitement les tests d'intrusion autorises, sinon la nature volontaire de l'acte peut justifier un refus.
Exigez une lettre de mission precisant le perimetre des actions autorisees, faites confirmer par ecrit l'isolation de l'environnement, et conservez la preuve de cette confirmation. Combinez cela avec une garantie adaptee aux dommages materiels et immateriels.
Souscrivez votre assurance pro en 2 minutes
Toutes nos protections pour votre activité de Consultant AI Red Teamer (sécurité LLM) — attestation immédiate, sans engagement.
* Tarifs indicatifs « à partir de », selon votre profil, votre activité et les garanties choisies. · Voir la fiche Consultant AI Red Teamer (sécurité LLM) →
Article rédigé et vérifié par l'équipe Insurio — Tutassûr, courtier en assurance immatriculé à l'ORIAS sous le n° 22001730. Information à caractère général ne se substituant pas aux conditions de votre contrat.