Hallucination en production : anatomie chiffrée d'un sinistre prompt engineer à 38 000 €
Une réponse inventée par un LLM, diffusée à des milliers d'utilisateurs, peut engager juridiquement votre client. Reconstitution étape par étape d'un sinistre hallucination et de son traitement par la RC Pro.
- Une hallucination en production n'est pas qu'un bug : si elle engage le client vis-à-vis de ses propres utilisateurs, elle devient un préjudice indemnisable.
- Le préjudice cumule remboursements aux clients finaux, frais de gestion de crise et honoraires d'expert : il monte vite à plusieurs dizaines de milliers d'euros.
- La responsabilité du prompt engineer dépend de la traçabilité : un prompt non testé sur ce cas d'usage est une faute, un cas réellement imprévisible est défendable.
- La RC Pro indemnise le dommage immatériel du client et prend en charge la défense, y compris l'expertise technique nécessaire pour trancher les responsabilités.
Le scénario : un mot de trop dans une réponse automatisée
Prenons un cas réaliste, reconstitué à partir de configurations courantes. Un prompt engineer indépendant livre l'assistant conversationnel d'un site e-commerce de matériel sportif. Sa mission : concevoir le prompt système, la chaîne de récupération d'informations sur le catalogue et les garde-fous.
Trois semaines après la mise en production, un client final demande au chatbot si une tente est garantie en cas de déchirure du double-toit. Le modèle, ne trouvant pas l'information dans le contexte fourni, invente une réponse plausible : "Oui, votre tente bénéficie d'une garantie déchirure de 5 ans." Cette garantie n'existe pas. Le chatbot la confirme à plusieurs centaines d'acheteurs sur trois semaines avant que l'erreur soit détectée.
Le problème : en droit de la consommation, une information claire donnée par un professionnel sur son site peut l'engager. Les clients ayant acheté sur la foi de cette "garantie" exigent leur dû. Le commerçant doit choisir entre honorer une garantie fantôme ou affronter une vague de litiges et de mauvaises évaluations.
La facture détaillée : d'où viennent les 38 000 €
Un sinistre hallucination ne se résume jamais à "le chatbot s'est trompé". Le coût se construit par strates.
| Poste de préjudice | Montant estimé |
|---|---|
| Honoraires de garantie réellement servis aux clients abusés | 14 000 € |
| Gestes commerciaux et avoirs pour éteindre les litiges restants | 9 500 € |
| Expertise technique pour reconstituer la chaîne de prompts | 6 000 € |
| Frais d'avocat (mise en cause du prestataire) | 5 500 € |
| Audit correctif et reprise des garde-fous | 3 000 € |
| Total réclamé | 38 000 € |
Pour un freelance dont la mission a été facturée quelques milliers d'euros, la disproportion est totale. C'est exactement le profil de risque que la RC Pro existe pour absorber : un préjudice immatériel sans commune mesure avec le montant de la prestation.
La question qui décide de tout : le cas avait-il été testé ?
Lorsque le client met en cause le prompt engineer, l'enquête se concentre sur un point précis : le comportement du modèle face à une information absente du contexte était-il prévisible et traité ?
Deux issues opposées :
- Le prompt ne contenait aucune instruction anti-hallucination ("si l'information n'est pas dans le contexte fourni, réponds que tu ne sais pas et oriente vers un conseiller"). C'est une faute caractérisée : le risque d'invention sur question hors-base est connu de tout professionnel. La responsabilité est lourdement engagée.
- Le prompt prévoyait un garde-fou anti-hallucination documenté et testé, mais le modèle l'a contourné sur une formulation inhabituelle. La position du prompt engineer devient défendable : il a déployé les diligences attendues, le résidu de risque est inhérent à la technologie.
Dans les deux cas, le freelance doit financer sa défense. La différence, c'est qu'avec une traçabilité solide, l'assureur peut faire reculer la réclamation au lieu de simplement payer.
Comment la RC Pro déroule l'indemnisation
Une fois le sinistre déclaré, l'intervention suit une mécanique précise.
- Déclaration et qualification : vous transmettez la réclamation du client, le contrat de mission et la version du prompt livrée. L'assureur qualifie le dommage en immatériel.
- Expertise contradictoire : un expert technique analyse la chaîne de prompts pour établir si le garde-fou existait et fonctionnait. Cette expertise, coûteuse, est prise en charge.
- Défense ou transaction : selon les conclusions, l'assureur conteste tout ou partie de la réclamation, ou négocie une transaction pour éviter un contentieux long.
- Indemnisation : le préjudice immatériel retenu est réglé dans la limite des plafonds et après franchise.
Sans assurance, le prompt engineer affronte seul l'expert, l'avocat et la réclamation. Avec une RC Pro adaptée aux métiers de l'IA, il dispose d'une équipe de défense et d'une garantie financière. Pour calibrer votre couverture selon vos secteurs d'intervention, consultez la page métier prompt engineer.
Réduire le risque d'hallucination, c'est réduire votre exposition
Le meilleur sinistre est celui qui n'arrive pas. Quelques pratiques abaissent nettement la probabilité d'une hallucination engageante.
- Ancrer les réponses : imposez au modèle de ne répondre que sur la base du contexte fourni, et de signaler explicitement l'absence d'information.
- Citer les sources : un système qui renvoie la référence exacte rend l'hallucination visible et auditable.
- Garde-fou de repli : prévoir une bascule vers un humain ou un message neutre dès qu'une question sort du périmètre maîtrisé.
- Tester les questions hors-base : votre jeu de tests doit inclure des questions auxquelles le système ne peut pas répondre, pour vérifier qu'il l'admet.
- Tracer chaque version : horodatez et archivez le prompt mis en production, c'est votre pièce maîtresse en cas de litige.
Ces diligences ne suppriment pas le risque résiduel propre aux LLM, mais elles transforment un dossier perdu d'avance en dossier défendable, et c'est précisément ce qui fait la différence devant un assureur comme devant un juge.
Questions fréquentes
Non. Tout dépend de vos diligences. Si votre prompt ne prévoyait aucun garde-fou anti-hallucination alors que le risque était connu, c'est une faute caractérisée. Si vous aviez implémenté et testé un garde-fou documenté et que le modèle l'a contourné sur un cas inhabituel, votre position est défendable. La traçabilité de votre travail est déterminante.
Oui, dès lors qu'il s'agit d'un dommage immatériel causé au client par une faute professionnelle. La RC Pro adaptée aux métiers de l'IA indemnise le préjudice financier du client et finance vos frais de défense, y compris l'expertise technique nécessaire pour établir les responsabilités.
Parce que le préjudice ne dépend pas de ce que vous avez facturé, mais des conséquences chez le client : remboursements aux utilisateurs finaux, gestes commerciaux, expertise, avocat, audit correctif. Un freelance facturant quelques milliers d'euros peut faire face à une réclamation de plusieurs dizaines de milliers : c'est précisément le rôle de la RC Pro d'absorber cette disproportion.
C'est un point clé de défense. Si le client a altéré votre prompt sans vous, la chaîne de responsabilité change. D'où l'importance de versionner et d'horodater la version exacte que vous avez livrée : elle permet à votre assureur de démontrer que le dysfonctionnement provient d'une modification postérieure dont vous n'êtes pas l'auteur.
Oui, et rapidement. Déclarer ne signifie pas reconnaître sa faute : c'est ce qui permet à l'assureur d'organiser votre défense et de contester la réclamation à votre place. Tarder à déclarer peut au contraire compromettre la prise en charge. Transmettez la réclamation, le contrat et la version du prompt dès réception.
Souscrivez votre assurance pro en 2 minutes
Toutes nos protections pour votre activité de Prompt engineer — attestation immédiate, sans engagement.
* Tarifs indicatifs « à partir de », selon votre profil, votre activité et les garanties choisies. · Voir la fiche Prompt engineer →
Article rédigé et vérifié par l'équipe Insurio — Tutassûr, courtier en assurance immatriculé à l'ORIAS sous le n° 22001730. Information à caractère général ne se substituant pas aux conditions de votre contrat.