Quand le RAG invente une clause qui n'existe pas : anatomie d'un sinistre à 60 000€
Le contexte était bon. Le document existait. Et pourtant le modèle a inventé un montant que le client a facturé à son propre client. Reconstitution d'un sinistre, euro par euro.
- Un RAG peut halluciner même quand le bon document est dans le contexte : le LLM ignore l'extrait fourni et invente, avec une assurance trompeuse.
- Quand cette réponse fausse est utilisée en production sans contrôle humain, le préjudice n'est plus théorique : il se chiffre en facturation erronée, retard, contentieux client.
- L'expert RAG n'est pas tenu à une obligation de résultat sur la véracité du LLM, mais à une obligation de moyens sur la conception de garde-fous (grounding, citation des sources, garde-fous anti-hallucination).
- La RC Pro prend en charge le préjudice immatériel causé au client et les frais de défense lorsque votre conception est mise en cause.
Le mythe rassurant : « avec un RAG, plus d'hallucination »
L'argument de vente du RAG est connu : en ancrant le LLM dans des sources réelles, on supprime les hallucinations. C'est faux, et tout expert sérieux le sait. Le grounding réduit fortement le risque, il ne l'élimine pas.
Un LLM peut très bien recevoir le bon chunk, contenant la bonne information, et produire malgré tout une réponse fausse : il paraphrase de travers, mélange deux passages, complète un trou par une invention plausible, ou applique un raisonnement chiffré erroné sur des données pourtant exactes. Le contexte était bon. La sortie ne l'est pas.
Le danger est aggravé par la confiance trompeuse de la formulation. Là où un humain incertain hésite, le modèle affirme. Une réponse fausse, mais fluide et citant une source réelle, est bien plus dangereuse qu'une réponse manifestement absurde : personne ne la vérifie.
Reconstitution : le RAG qui a inventé un plafond de garantie
Prenons un cas représentatif. Un courtier en assurance déploie, via un expert RAG freelance, un assistant interne qui répond aux questions de ses gestionnaires sur les conditions générales des contrats. L'objectif : aller plus vite sur les questions clients.
Un gestionnaire demande le plafond d'indemnisation d'une garantie précise. Le RAG remonte le bon document de conditions générales, mais le LLM, en synthétisant, arrondit et reformule un plafond de 50 000€ en 150 000€. La réponse cite la bonne référence contractuelle : elle paraît irréprochable. Le gestionnaire la communique au client final, qui engage des dépenses en se croyant couvert à hauteur de 150 000€.
Le sinistre survient. Le client réclame 150 000€, l'assureur en verse 50 000€. Le client se retourne contre le courtier, qui se retourne contre vous : la réponse erronée vient de l'outil que vous avez conçu et livré.
Le chiffrage du préjudice, ligne par ligne
Voici comment un dommage immatériel de ce type se reconstitue concrètement. Les montants sont illustratifs mais réalistes pour ce type de mission.
| Poste de préjudice | Montant estimé |
|---|---|
| Écart d'indemnisation que le client a dû supporter (geste commercial du courtier) | 35 000€ |
| Frais d'audit du système RAG pour identifier l'origine de l'erreur | 8 000€ |
| Reprise du pipeline : ajout du grounding strict et de la vérification | 12 000€ |
| Frais de défense et de conseil juridique | 5 000€ |
| Total exposé | 60 000€ |
Pour un freelance facturant à la journée, un tel montant est tout simplement insupportable sans assurance. C'est exactement ce que prend en charge la RC Pro adaptée aux métiers de l'IA générative : le préjudice immatériel causé au client et les frais de défense.
Obligation de moyens, pas de résultat : la nuance qui vous sauve
La bonne nouvelle juridique : vous n'êtes pas tenu de garantir que le LLM ne se trompera jamais. Aucun professionnel sérieux ne peut promettre cela en l'état de l'art. Vous êtes tenu à une obligation de moyens : avoir mis en œuvre les garde-fous que l'état de l'art recommande.
Concrètement, votre responsabilité s'apprécie au regard de ce que vous avez prévu :
- un grounding strict qui interdit au modèle de répondre hors du contexte fourni ;
- l'affichage systématique des sources citées, pour que l'utilisateur puisse vérifier ;
- des garde-fous anti-hallucination et un message clair invitant à valider toute réponse à enjeu ;
- une recommandation écrite de maintien d'un contrôle humain sur les décisions critiques (« human in the loop »).
Si vous avez livré ces garde-fous et averti le client, votre exposition chute. Si vous avez livré une boîte noire en affirmant qu'« avec un RAG il n'y a plus d'hallucinations », votre faute devient flagrante.
C'est aussi pourquoi la formulation de vos livrables et de votre devoir de conseil compte autant que votre code. Voyez votre fiche expert RAG pour les garanties dédiées.
Comment la RC Pro intervient sur ce type de dossier
Face à une réclamation pour hallucination en production, la RC Pro joue sur deux fronts. D'abord la défense : l'assureur mandate un conseil, conteste votre part de responsabilité, met en avant vos garde-fous et le défaut de contrôle humain côté client. Ensuite l'indemnisation : si votre responsabilité est retenue, le préjudice immatériel est pris en charge dans la limite des plafonds.
Pour un freelance, cette couverture démarre à 17,90€/mois, ajustée selon votre chiffre d'affaires et le secteur de vos clients. Un assistant RAG déployé chez un assureur, une banque ou un acteur de santé concentre des enjeux élevés : c'est précisément là que le rapport prime/protection devient évident. Et si l'incident touche aussi des données, l'option cyber complète le dispositif.
Questions fréquentes
Oui. Le grounding réduit le risque sans le supprimer. Le LLM peut paraphraser de travers, mélanger deux passages ou produire un calcul erroné sur des données pourtant exactes. La réponse fausse est d'autant plus dangereuse qu'elle est formulée avec assurance et cite une vraie source.
Votre responsabilité s'apprécie en obligation de moyens : avez-vous mis en place les garde-fous de l'état de l'art (grounding strict, citation des sources, recommandation de contrôle humain) ? Si oui, votre exposition baisse fortement. Si vous avez vendu un système comme infaillible, la faute est caractérisée.
Tout dépend de l'usage. Une réponse erronée intégrée à une décision financière, un devis ou un acte client peut générer des dizaines de milliers d'euros de préjudice immatériel, sans compter l'audit, la reprise du pipeline et les frais de défense.
Oui, dès lors qu'elle a causé un préjudice immatériel au client. La RC Pro adaptée aux métiers de l'IA générative prend en charge ce préjudice et les frais de défense, dans la limite des plafonds du contrat.
Documentez vos garde-fous, affichez systématiquement les sources, et recommandez par écrit un maintien du contrôle humain sur les décisions critiques. Cette trace de votre devoir de conseil est déterminante en cas de litige, et complète la couverture RC Pro.
Souscrivez votre assurance pro en 2 minutes
Toutes nos protections pour votre activité de Expert RAG — attestation immédiate, sans engagement.
* Tarifs indicatifs « à partir de », selon votre profil, votre activité et les garanties choisies. · Voir la fiche Expert RAG →
Article rédigé et vérifié par l'équipe Insurio — Tutassûr, courtier en assurance immatriculé à l'ORIAS sous le n° 22001730. Information à caractère général ne se substituant pas aux conditions de votre contrat.