Quand votre modèle se trompe : qui répond des prédictions fausses ?

Un malentendu empoisonne la relation entre data scientists et clients : l'idée qu'un modèle prédictif devrait « avoir raison ». Aucune méthode statistique sérieuse ne le promet. Un modèle produit des probabilités, des estimations, des intervalles de confiance — jamais des vérités. Le droit en tient compte.

En tant que prestataire intellectuel, le data scientist est en principe soumis à une obligation de moyens, et non de résultat. Vous ne vous engagez pas à ce que la prédiction se réalise, mais à mettre en œuvre tous les moyens, les compétences et la diligence qu'un professionnel avisé déploierait dans la même situation. C'est une distinction cardinale : elle déplace le débat du résultat (la prédiction était-elle juste ?) vers le processus (avez-vous travaillé dans les règles de l'art ?).

Concrètement, un modèle peut se tromper sans qu'aucune faute ne vous soit imputable : les données futures peuvent diverger des données d'entraînement, un événement exogène (crise, changement réglementaire, rupture de marché) peut invalider toute extrapolation. C'est l'aléa statistique, inhérent à la discipline. Il n'engage pas votre responsabilité.

Attention toutefois : cette qualification n'est pas gravée dans le marbre. Si votre contrat ou votre proposition commerciale promet un niveau de performance chiffré — « précision garantie supérieure à 95 % », « réduction du taux de fraude de 30 % » — vous risquez de transformer votre obligation de moyens en obligation de résultat. Vous devenez alors redevable de l'objectif lui-même, et plus seulement de la qualité de votre démarche.

Si le simple écart entre prédiction et réalité ne suffit pas, qu'est-ce qui caractérise une faute ? La réponse tient dans le manquement aux règles de l'art de la data science. Un juge ou un expert ne jugera pas votre modèle sur son score, mais sur la rigueur de votre méthodologie. Les manquements typiques :

• Fuite de données (data leakage) : laisser une information du futur, ou une variable corrélée à la cible, contaminer le jeu d'entraînement. Le modèle affiche des performances spectaculaires en test… et s'effondre en production. C'est l'une des fautes méthodologiques les plus fréquentes et les plus coûteuses.
• Sur-apprentissage non détecté (overfitting) : livrer un modèle qui a mémorisé le bruit des données d'entraînement au lieu d'en capturer la structure, faute de validation croisée ou de jeu de test indépendant.
• Métriques d'évaluation inadaptées : se fier à l'exactitude (accuracy) sur un jeu de données déséquilibré, là où la précision, le rappel ou l'AUC raconteraient une tout autre histoire. Présenter un modèle comme performant sur la base d'un indicateur trompeur est un manquement.
• Absence de documentation et de mise en garde : ne pas expliciter les hypothèses, les limites du modèle, son domaine de validité, ni la nécessité de le surveiller et de le ré-entraîner (model drift).
• Données d'entraînement non représentatives : entraîner sur un échantillon qui ne reflète pas la population cible, puis laisser le client l'appliquer à un périmètre où il n'a aucune valeur prédictive.

La ligne de partage est simple à formuler : on ne vous reproche pas que le modèle se trompe, on vous reproche de ne pas avoir mis en œuvre les méthodes qui permettent de le savoir, de le mesurer et de le dire.

La particularité du sinistre en data science, c'est qu'il ne laisse aucune trace physique. Personne n'est blessé, rien n'est cassé. Et pourtant le préjudice peut être colossal. On parle de dommage immatériel : une perte purement financière, déconnectée de tout dommage matériel ou corporel.

Quelques scénarios concrets, tous tirés des risques réels du métier :

• Un modèle de scoring crédit biaisé conduit un organisme à accorder des prêts à une clientèle insolvable, ou à refuser des dossiers sains. Le manque à gagner et les impayés se chiffrent en centaines de milliers d'euros.
• Un modèle de prévision de la demande erroné amène un industriel à surdimensionner ses stocks ou, à l'inverse, à se trouver en rupture lors d'un pic. Surcoûts logistiques et ventes perdues à la clé.
• Un modèle de détection de fraude trop laxiste laisse passer des transactions frauduleuses, ou trop strict bloque des clients légitimes et dégrade le chiffre d'affaires.

Ces préjudices sont précisément ceux qu'une garantie dommages immatériels non consécutifs a vocation à couvrir. Beaucoup de contrats RC Pro génériques ne couvrent que les dommages immatériels consécutifs à un dommage matériel ou corporel — ce qui, pour un data scientist, ne sert quasiment à rien. Vérifiez impérativement que votre contrat inclut les dommages immatériels non consécutifs : c'est le cœur de votre exposition.

Pour que votre responsabilité civile soit engagée, le client devra réunir trois éléments classiques. Comprendre cette mécanique, c'est comprendre où se gagne ou se perd un dossier.

1. Une faute : un manquement aux règles de l'art, démontré par le client (souvent via un expert). C'est le terrain sur lequel se joue l'essentiel.
2. Un préjudice : une perte financière chiffrable et certaine. Le client devra prouver le montant réel de son dommage, ce qui est rarement évident pour une décision stratégique aux causes multiples.
3. Un lien de causalité : la démonstration que c'est votre faute, et non une autre cause, qui a produit le dommage. C'est souvent le maillon le plus fragile de l'accusation. Une mauvaise décision résulte généralement d'une chaîne de facteurs — direction, conjoncture, exécution — dont votre modèle n'est qu'un maillon.

Cette structure explique pourquoi la traçabilité est votre meilleure alliée. Un référentiel de versions du modèle, un rapport de validation, une documentation des hypothèses et des limites, des comptes rendus écrits de vos mises en garde : autant de pièces qui démontrent que vous avez agi en professionnel diligent, et qui peuvent rompre le lien de causalité en montrant que le client a outrepassé le périmètre que vous aviez défini.

La meilleure assurance commence avant le sinistre, dans la rédaction de votre mission. Plusieurs réflexes contractuels réduisent drastiquement votre exposition :

• Qualifiez explicitement votre obligation de moyens. Indiquez noir sur blanc que vous ne garantissez aucun résultat de prédiction, et que la performance d'un modèle dépend de la qualité et de la stabilité des données fournies.
• Décrivez précisément le périmètre de validité. Sur quelles données, pour quel usage, dans quelles limites le modèle est-il conçu ? Toute utilisation hors de ce cadre relève de la responsabilité du client.
• Insérez une clause de limitation de responsabilité. Plafonnez votre responsabilité (par exemple au montant de la mission) et excluez les dommages indirects, dans les limites permises par le droit.
• Prévoyez une obligation de surveillance côté client. Un modèle se dégrade dans le temps (data drift) ; précisez qu'il appartient au client de le monitorer et de solliciter un ré-entraînement.

Ces clauses ne vous mettent pas à l'abri d'une faute caractérisée, mais elles cadrent les attentes et bornent l'indemnisation. Pour le reste — l'erreur qui finit toujours par arriver — la RC Pro pour data scientist prend le relais : elle indemnise les conséquences financières de votre faute, erreur ou omission, et finance vos frais de défense (avocat, expertise technique), y compris lorsque votre responsabilité n'est finalement pas retenue. Le détail des garanties figure sur notre fiche assurance data scientist.