Faux positif statistique : le sinistre à 240 000 € du Black Belt

Prenons un cas reconstitué représentatif. Un consultant Black Belt intervient sur une ligne d'usinage présentant un taux de pièces hors tolérance jugé excessif. En phase Analyze, il conduit un plan d'expériences pour identifier les facteurs influents : pression de coupe, température, vitesse de broche, lot de matière.

Les résultats Minitab désignent la pression de coupe comme facteur significatif avec une p-value flatteuse. Le consultant recommande de modifier le réglage standard. La ligne est reparamétrée sur l'ensemble du parc. Trois semaines plus tard, le taux de défauts n'a pas baissé : il a augmenté de 18 %.

La pression de coupe n'était pas le facteur causal. C'était un facteur confondu avec le lot de matière, mal randomisé dans le plan d'expériences.

L'enchaînement est typique et redoutable de banalité. Pendant la campagne d'essais, les réglages de pression élevée avaient, par coïncidence de planning, été testés majoritairement sur un lot de matière légèrement hors spécification. Le logiciel a donc capté un effet bien réel sur les données, mais il a attribué à la pression ce qui revenait à la matière. Aucune sortie statistique ne signale ce piège : les graphiques sont propres, la p-value est franche, le modèle paraît robuste. Seule une lecture critique du plan d'expériences, croisée avec la traçabilité des lots, aurait révélé la confusion. C'est exactement le type de vigilance que le client paie en faisant appel à un expert certifié plutôt qu'à un simple utilisateur de Minitab.

Ce type de sinistre naît presque toujours d'un des écueils suivants, redoutables parce qu'invisibles dans les sorties logicielles :

• Le facteur confondu : deux variables varient ensemble et le plan d'expériences ne permet pas de séparer leur effet. Le logiciel attribue tout le crédit à l'une d'elles.
• Le risque alpha sous-estimé : en multipliant les tests d'hypothèses sans correction, la probabilité d'au moins un faux positif explose. Un facteur ressort « significatif » par pur hasard.
• La violation des conditions d'application : normalité, homoscédasticité, indépendance des résidus non vérifiées. Le test reste mécaniquement calculable mais son résultat n'a plus de sens.

Aucune de ces erreurs ne déclenche d'alerte dans Minitab ou JMP. Le logiciel exécute fidèlement ce qu'on lui demande ; c'est l'interprétation et la conception du plan qui relèvent de l'expertise du Black Belt, donc de sa responsabilité professionnelle.

Une recommandation erronée déployée sur une ligne de production ne reste pas théorique. Voici comment se construit le préjudice dans notre cas reconstitué.

Le client engage la responsabilité du consultant pour faute professionnelle : la recommandation reposait sur un plan d'expériences mal randomisé, donc une diligence insuffisante. Le montant dépasse de loin les honoraires de la mission, ce qui illustre pourquoi un plafond de garantie élevé est indispensable.

Ce ratio entre les honoraires perçus et le préjudice potentiel est la signature des métiers de conseil à fort effet de levier. Un Black Belt facture quelques milliers d'euros une mission qui pilote des décisions engageant des centaines de milliers d'euros de production. La moindre erreur d'orientation se propage à l'échelle d'une ligne, d'un atelier, parfois d'un site entier. C'est cette asymétrie qui rend le métier structurellement exposé : votre rémunération est sans commune mesure avec les conséquences financières d'une recommandation erronée. Aucun forfait raisonnable ne pourrait absorber un sinistre de cette ampleur, ce qui fait du transfert de risque vers un assureur le seul mécanisme économiquement viable.

Face à une réclamation de 240 000 €, la RC Pro du consultant Black Belt joue son rôle en plusieurs temps :

1. Analyse de la mise en cause : l'assureur missionne un expert pour déterminer si la faute est réellement imputable au consultant ou si d'autres causes interviennent (dérive matière non signalée, exécution défaillante côté client).
2. Prise en charge de la défense : avocats et expertise contradictoire sont financés, même si la réclamation s'avère partiellement infondée.
3. Indemnisation du préjudice immatériel consécutif : pour la part de dommage réellement causée par la faute établie, l'assureur indemnise dans la limite du plafond.

Sans cette couverture, un seul sinistre de cette ampleur peut anéantir plusieurs années de chiffre d'affaires d'un consultant indépendant.

La meilleure assurance reste une discipline méthodologique irréprochable. Quelques réflexes limitent drastiquement l'exposition :

• Randomisez et bloquez systématiquement les facteurs de nuisance connus (lot, opérateur, équipe) pour éviter les confusions.
• Vérifiez les conditions d'application avant d'interpréter tout test, et documentez ces vérifications dans le rapport.
• Confirmez par un run pilote à échelle réduite avant tout déploiement sur l'ensemble du parc : un faux positif coûte infiniment moins cher sur un poste que sur une ligne entière.
• Conservez le journal d'analyse avec hypothèses, p-values, intervalles de confiance et arbitrages : c'est votre preuve de diligence.

Cette traçabilité protège votre mission de Black Belt en démontrant, en cas de litige, que vous avez agi conformément aux règles de l'art.

Un dernier point trop souvent négligé : la communication des incertitudes au client. Présenter un résultat statistique sans son intervalle de confiance, ou affirmer une relation causale là où les données n'établissent qu'une corrélation, expose le consultant à une mise en cause d'autant plus difficile à défendre. Mentionner explicitement les limites de l'analyse, les hypothèses retenues et le degré de confiance des conclusions n'est pas un aveu de faiblesse : c'est l'attitude de l'expert qui sait ce que ses chiffres disent et, surtout, ce qu'ils ne disent pas.

La leçon centrale de ce sinistre n'est pas statistique, elle est organisationnelle : le préjudice a explosé parce que la recommandation a été déployée d'emblée à grande échelle. Un pilote sur un seul poste aurait révélé l'absence d'effet en quelques jours, pour un coût marginal.

Inscrire systématiquement une phase de confirmation pilote dans votre méthodologie réduit non seulement votre risque réel, mais renforce aussi votre position en cas de réclamation : vous démontrez que vous avez pris des précautions proportionnées à l'enjeu. Couplée à une RC Pro dimensionnée pour les missions à fort impact, cette rigueur transforme un métier exposé en activité maîtrisée.

Une dernière recommandation : conservez systématiquement vos rapports d'analyse, vos hypothèses chiffrées et vos comptes rendus de revue. En cas de réclamation, ces documents démontrent que la décision a reposé sur une démarche structurée et non sur une intuition. La frontière entre la faute professionnelle indemnisable et l'aléa industriel non imputable se joue souvent sur cette traçabilité. Un consultant capable de produire le détail de son raisonnement statistique, l'horodatage de ses arbitrages et la trace de ses vérifications met toutes les chances de son côté, à la fois pour écarter une mise en cause infondée et pour permettre à son assureur de défendre efficacement son dossier.