Set Analysis inversée : anatomie d'un KPI faux qui coûte 180 000 € à un client

Un script qui plante se voit. Une reload en échec déclenche une alerte. Mais une Set Analysis mal écrite ne provoque aucune erreur : elle calcule un nombre, l'affiche dans un KPI bien cadré, avec la bonne couleur et le bon format. Le tableau de bord respire la fiabilité. C'est exactement ce qui en fait le sinistre le plus pernicieux du métier.

La Set Analysis est le langage qui permet, dans Qlik, de calculer une mesure sur un ensemble de données différent du contexte de sélection courant : le chiffre d'affaires de l'an dernier indépendamment du filtre actuel, le cumul depuis le début de l'année, la part d'un segment dans un total. Sa puissance vient de sa capacité à ignorer ou modifier les sélections de l'utilisateur. Sa dangerosité aussi.

Une erreur courante : écrire un set qui force l'année N-1 mais oublie de neutraliser le filtre d'année courant, si bien que selon ce que l'utilisateur sélectionne, le comparatif se décale. Autre classique : inverser, dans deux mesures jumelles, les expressions de N et de N-1, de sorte que toutes les évolutions s'affichent à l'envers. La progression devient un recul, le recul une progression.

Prenons un cas représentatif, aux montants reconstitués à titre illustratif. Une PME industrielle mandate un consultant Qlik pour bâtir son pilotage commercial mensuel : évolution du CA par gamme, par région et par commercial, avec comparatif systématique à l'année précédente.

Dans l'expression de l'indicateur d'évolution, le consultant intervertit les deux modificateurs de set : la mesure censée pointer sur N renvoie en réalité N-1, et inversement. Sur la plupart des gammes en croissance régulière, l'erreur passe inaperçue : un signe inversé sur des chiffres proches ne saute pas aux yeux. Mais sur une gamme en fort déclin, le tableau affiche une progression spectaculaire là où la réalité est un effondrement.

Conséquence : sur la foi de ces chiffres, la direction commerciale renforce les moyens sur la gamme prétendument porteuse (recrutement d'un commercial, budget marketing, stocks), et réduit la voilure sur une gamme affichée en repli mais en réalité en croissance. Trois mois plus tard, l'écart entre les tableaux Qlik et la comptabilité éclate au grand jour.

Ce sinistre présente une particularité juridique majeure : il n'y a ni dommage corporel, ni dommage matériel. Aucun serveur n'a brûlé, aucune marchandise n'a été détruite. Le préjudice est entièrement immatériel : il résulte de décisions de gestion prises sur des informations faussées.

Beaucoup de contrats d'assurance généralistes excluent ou limitent fortement les dommages immatériels non consécutifs (c'est-à-dire qui ne découlent pas d'un dommage matériel préalable). Or c'est précisément la nature du risque du consultant décisionnel : son erreur ne casse rien physiquement, elle induit de mauvaises décisions.

Pour un consultant Qlik, la couverture des dommages immatériels non consécutifs n'est pas une option marginale : c'est le cœur même du risque assuré.

La causalité sera évidemment discutée : le client devra démontrer que les décisions ont bien été prises sur la base des KPI erronés, et non d'autres facteurs. D'où l'importance, là encore, de la traçabilité des livrables et des recettes validées.

Notez que ce risque immatériel n'est pas isolé à la Set Analysis. Tout l'arsenal du consultant décisionnel le produit : un script de chargement qui duplique des transactions et gonfle artificiellement un volume, une jointure mal maîtrisée qui crée une explosion cartésienne, ou une reload qui écrase un dataset de référence. Dans chaque cas, le dommage n'est pas physique mais informationnel : il fausse la connaissance que le client a de son activité. C'est une famille de risques homogène, et c'est précisément cette catégorie de préjudice que la couverture du consultant doit viser en priorité.

La responsabilité civile professionnelle du consultant est conçue exactement pour ce schéma : une erreur, une omission ou une faute professionnelle dans la prestation, génératrice d'un dommage immatériel pour le client. Notre assurance RC Pro couvre ce préjudice décisionnel ainsi que les frais de défense, y compris lorsque la responsabilité est seulement recherchée et pas encore établie.

Concrètement, en cas de réclamation, l'assureur missionne une expertise pour établir la part réelle de votre erreur dans le préjudice invoqué, prend en charge votre défense, et indemnise le client à hauteur de la responsabilité retenue dans la limite du plafond souscrit. Sans cette couverture, c'est votre trésorerie personnelle ou celle de votre structure qui absorbe les 180 000 € de l'exemple.

Le plafond souscrit doit donc être cohérent avec la taille de vos clients : intervenir chez une ETI dont les décisions pèsent plusieurs centaines de milliers d'euros impose un plafond plus élevé que pour des missions chez de petites structures. Notre page consultant Qlik permet d'ajuster cette couverture à votre activité réelle.

La particularité redoutable du sinistre décisionnel est son décalage dans le temps. Contrairement à un dommage matériel qui se constate immédiatement, une Set Analysis fausse peut produire ses effets pendant des mois avant que l'écart n'éclate. Dans notre exemple, trois mois se sont écoulés entre la livraison et la découverte ; sur des reportings annuels, ce délai peut être bien plus long.

Ce décalage soulève une question d'assurance souvent négligée : votre contrat couvre-t-il les réclamations formulées après la fin de la mission, voire après la résiliation de votre contrat d'assurance ? C'est tout l'enjeu de la garantie subséquente (la période pendant laquelle une réclamation reste couverte après la fin du contrat) et de la reprise du passé (la couverture des fautes commises avant la souscription mais réclamées pendant).

Un freelance qui change d'assureur ou cesse temporairement son activité sans garantie subséquente s'expose à recevoir, des mois plus tard, une réclamation sur une mission qu'il croyait soldée, sans plus aucune couverture pour la défendre.

Pour un métier où l'erreur est silencieuse et la découverte tardive, ces clauses temporelles ne sont pas des détails contractuels : elles déterminent si vous êtes réellement protégé au moment où la réclamation tombe.

Quelques pratiques limitent fortement la probabilité de livrer une Set Analysis fausse :

• Réconcilier systématiquement les totaux Qlik avec une source de vérité (comptabilité, ERP) avant mise en production, pas seulement vérifier que l'application s'ouvre.
• Faire valider les KPI par le métier sur une période de référence connue, où le résultat attendu est documenté.
• Standardiser les expressions récurrentes (N, N-1, cumul annuel) via des variables ou des master items, plutôt que de réécrire la Set Analysis à chaque mesure, ce qui multiplie les occasions d'inverser un terme.
• Documenter chaque expression critique : ce qu'elle calcule, sur quel ensemble, et pourquoi. Cette documentation sert aussi de preuve de diligence en cas de litige.

Aucune de ces mesures ne garantit le zéro défaut, mais elles transforment une erreur silencieuse en écart détectable avant qu'il n'atteigne la salle de réunion de direction.