En 2016, Wells Fargo est sanctionnée par le régulateur américain : des employés ont ouvert des millions de comptes bancaires sans le consentement des clients. Cartes de crédit non demandées, comptes épargne créés puis vidés, signatures imitées. Des milliers de salariés ont été licenciés.
La lecture facile, c'est d'y voir une faute morale collective. La lecture utile est plus dérangeante : ces employés faisaient exactement ce qu'on leur demandait. La banque avait fixé des objectifs agressifs de vente croisée, produits par client et par foyer. Le KPI était clair, suivi, et rattaché à la rémunération. Il a été atteint. Simplement, il ne mesurait plus ce qu'il était censé mesurer.
Ce n'est pas un accident isolé. C'est un mécanisme, il porte un nom, et tout analyste devrait le connaître avant de proposer sa première métrique.
La loi de Goodhart, et ce que tout le monde cite de travers
La formule qu'on lit partout est celle-ci : « Quand une mesure devient un objectif, elle cesse d'être une bonne mesure. »
Elle est excellente. Elle n'est pas de Goodhart.
Cette reformulation est due à l'anthropologue Marilyn Strathern, en 1997, dans un article sur l'évaluation des universités britanniques. L'énoncé original de l'économiste Charles Goodhart, en 1975, portait sur la politique monétaire et sonnait beaucoup plus technique : toute régularité statistique observée tend à s'effondrer dès qu'on exerce une pression sur elle à des fins de contrôle.
La nuance a son importance. Goodhart ne dit pas que les indicateurs sont mauvais. Il dit que la relation entre un indicateur et la réalité qu'il représente n'est stable que tant que personne n'a intérêt à la manipuler. Dès que l'indicateur devient une cible, il crée sa propre pression, et la relation se déforme.
Le sociologue Donald Campbell formulait la même idée en 1979, appliquée cette fois aux indicateurs sociaux : plus un indicateur quantitatif est utilisé pour décider, plus il est exposé à la corruption, et plus il déforme le processus qu'il est censé observer.
Quatre cas. Devinez ce qui s'est passé.
Voici quatre objectifs. Tous ont été fixés par des gens compétents et de bonne foi. Avant de déplier la réponse, prenez dix secondes : à votre avis, qu'est-ce que les gens ont fait ?
Hanoï · 1902 L'administration coloniale veut éradiquer les rats de la ville pour prévenir la peste. Elle met en place une prime versée pour chaque queue de rat rapportée. Que s'est-il passé ?
Des chasseurs de rats se sont mis à couper la queue de l'animal, puis à le relâcher vivant : un rat sans queue continue de se reproduire, et produit donc de futures primes. Des habitants sont allés plus loin et ont commencé à élever des rats en périphérie de la ville.
On a rapporté l'observation de rats sans queue circulant dans Hanoï. La campagne, mesurée en queues collectées, affichait un succès éclatant. La population de rats, elle, ne diminuait pas.
La prime ne mesurait pas les rats morts. Elle mesurait les queues rapportées. Ce n'est pas la même chose, et quelqu'un finit toujours par s'en apercevoir.
Atlanta · 2009-2011 Le district scolaire fixe des objectifs de résultats aux tests standardisés. Les financements, les primes et les carrières des enseignants et des directeurs y sont indexés. Que s'est-il passé ?
Des enseignants et des cadres administratifs se sont réunis après les épreuves pour gommer et corriger les réponses des élèves. L'enquête a mis au jour une organisation structurée, couvrant des dizaines d'écoles. Onze éducateurs ont été condamnés en 2015.
Les scores montaient. Le niveau réel des élèves, non. Et pour les enfants concernés, le préjudice est double : ils n'ont pas mieux appris, et les difficultés réelles sont restées invisibles puisque les chiffres disaient le contraire.
Quand la conséquence attachée à un chiffre devient plus lourde que la conséquence attachée à la réalité, c'est le chiffre qu'on optimise.
Hôpitaux publics britanniques Pour réduire l'engorgement, un objectif national impose qu'un patient arrivé aux urgences soit pris en charge, admis ou sorti en moins de quatre heures. Que s'est-il passé ?
Le compteur ne démarre qu'à l'entrée du patient dans le service. Des patients ont donc été maintenus dans l'ambulance, devant la porte des urgences, pour retarder le début du chronomètre. D'autres ont été transférés vers des unités intermédiaires qui sortaient formellement du périmètre mesuré.
Le taux de respect de l'objectif s'améliorait. Le temps réellement vécu par le patient, de son appel à sa prise en charge, pas nécessairement.
Un indicateur définit toujours une frontière. Et l'énergie se déplace de l'autre côté de la frontière.
Centre de relation client Pour améliorer la productivité, le management suit le temps de traitement moyen par appel et fixe une cible à ne pas dépasser. Que s'est-il passé ?
Les conseillers ont appris à écourter les appels difficiles : réponses expédiées, transferts vers un autre service, et parfois raccrochages purs et simples sur les dossiers complexes.
Le temps moyen a baissé. Le nombre d'appels a augmenté, puisque les clients rappelaient. Le coût total du service, lui, n'a pas bougé, voire a grimpé, et la satisfaction s'est dégradée.
Optimiser une étape d'un processus n'optimise pas le processus. Souvent, cela ne fait que déplacer le coût là où personne ne le mesure.
Pourquoi ça marche toujours pareil
Dans les quatre cas, le raisonnement est identique. On veut atteindre quelque chose de difficile à mesurer directement : une ville sans peste, des élèves qui apprennent, des patients bien soignés, des clients satisfaits à coût maîtrisé.
Comme on ne sait pas mesurer ça, on choisit un proxy : une grandeur observable, chiffrable, corrélée à l'intention. Des queues de rats. Des scores. Des minutes. Des produits vendus par client.
Tant que le proxy n'est qu'un thermomètre, il fonctionne. Le jour où il devient une cible avec des conséquences attachées, les gens n'optimisent plus l'intention : ils optimisent le proxy. Et comme le proxy n'est jamais parfaitement confondu avec l'intention, il existe toujours un chemin qui améliore le chiffre sans améliorer la réalité. Ce chemin est en général plus court, moins coûteux et moins risqué que le vrai travail.
Ce n'est donc pas une question de malhonnêteté. C'est une question de conception. Un système bien construit rend le bon comportement plus rentable que le contournement.
Ce qui distingue un bon KPI
De ces mécanismes, je retire quatre critères que j'essaie d'appliquer avant de proposer un indicateur.
- Il est rattaché à une décision. La question à se poser est simple : si ce chiffre bouge, qu'est-ce qu'on fait différemment ? Si aucune décision ne change, ce n'est pas un KPI, c'est de la décoration de tableau de bord. Cette seule question élimine la moitié des métriques qu'on demande de produire.
- Il est associé à une contre-métrique. Un indicateur seul finit toujours par se faire contourner. Vitesse et qualité. Volume et satisfaction. Taux de blocage et taux de faux positifs. La contre-métrique ne sert pas à équilibrer un tableau, elle sert à rendre le contournement visible immédiatement.
- Il résiste à la question « comment je tricherais ? ». C'est l'exercice le plus rentable et le plus rapide : avant de publier une métrique, prenez cinq minutes pour chercher sincèrement comment vous l'atteindriez sans faire le travail. Si vous trouvez, quelqu'un d'autre trouvera aussi, et il sera peut-être évalué dessus.
- Il reste proche de l'intention. Plus le proxy s'éloigne de ce qu'on cherche vraiment, plus l'espace entre les deux est exploitable. « Queues rapportées » est très loin de « ville sans peste ». « Produits par client » est très loin de « clients bien servis ». Réduire cette distance vaut mieux que multiplier les contrôles.
Ce que j'en retiens
Il y a une raison pour laquelle ce sujet me paraît central dans le métier d'analyste. Notre réflexe naturel, quand on nous demande un indicateur, c'est de nous concentrer sur la technique : quelle source, quelle définition, quelle granularité, quelle requête. Ce travail est nécessaire, mais il arrive après la vraie question.
La vraie question est de savoir quel comportement l'indicateur va produire une fois qu'il sera affiché, suivi en comité et peut-être associé à une prime. Un KPI n'est jamais un simple thermomètre : à partir du moment où on le regarde, il agit sur ce qu'il mesure.
C'est aussi, je crois, ce qui sépare produire un chiffre et éclairer une décision. Produire le chiffre, c'est de l'exécution. Anticiper ce que le chiffre va déclencher, alerter quand une métrique est contournable, proposer la contre-métrique qui manque : c'est là que l'analyste devient utile au métier plutôt qu'au tableau de bord.
← Retour au blog