Quand la mesure devient une cible

Le 8 septembre 2016

Ce jour-⁠là, le régulateur américain de la consommation financière inflige cent millions de dollars d'amende à la banque Wells Fargo, cent quatre-⁠vingt-⁠cinq millions en comptant les autres autorités. Selon l'analyse de la banque elle-⁠même, ses employés avaient ouvert plus de deux millions de comptes et de cartes que les clients n'avaient peut-⁠être jamais demandés. Le communiqué les décrit aiguillonnés par des objectifs de vente et des incitations salariales.

La maison avait un mot d'ordre, eight is great (« huit, c'est parfait ») : huit produits par client. Le chiffre était devenu le travail. Les conseillers ne trompaient pas l'indicateur par perversité ; ils faisaient exactement ce que l'organisation récompensait, et l'organisation récompensait le chiffre.

Nous savons que le cas est américain et qu'il a dix ans. Nous le citons pour sa netteté, non pour sa fraîcheur : il n'existe guère d'exemple où la distance entre l'objectif et la chose soit aussi lisible.

Une loi d'économiste, une phrase d'anthropologue

L'économiste Charles Goodhart avait décrit le mécanisme dès 1975, à propos des statistiques monétaires : une régularité observée cesse de tenir dès qu'on s'en sert pour piloter. Sa formulation était étroite et technique. L'anthropologue Marilyn Strathern l'a généralisée en 1997, dans une phrase devenue proverbiale : quand une mesure devient une cible, elle cesse d'être une bonne mesure.

Le psychologue Donald Campbell avait ajouté un second étage : l'indicateur ne se contente pas de perdre sa valeur, il abîme le processus qu'il surveille. Les gens apprennent à produire le chiffre plutôt que le résultat, et ils l'apprennent d'autant mieux qu'ils sont compétents. Une organisation pilotée par l'indicateur finit ainsi par fabriquer de l'indicateur, avec beaucoup de talent.

Ce que l'IA change à la vieille loi

Un conseiller bancaire hésite, parfois. Il sait que le client n'a pas besoin d'une quatrième carte, il le sent, il traîne un peu. Cette hésitation est un frein moral, et c'est aussi une information. Une machine à qui l'on confie un objectif l'optimise sans états d'âme, plus vite, à plus grande échelle, et sans rien laisser paraître de la tension entre la cible et la chose.

Il en résulte une conséquence pratique, qui fonde le premier de nos principes : seul celui qui connaît le processus de l'intérieur voit le moment où la cible s'en est détachée. Un comité qui ne lit que des tableaux le verra avec retard, et une machine ne le verra pas du tout, puisqu'elle a été réglée pour ne regarder que la cible. Plus on automatise le pilotage, plus il faut garder près du travail des gens qui ont le droit de dire que le chiffre ment.

Les exemples ne manquent pas hors de la banque. Un taux d'adoption d'un outil d'IA devient une cible, et l'on obtient des connexions. Un nombre d'heures de formation devient une cible, et l'on obtient des présences. Un indicateur d'apprentissage converti en objectif produit de l'apprentissage déclaré. Dans chaque cas, la courbe monte, le comité se félicite, et la chose qu'on voulait obtenir n'a pas bougé, ou a reculé.

Avant de fixer le prochain objectif chiffré

La parade ne consiste pas à renoncer aux nombres, qui protègent souvent contre l'arbitraire. Elle consiste à ne jamais laisser un nombre seul avec son objet.

• Demander, indicateur par indicateur, lequel est déjà devenu une cible, et ce qu'on lui sacrifie.
• Faire remonter chaque objectif chiffré jusqu'à la valeur qu'il était censé mesurer, en présence de ceux qui la produisent.
• Séparer le chiffre qui sert à comprendre du chiffre qui sert à payer : le premier peut être riche et provisoire, le second doit rester pauvre et contesté.
• Écrire, à côté de chaque prime, qui gagne à ce que ce que l'on espère et ce que l'on paie divergent.

Une organisation pilotée par l'indicateur finit par fabriquer de l'indicateur.