Ce qu'une décision supporte d'automatisation

Avant de commencer

Choisissez une décision, une seule, récurrente et réelle : l'octroi d'un crédit, le tri des candidatures, la relance d'un client en retard, la validation d'une note produite par un outil. Une décision que l'on vous propose d'automatiser, ou que l'on a déjà confiée, en tout ou partie, à une machine.

Notez chaque affirmation : vrai, plutôt vrai, plutôt faux, faux. Répondez pour la décision telle qu'elle se prend aujourd'hui, et non telle que la décrit la procédure. Nous ne vous demandons ni nom ni adresse ; la lecture des réponses figure plus bas.

Le questionnaire ne demande pas si l'outil est bon. Il l'est souvent, et c'est précisément la difficulté : la vigilance s'use à mesure que la machine a raison. Il demande si la décision a encore un auteur.

Première famille : décider, ou contresigner

Trois épreuves, à se poser le stylo levé : aurais-⁠je pu dire non ? est-⁠ce que je sais ce qui a été écarté ? est-⁠ce que j'en répondrai, sous mon nom, devant celui qui s'en servira ? Quand l'une manque, la machine a décidé, et quelqu'un lui a prêté sa signature.

• Celui qui valide dispose du temps nécessaire pour lire ce qu'il valide.
• Il a la compétence pour contredire la proposition de l'outil, et il l'a déjà fait.
• Il a le droit de la refuser sans avoir à se justifier davantage que s'il l'acceptait.
• On lui montre au moins une autre possibilité que celle qui est proposée.
• Il sait ce que l'outil a écarté, et pourquoi.
• Le jour d'une erreur, sa première phrase ne sera pas que l'outil s'est trompé.

Deuxième famille : ce que la décision supporte

Toutes les décisions ne se valent pas devant l'automatisation. Melissa Reeve propose de les noter sur six dimensions : l'impact, la tolérance à l'erreur, l'explicabilité, le risque de biais, la qualité des données, la difficulté pour un humain de contrôler. Nous en gardons les questions, sans le barème, et nous y ajoutons celle que la grille oublie : qui note ?

• Une erreur sur cette décision se répare sans dommage durable pour la personne concernée.
• On saurait expliquer à cette personne, en des termes qu'elle comprend, pourquoi la décision a été prise.
• Les données sur lesquelles l'outil s'appuie décrivent la situation présente, et non celle d'il y a trois ans.
• On a cherché, et non seulement attendu, les cas où l'outil traite différemment des personnes comparables.
• Ce qui compte pour cette décision se trouve dans les données, et non dans des circonstances que seul un humain présent perçoit.
• Celui qui a évalué la décision avant de l'automatiser n'avait aucun intérêt à ce qu'elle le soit.

Troisième famille : qui l'arrête, qui en répond

Déployer un agent est une décision technique ; pouvoir l'arrêter est une décision de gouvernance. Cette famille ne regarde que la seconde.

• On peut nommer qui a choisi l'objectif que l'outil poursuit dans cette décision.
• On peut nommer qui arrête l'outil quand il s'emballe, sans avoir à réunir personne.
• On peut nommer qui répond à la personne concernée quand la décision lui fait tort.
• Le contrat avec le fournisseur dit qui répond d'une erreur dommageable.
• Si l'accès à l'outil était coupé demain, l'équipe serait gênée, non paralysée.
• On sait combien de fois, sur cent, l'humain s'écarte de la recommandation, et ce qui se passe alors.

Quatrième famille : comment la vérification tient

Le guide de la Harvard Business Review consacré aux managers face à l'IA générative, signé d'Elisa Farri et Gabriele Rosani, nomme cinq pièges : la confiance, la fabrication, le conformisme, la vitesse, l'isolement. Il leur oppose quatre niveaux de vérification : la machine, l'individu, l'équipe, le retour après coup.

• Pour les cas qui comptent, un premier jet humain existe avant que l'outil propose le sien.
• Les sources et les chiffres produits par l'outil sont vérifiés par quelqu'un d'autre que celui qui les a demandés.
• La décision est discutée à plusieurs avant d'être appliquée, et pas seulement transmise.
• On revient, après coup, sur un échantillon de décisions pour voir ce qu'elles sont devenues.
• Celui qui refuse la proposition de l'outil n'est ni pénalisé quand il a raison, ni soupçonné quand il hésite.
• Les débutants se forment encore un avis sur cette décision avant de voir celui de la machine.

Comment lire vos réponses

Pas de total, pas de note. Une décision ne se juge pas à la moyenne de ses garanties : Reeve le remarque elle-⁠même, une seule faille suffit à disqualifier une automatisation que tout le reste recommandait. Lisez donc d'abord la première et la troisième famille, puis les deux autres.

Premier palier : la décision a un auteur. Les « vrai » dominent, en particulier dans la première et la troisième famille. Quelqu'un décide, avec le temps, la compétence et le droit de dire non, et quelqu'un répond. L'automatisation peut s'étendre, à condition de reposer la question à chaque extension, parce que l'attention baisse à mesure que l'outil s'améliore.

Deuxième palier : la décision est contresignée. La deuxième famille vous rassure, la première vous gêne. L'outil est sans doute bon, et la chaîne de validation fabrique des signatures sans décision : trois noms sur la page, trois personnes de bonne foi, et pas une qui ait pu refuser. C'est l'état le plus répandu ; on y découvre la faille le jour où une référence se révèle inventée, et où chacun désigne l'étage du dessous.

Troisième palier : la machine décide, et quelqu'un sert de fusible. Les « faux » l'emportent dans la première ou la troisième famille. La personne placée dans la boucle porte le risque sans avoir le pouvoir ; la chercheuse Madeleine Clare Elish a appelé cela une zone de déformation morale. La moindre des honnêtetés est de le dire à l'intéressé, avant de chercher à corriger quoi que ce soit.

Ce que nous ferions ensuite

Le diagnostic vous appartient. Si une famille vous a gêné, voici par où nous commencerions.

• Écrire, pour chaque décision automatisée, les trois noms qui en répondent : le test des trois noms.
• Distinguer l'outil que l'on peut remplacer du moteur dont on dépend : le test de perte d'accès.
• Reprendre la gouvernance des agents décision par décision : la mission Décider avec des agents ; pour un regard d'ensemble sur les usages, le diagnostic d'usage de l'IA.

Les questions à porter en comité

Elles sont dans le chantier Décider avec des agents, notamment : qui peut éteindre l'agent, et qui en répond ? ; êtes-⁠vous dans la boucle pour décider, ou pour que l'on ait quelqu'un à blâmer ? ; combien de personnes approuvent chez nous, et combien décident ? ; y a-⁠t-il des décisions que vous refuseriez de confier à une machine même si elle les prenait mieux ?

Pour en parler avec nous : Rendez-⁠vous. Rien ne vous y engage.