Le comité qui a fait confiance à la mauvaise réponse

Le cas

Cas composite : ce récit ne décrit ni un client, ni une entreprise, ni une personne réels. Il assemble des situations courantes pour rendre visible un mécanisme ; les noms sont inventés, et aucun chiffre n'en doit sortir. Il vient de notre lecture de Co-⁠Intelligence, d'Ethan Mollick, et nous visons d'abord notre propre profession.

Imaginons un cabinet de conseil, comme il en existe des centaines, qui vient d'équiper tous ses consultants d'un assistant d'IA générative. Les premiers résultats ravissent la direction : les livrables sortent plus vite, les clients trouvent les analyses plus créatives, mieux écrites, plus étoffées.

Un comité de pilotage se réunit pour célébrer la réussite du déploiement et envisager de l'étendre à l'ensemble des missions, y compris les plus stratégiques. Personne, autour de la table, ne demande sur quelles tâches le succès a été mesuré. On a vu des livrables meilleurs ; on en conclut que l'outil est meilleur, partout.

Or certaines missions comportent des tâches que l'outil ne sait pas faire, et sur lesquelles il ne le dit pas. Il y produit une réponse fausse, formulée avec un aplomb parfait. Le consultant qui travaillait seul aurait douté ; celui qui s'appuie sur l'assistant suit la réponse, puisqu'elle a l'allure de toutes celles qui se sont révélées justes.

Ce qui s'y est joué

Le comité a commis une erreur de généralisation, la plus ordinaire qui soit. Il a constaté un succès sur un ensemble de tâches et l'a étendu à toutes, sans se demander où passait la limite. L'outil n'y est pour rien : il ne prétend rien, il produit. C'est l'organisation qui a transformé une expérience partielle en confiance générale.

Le danger vient de ce que la chute est silencieuse. Les tâches réussies restent visibles et flatteuses ; les erreurs commises avec assurance ne se signalent pas, et ne se découvrent qu'au moment où le client, ou le marché, les révèle. Plus l'outil a eu raison souvent, moins on regarde la fois où il a tort.

La thèse

Un succès mesuré sur certaines tâches ne se généralise pas aux autres. Avant d'étendre la confiance accordée à une IA, il faut avoir identifié, précisément, sur quelles tâches cette confiance a été gagnée, et sur lesquelles elle reste à prouver. Cette carte relève du comité, non du fournisseur.

Sur quelles tâches avons-⁠nous gagné le droit de faire confiance ?

La preuve

Le cas est imaginé ; la situation a été mise à l'épreuve. Ethan Mollick a cosigné, avec des chercheurs de Harvard, du MIT et de la Warwick Business School, une expérience menée avec le Boston Consulting Group auprès de consultants réels. Sur la plupart des tâches, l'IA améliorait la performance ; sur une tâche conçue pour se trouver hors de sa portée, les consultants qui s'y fiaient se trompaient plus souvent que ceux qui travaillaient sans elle. Nous ne reprenons pas ici les pourcentages de l'étude : ils valent pour son protocole, non pour votre métier.

Chez vous, la carte se dresse avec trois questions : qui, chez nous, a cartographié la frontière de son propre métier, tâche par tâche ? ; qui a été formé à reconnaître les situations où votre agent est hors frontière ? ; quand un outil a eu raison trente-⁠neuf fois, avec quels yeux regardez-⁠vous la quarantième ?. Le diagnostic Ce qu'une décision supporte d'automatisation en donne la grille ; notre objection Que vaut un cabinet quand l'IA fait le travail ? dit ce que nous nous appliquons à nous-⁠mêmes.

La question à se poser lundi

Prenez le dernier outil d'IA dont vous avez étendu l'usage. Écrivez les trois tâches sur lesquelles vous l'avez vu réussir, puis les trois sur lesquelles vous l'utilisez sans l'avoir jamais vu à l'épreuve. La seconde liste est votre risque.