La bonne IA endort, la mauvaise tient en éveil

Une expérience sur des recruteurs

Le chercheur Fabrizio Dell'Acqua a confié à des recruteurs des outils d'aide à l'évaluation de candidatures, de qualité inégale. Ceux qui disposaient d'un outil médiocre restaient sur leurs gardes, relisaient, corrigeaient. Ceux qui disposaient d'un outil excellent lui faisaient confiance, examinaient moins, et finissaient par juger moins bien. Ethan Mollick, qui rapporte l'étude dans Co-⁠Intelligence, nomme le phénomène d'une image d'automobiliste : falling asleep at the wheel (« s'endormir au volant »).

Une étude conduite auprès de consultants d'un grand cabinet, à laquelle Mollick a participé, montre un effet voisin : sur les tâches situées hors du champ où l'outil excelle, ceux qui l'utilisaient faisaient moins bien que ceux qui s'en passaient, parce qu'ils ne voyaient pas qu'ils avaient franchi la limite. Les deux études portent sur des échantillons particuliers et demandent à être lues avec leur date ; le mécanisme, lui, est connu depuis longtemps.

Une vieille ironie

En 1983, la psychologue Lisanne Bainbridge publie un article bref et célèbre sur les ironies de l'automatisation. Plus un système est automatisé, plus la contribution de l'opérateur humain devient décisive dans les rares cas où il faut reprendre la main, et moins il a eu l'occasion de s'y exercer. On lui demande d'être excellent précisément là où on l'a privé de pratique.

Les spécialistes des facteurs humains appellent complaisance envers l'automatisation l'érosion de la vigilance à mesure que la fiabilité perçue de l'outil augmente. La performance de l'outil et la vigilance de son utilisateur évoluent en sens inverse. Ce n'est pas un défaut de caractère : c'est ce que fait un esprit raisonnable devant une machine qui a eu raison trente-⁠neuf fois.

Le phénomène a une conséquence que les fournisseurs n'aiment pas évoquer : chaque amélioration de l'outil rend plus probable que sa prochaine erreur passe inaperçue. Une organisation qui se félicite des progrès trimestriels de ses modèles devrait se demander, au même rythme, ce que sont devenus les gens chargés de les contrôler, et s'ils savent encore faire le travail qu'ils vérifient.

La faille d'un principe célèbre

Parmi les quatre principes que propose Mollick figure celui-⁠ci : soyez l'humain dans la boucle. Il est juste et il est vague. Son propre exemple des recruteurs montre que la présence d'un humain dans la boucle ne garantit rien si l'outil est assez bon pour l'endormir. Être dans la boucle n'est pas une posture que l'on adopte ; c'est un dispositif que l'on construit, avec des moments, des personnes et des preuves.

D'où une question qui fâche, et que nous posons en comité : êtes-⁠vous dans la boucle pour décider, ou pour que l'on ait quelqu'un à blâmer ?

Où placer la vigilance

La parade consiste à repérer les points où la compétence de l'outil menace la vigilance, et à y installer une vérification indépendante de celle qu'il exerce lui-⁠même. Les plus évidents se trouvent là où une erreur coûte cher et se voit tard : la validation juridique, le recrutement, la décision financière.

• Nommer, pour chaque outil, la tâche où il est si bon que plus personne ne pense à le vérifier.
• Tenir le compte des deux colonnes : les fois où l'humain a corrigé la machine, et celles où il l'a gâtée.
• Compter les refus : sur les dix dernières validations, combien de non ? Un oui qui ne s'est jamais refusé ne vaut pas validation.
• Faire périodiquement le travail sans l'outil, pour savoir qui sait encore le faire.

La performance de l'outil et la vigilance de son utilisateur évoluent en sens inverse.