Quelles décisions ne doivent jamais passer de « l'humain décide » à « l'humain surveille » ? Où avons-⁠nous décidé, exprès, que l'IA n'irait pas ?

Pourquoi nous la posons

Melissa Reeve décrit une bascule qui se fait souvent sans décision : de « l'IA suggère, l'humain décide » à « l'IA décide, l'humain surveille ». Elle recommande de réserver des zones à l'intuition humaine. La seconde question demande si ces zones ont été choisies exprès, ou si elles ne sont que les restes de ce que l'outil ne sait pas encore faire.

Ce que la réponse révèle

Les zones réservées sont rarement écrites ; elles existent par défaut, et reculent à chaque version de l'outil. Un comité qui n'a rien décidé exprès a laissé l'outil décider de ses propres limites.

La réponse qui rassure

Désigner comme réservées les décisions que l'outil prend mal aujourd'hui.

Lundi matin

Écrire la liste des décisions que la maison garde exprès sous le régime « l'humain décide », avec la raison, et la faire adopter en comité.

Questions voisines

• B03Quelle décision n'automatiserons-⁠nous jamais, et pour quelle raison ?matière
• B60Y a-⁠t-il des décisions que vous refuseriez de confier à une machine même si elle les prenait mieux que vous ?Ouverturepresque
• B58Existe-⁠t-il un seul document qui dise qui a le droit de décider quoi ? À quel palier se trouve chacun de vos systèmes automatisés, et qui a décidé qu'il s'y trouvait ?presque
• B55Où réside le savoir pertinent pour cette décision : dans les données de l'agent, ou dans des circonstances que seul un humain présent perçoit ?presque
• B59Combien de dossiers l'humain dans la boucle traite-⁠t-il encore entièrement seul ? Quelle est sa séance de simulateur ?presque

← B55B58 →