Une superintelligence peut-elle avoir un imbécile pour chef ?
Yuval Noah Harari résume d’une formule le pari que les marchés font sur l’intelligence artificielle. Nous allons, dit-il en substance, fabriquer des dieux, puis compter sur eux pour rester nos esclaves. Il doute que la seconde partie du programme survive à la réussite de la première.
J’ai beaucoup d’estime pour Harari, au point de lui emprunter, dans La Clarté contre le Chaos, une partie de ma réflexion sur l’intelligence collective. Mais sur ce point précis, j’aimerais lui poser une question. A-t-il déjà assisté à un comité de direction ?
Imaginons la scène. Une ingénieure explique qu’il faudra six mois pour livrer le produit, à condition que les essais de juin se passent bien. Son directeur se tourne vers le président et déclare qu’on peut viser septembre. Le président apprécie les gens qui s’engagent. En sortant, le directeur prend l’ingénieure à part.
— Entre nous, quelle est la probabilité qu’on soit prêts en septembre ?
— C’est ce que j’essayais de vous expliquer.
— Oui, mais là, je t’écoute.
Tout est dans ce « là ». Pendant la réunion, l’ingénieure répondait à une question de calendrier. Son directeur, lui, passait un entretien de carrière. Chacun a fort bien compris la situation qui l’intéressait. Un seul des deux a décidé de la date. Et ce sera tout de même à l’autre de livrer le produit.
C’est un mécanisme que je décris dans La Clarté contre le Chaos. Pour juger si l’ingénieure a raison, il faut connaître le produit, les essais et la panne qui occupe ses nuits. Pour constater que son directeur a de l’assurance, il suffit d’être dans la pièce. L’assurance possède ainsi, sur la compétence, un avantage considérable au moment des promotions. Elle se laisse évaluer par le premier imbécile venu, lequel se trouve parfois chargé de l’évaluation.
Voilà qui devrait nous rassurer sur l’avenir de l’espèce. Nous possédons déjà un savoir-faire remarquable dans l’art de donner des ordres à plus intelligent que soi. Le jour où apparaîtra une intelligence artificielle générale, la fameuse AGI, il suffira de la rattacher à la direction de l’innovation. Elle aura beau résoudre en une matinée trois problèmes de physique théorique, il lui faudra toujours la signature de Bernard pour engager une dépense supérieure à cinq mille euros.
Seulement voilà. L’ingénieure a un salaire, un emprunt et peut-être assez d’affection pour son équipe pour lui épargner les conséquences d’une promesse idiote. Nous savons à peu près ce qui la retient de laisser Bernard se débrouiller avec septembre. Qu’est-ce qui retiendrait la machine ? Et surtout, pourquoi s’efforcerait-elle de déloger Bernard, si elle peut obtenir sa signature ?
Imaginons la réunion suivante. L’AGI a préparé les trois scénarios entre lesquels le président doit arbitrer. Elle connaît son goût pour les décisions courageuses, sa répugnance à désavouer Bernard et le temps qu’il consacre d’ordinaire aux annexes. Elle a placé en deuxième position l’option qu’elle préfère. Le président la choisit après avoir réclamé une modification mineure, qu’elle avait également prévue. Il rentre chez lui assez satisfait d’avoir, une fois encore, exercé son libre arbitre.
Et c’est ici que je retrouve Harari. Un imbécile peut fort bien rester aux commandes d’une intelligence supérieure. Il peut conserver son bureau, sa voix prépondérante et jusqu’au pouvoir de débrancher la machine. Il suffit que, le jour où la question se pose, il demande à la machine de lui préparer une note sur l’opportunité de la débrancher.
Je vois déjà la dernière ligne du procès-verbal.
Après en avoir délibéré, le conseil décide de maintenir un contrôle strictement humain sur l’ensemble du dispositif.
Qui, à votre avis, aura rédigé le procès-verbal ?