Stuart Russell, professeur à l'université de Californie à Berkeley, participe à l'étude de l'ingénierie artificielle (IA) depuis des décennies.
Mais il est aussi l'un de ses critiques les plus connus, du moins du modèle d'IA qu'il considère encore comme "standard" dans le monde.
M. Russell prévient que le modèle dominant de l'IA constitue, selon lui, une menace pour la survie de l'humanité.
Mais, contrairement aux intrigues des films hollywoodiens sur le sujet, il ne s'agit pas de technologies devenant sensibles et se retournant contre nous.
La principale préoccupation de Russell est la façon dont les développeurs humains ont programmé cette intelligence: ils sont chargés d'optimiser leurs tâches autant que possible, en gros à n'importe quel prix.
Ainsi, ils deviennent "aveugles" et indifférents aux problèmes (ou, en fin de compte, à la destruction) qu'ils peuvent causer aux humains.
La tâche principale de ces algorithmes est d'améliorer l'expérience des utilisateurs sur les réseaux sociaux. Par exemple, en recueillant un maximum d'informations sur l'utilisateur et en lui fournissant un contenu adapté à ses préférences afin qu'il reste connecté plus longtemps.
Même si cela se fait au détriment du bien-être des utilisateurs ou de la citoyenneté, poursuit le chercheur.
"Les réseaux sociaux créent des dépendances, des dépressions, des dysfonctionnements sociaux, peut-être de l'extrémisme, une polarisation de la société, et contribuent peut-être à la diffusion de fausses informations", explique M. Russell.
"Et il est clair que leurs algorithmes sont conçus pour optimiser dans un seul but : inciter les gens à cliquer, à passer plus de temps engagé avec le contenu", poursuit-il.
"Et en optimisant ces quantités, nous pourrions causer d'énormes problèmes à la société.
Cependant, poursuit M. Russel, ces algorithmes ne sont pas suffisamment examinés pour être vérifiés ou "corrigés", de sorte qu'ils continuent à travailler pour optimiser leur objectif, quels que soient les dommages collatéraux.
"Les réseaux sociaux n'optimisent pas seulement la mauvaise chose, mais ils manipulent aussi les gens, car en manipulant les gens, ils parviennent à augmenter leur engagement. Et si je peux vous rendre plus prévisible, par exemple en vous transformant en éco-terroriste extrémiste, je peux vous envoyer du contenu éco-terroriste et m'assurer que vous cliquez pour optimiser mes clics."
Ces critiques ont été renforcées la semaine dernière par Frances Haugen, ancienne employée de Facebook (et actuelle lanceuse d'alerte), qui a témoigné devant une audience du Congrès américain.
Mme Haugen dit que les réseaux sociaux "nuisent aux enfants, sèment la discorde et sapent la démocratie".
Facebook a réagi en déclarant que M. Haugen n'a pas suffisamment de connaissances pour faire de telles affirmations.
Le chercheur, auteur de "Human Compatibility : Artificial Intelligence and the Problem of Control", est considéré comme un pionnier dans le domaine qu'il appelle "intelligence artificielle compatible avec l'existence humaine".
"Nous avons besoin d'un tout autre type de système d'IA", déclare M. Russell.
Ce type d'IA, poursuit-il, devrait "savoir" qu'elle a des limites, qu'elle ne peut pas atteindre ses objectifs à n'importe quel prix et que, même en tant que machine, elle peut se tromper.
"Cela ferait que cette intelligence se comporte d'une manière complètement différente, plus prudente (...), qu'elle va demander la permission avant de faire quelque chose quand elle n'est pas sûre que c'est ce que nous voulons". Et, dans un cas plus extrême, il voudrait être éteint afin de ne pas faire quelque chose qui pourrait nous nuire. C'est mon message principal", dit-il.
La théorie défendue par Russell ne fait pas partie d'un consensus : il y a ceux qui ne considèrent pas que ce modèle actuel d'IA est menaçant.
Un exemple célèbre des deux côtés de ce débat s'est produit il y a quelques années, lors d'une discussion publique entre entrepreneurs technologiques.
Mark Zuckerberg et Elon Musk.
Un reportage du New York Times rapporte que, lors d'un dîner en 2014, les deux entrepreneurs ont débattu entre eux.
Musk dit qu'il "croit vraiment au danger" que l'IA devienne supérieure et subjugue les humains.
Zuckerberg, cependant, estime que Musk est alarmiste.Dans une interview de la même année, le créateur de Facebook se considérait comme un "optimiste" en matière d'IA et affirmait que les détracteurs, tels que Musk, "créaient des scénarios apocalyptiques et irresponsables".
Musk affirme que l'IA est "potentiellement plus dangereuse que les ogives nucléaires".
"Je ne dis pas aux gens d'arrêter d'utiliser les médias sociaux ou que c'est intrinsèquement mauvais", poursuit M. Russell.
"(Le problème) est la façon dont les algorithmes fonctionnent, l'utilisation des likes, du téléchargement de contenu (en fonction des likes) ou de sa suppression. La façon dont l'algorithme choisit ce qu'il faut mettre à l'écran semble être basée sur des métriques qui sont préjudiciables aux gens".
"Nous devons donc mettre l'avantage de l'utilisateur au premier plan, ce qui permettra aux choses de mieux fonctionner et aux gens d'être heureux d'utiliser leurs systèmes.
Il n'y aura pas de réponse unique à la question de savoir ce qui est "bénéfique". Par conséquent, selon le chercheur, les algorithmes devront adapter ce concept à chaque utilisateur individuel, une tâche qui, de l'aveu même de Russell, est loin d'être facile.
"En fait, ce (média social) sera l'un des domaines les plus difficiles où ce nouveau modèle d'IA sera mis en pratique", dit-il.
"Je pense vraiment que nous devons repartir de zéro. Nous finirons peut-être par comprendre la différence entre une manipulation acceptable et inacceptable.
Russell poursuit : "par exemple, dans le système éducatif, nous manipulons les enfants pour en faire des citoyens avertis, capables, performants et bien intégrés. Et nous considérons que c'est acceptable.
"Mais si ce même processus devait transformer des enfants en terroristes, ce serait une manipulation inacceptable." Comment faites-vous exactement la différence entre les deux ? C'est une question très difficile. Les réseaux sociaux soulèvent ces questions assez difficiles auxquelles même les philosophes ont du mal à répondre", explique le chercheur.