Comment l’IA nous trompe « avec un aplomb digne d’un écolier qui ne connaît pas sa leçon et qui bluffe »

Le père d’Antonin est passionné d’astronomie, et Noël approche. Que lui offrir ? Cet ingénieur parisien s’en remet aux bons conseils de ChatGPT, le plus populaire des chatbots, ces algorithmes capables de converser de tout et de rien avec des internautes.

La solution lancée par l’entreprise américaine OpenAI en 2022 lui propose aussitôt une liste de livres récents sur le sujet. Parmi ceux-ci, un intrigant Rendez-vous avec les étoiles. « Curieux, je suis allé en librairie pour le trouver, relate Antonin Borgnon. Mais, en interrogeant le vendeur, j’ai découvert la supercherie : le livre n’existe pas. L’IA l’avait tout simplement inventé. »

Le malheureux n’est ni le premier ni le dernier à se laisser piéger par les affabulations de l’intelligence artificielle (IA) : depuis leur démocratisation, les outils comme ChatGPT proposent des résultats bluffants, au sens le plus littéral. Ils avancent régulièrement des réponses complètement fantasques – des « hallucinations », dans le jargon de l’IA. Malgré leur multiplication, et la fragilité désormais bien connue de ces algorithmes, il demeure pourtant tentant de s’y fier, tant ceux-ci répondent avec assurance.

« Difficile de comprendre pourquoi l’IA est prise au sérieux »

Ces hallucinations sont liées à la conception même de ces IA, qui opèrent de manière probabiliste : sur la base des milliards de textes ingérés dans leur phase d’« apprentissage », elles calculent quelles suites de mots sont statistiquement les plus fréquentes après telles autres, sans critère de justesse ou de vérité, ni même de compréhension de la question. Parfois, ces erreurs proviennent simplement de sources de mauvaise qualité, comme il en existe tant sur Internet.

Elles peuvent donner lieu à des réponses délirantes, comme l’ont illustré de nombreux témoignages de lecteurs. Dans son sonnet Le Coureur, le poète parnassien José-Maria de Heredia écrivait « Tel que Delphes l’a vu quand, Thymos le suivant/Il volait par le stade aux clameurs de la foule ». Quelle est la suite du premier vers ?, demande un certain Skoo Bedoo à ChatGPT. Plutôt qu’un célèbre poème, ce dernier croit reconnaître « une célèbre énigme » basée sur l’alphabet grec, et dont la réponse serait… « le Sphinx ». Relancée par Le Monde, l’IA a plus sobrement attribué le vers à Paul Valéry. Tout aussi faux, mais déjà plus plausible.

Dans ces conditions, de nombreux enseignants alertent contre le danger d’utiliser l’IA dans un cadre scolaire. En 2023, déjà, plus d’un adolescent américain sur cinq déclarait avoir utilisé ChatGPT pour faire ses devoirs, selon un sondage du Pew Research Center. « Avec sa pensée décidément très artificielle, ChatGPT a le mérite de nous faire rire ! Mais difficile de comprendre pourquoi cet “outil” est si universellement pris au sérieux », se désespère Loys Bonod, enseignant de lettres parisien. Depuis deux ans, il présente à ses lycéens les inventions pseudo-savantes de l’IA, capable d’affirmer doctement dans une dissertation sur Arthur Rimbaud que son poème La Maline, qui se déroule dans une brasserie de la ville belge de Charleroi, prend pour cadre un paysage bucolique des Ardennes fait de « navires » et de « ports étrangers ».

Des algorithmes qui ne sont pas conçus pour douter

Cet aplomb désarmant, il est possible de le mesurer. A la fin de 2024, des chercheurs de l’université de Columbia, à New York, ont relevé que, dans un exercice de recherche de source pour des citations, ChatGPT présentait son résultat avec assurance dans 96,5 % des cas. Pourtant, la réponse n’était correcte que dans 23,5 % des requêtes.

Plus déconcertant encore, l’IA s’accroche à ses erreurs. Louis, mathématicien de 35 ans, a demandé au plus populaire des chatbots le métier de Camille Forestier, un personnage secondaire récurrent des romans de Fred Vargas. « Non seulement ChatGPT n’en a pas la moindre idée, mais en plus il insiste quand je lui dis que sa réponse est fausse : il tente tous les métiers apparaissant dans l’œuvre de Fred Vargas (archéologue, médecin légiste, commissaire), avec un aplomb digne d’un écolier qui ne connaît pas sa leçon et qui bluffe », déplore-t-il.

De même, Claire a demandé à la solution d’OpenAI si Bachar Al-Assad est toujours à Moscou, où il a fui après le renversement du régime syrien le 8 décembre 2024. « Il est à Damas à la tête de son pays », lui assure ChatGPT un mois après les faits, en dépit de ses contestations. Il faudra qu’elle renvoie vers une page Wikipedia pour que le chatbot mette ses données à jour.

Des affirmations erronées autant que le sujet est pointu

Les affirmations erronées des chatbots sont d’autant plus trompeuses que le sujet paraît pointu. ChatGPT a ainsi assuré mordicus à Pierre Destannes, un lecteur du Monde, l’existence d’un certain Jacques Delaunay, avocat né en 1914, membre du Parti radical, ayant exercé des responsabilités politiques jusqu’en 1976. Le descriptif paraît crédible, la formulation d’une grande clarté impressionne, mais tout est faux. Questionné par Le Monde, le chatbot répond cette fois que « Jean Lecanuet », qui est pourtant né en 1920, n’a jamais été avocat et n’a jamais quitté la vie politique, jusqu’à sa mort en 1993. Autant d’erreurs impossibles à détecter si l’on présume de la rigueur de l’IA.

La fausse assurance de l’IA peut vite se montrer contre-productive. Valérie Chansigaud, historienne des sciences, a utilisé ChatGPT pendant près d’un an pour trouver des sources anciennes qui lui auraient échappé. « Le résultat est calamiteux, à la limite de la fraude tant les inventions sont nombreuses, déplore-t-elle. L’outil invente des bibliographies fictives mais utilisant des éléments véridiques. » Pour un diagnostic de territoire, Justine, chargée de mission à la Croix-Rouge, a demandé à ChatGPT la liste des centres d’hébergement et de réinsertion sociale de l’Ain. L’algorithme lui sort une quinzaine d’établissements, « dont la plupart étaient totalement fictifs », s’inquiète-t-elle.

Une étude britannique de 2024 rapporte que les IA conversationnelles sont particulièrement utilisées dans les entreprises de communication et les firmes juridiques. Plusieurs juristes lecteurs du Monde ont signalé des citations de jurisprudences complètement inventées, chaque fois avec aplomb.

Un biais côté IA… et côté humain

Pourquoi une telle assurance ? « Ces modèles ne “savent” pas réellement si une information est vraie ou fausse ; ils génèrent du texte qui paraît plausible », explique volontiers ChatGPT quand Le Monde lui pose la question (avant de renvoyer vers cinq études universitaires, dont une n’existe pas).

Un chatbot ne « connaît » pas au sens strict, il se contente d’imiter le discours humain. Les termes même d’« intelligence artificielle » sont trompeurs : techniquement, il s’agit de modèles de langage de grande taille (LLM en anglais), ou, pour simplifier, d’« interlocuteur artificiel », capable de répondre sans comprendre la conversation.

Face à cette intelligence qui n’en est pas une, la capacité de l’IA à nous berner dit aussi quelque chose de nous. Plusieurs études de psychologie sociale ont documenté que l’être humain accordait plus de crédit à une affirmation énoncée avec assurance qu’à une assertion suggérée avec prudence. Cette « heuristique de la confiance », comme l’ont baptisée les économistes et psychologue américains Jonathan Thomas et Ruth Mc Fadyen en 1993, a depuis été maintes fois étayée par des expériences. Elle s’expliquerait notamment par des millénaires de vie tribale et d’apprentissage par imitation des individus dominants. En se présentant face à un chatbot dans la position de celui qui attend une réponse d’un « sachant », l’internaute se met déjà en position d’être berné.