Deus ex machina : un mythe bruyant

L'intelligence artificielle est partout. Dans les titres de journaux, dans les fils de discussion, dans les conversations de bureau, dans les sujets de management, etc. Le sujet est omniprésent, souvent jusqu'à l'écœurement. Et pourtant, demandez autour de vous ce qu'est vraiment cette technologie, comment elle fonctionne, ce qu'elle peut et ne peut pas faire : le plus souvent, le silence, ou les approximations, gênés, vous répondront.

C'est ce paradoxe que je veux tenter de lisser ici. On nous parle de l'IA en permanence, mais on ne nous l'explique presque jamais. Cette première édition pose donc un contrat qui rejette le sensationnalisme, les promesses miraculeuses, les prophéties d'apocalypse. Je souhaite apporter une vulgarisation exigeante, à contre-courant du brouhaha ambiant, pour comprendre avant de juger et choisir son positionnement.

Pour commencer, observons la cacophonie actuelle en face. Lorsqu'on cherche à appréhender le sujet via les principaux canaux d'information du grand public, on tombe sur une succession de titres alarmistes ou gonflés de promesses, qui livrent paradoxalement un contenu insipide. L'information glisse et passe, rien ne reste à part des émotions (souvent négatives), on n'apprend rien. Les media d'information généraux, fidèles à leurs vieilles recettes de vente, entretiennent surtout la fascination et la peur. Et les nouveaux venus, les plateformes de contenu et les réseaux sociaux, reproduisent les mêmes ressorts sur des formats encore plus courts, économie de l'attention^[1] oblige.

Pour les sceptiques, l'expérience est facile à reproduire : cherchez « intelligence artificielle » sur YouTube, et perdez-vous dans une jungle sans fin de vignettes^[2] aux titres racoleurs, ornées le plus souvent de visages aux rictus grotesques. Le contenu, derrière, est généralement à l'avenant.

Tout cela permet de rester dans la facilité et de vendre au prix fort de l'information sans la moindre analyse, donc sans réel intérêt, en s'appuyant sur nos craintes et nos fascinations. Les algorithmes tournent inlassablement autour du même contenu (et tant pis pour les opinions alternatives), avec un parti pris toujours plus extrême au fil des suggestions, et toujours dans le format le plus court possible. Ces contenus, massivement promus, le sont au détriment de la réflexion et de l'analyse critique, les seules pourtant qui permettraient de saisir les vrais enjeux.

Nous voilà donc, pour le plus grand nombre, à devoir « subir » un sujet majeur, censé révolutionner nos vies et le monde, sans qu'il ne soit jamais vraiment ni dédramatisé ni expliqué.

La technologie elle-même alimente ces dérives fondées sur l'émotion. Si les applications de l'IA peuvent être complexes et variées, le mystère qui l'entoure lui confère d'emblée un pouvoir évocateur presque mystique, et donc fascinant. Et puis elle permet, de plus en plus facilement, de générer du texte, de l'audio, de la vidéo en pagaille, en sombrant souvent dans la facilité et la futilité. Ce déversement informe a même reçu son sobriquet : le SLOP^[3]. Le pire, c'est que ce genre de production explose au point d'être, ou de bientôt devenir, majoritaire sur Internet.

Reste alors à aller chercher l'information à la source. Mais là encore, les portes se ferment. Se renseigner directement auprès des « fournisseurs » d'IA, en consultant leurs documentations, suppose de franchir une barrière technique fréquemment insurmontable pour qui est étranger au domaine (informatique, ingénierie, science des données,…). Il y a bien les sources premium, vérifiées, qui livrent un contenu de valeur, mais elles sont la plupart du temps enfermées derrière des abonnements et des accès payants. Les sources qui vulgarisent et éduquent, avec assez de profondeur et sans sensationnalisme, sont rares. C'est précisément à ce dernier mouvement que je souhaite participer.

À cet égard, il est déjà plus que temps de mettre toute cette cacophonie de côté (le bruit) pour se concentrer sur la réalité de la technologie (le signal), sur ses implications et ses promesses. De sortir des mécanismes insidieux et abêtissants pour prendre une autre direction : celle d'une compréhension partagée, en vue d'un usage éclairé et choisi. Pour que l'IA serve l'humanité, et non l'inverse.

Car il y a un dernier danger, et il marche main dans la main avec l'ignorance et la peur (qui, elles, garantissent la passivité) : celui du détournement. Une technologie que personne ne comprend est une technologie qu'une minorité peut accaparer, à des fins mercantiles et de contrôle, dans une société à visée généralement dystopique gouvernée par ces mêmes personnes. Comprendre, ici, est la condition nécessaire pour ne pas subir, plutôt qu'un luxe d'amateur curieux.

Alors écartons le bruit, et commençons par le commencement qui, justement, n'est pas forcément celui auquel presque tout le monde croît. En effet, là où le grand public situe la naissance de l'IA fin 2022, le jour où une machine s'est mise à lui parler, il faut remonter le fil : l'IA a 70 ans, pas trois, et cette histoire-là, le bruit semble également l'avoir soigneusement couverte pour mieux l'escamoter.

Quoi de neuf docteur : l'IA a 70 ans, pas trois

Beaucoup d'entre nous partagent la même fable : un soir de fin 2022, un magicien sort un lapin de son chapeau, et le monde entier découvre, ébahi, qu'une machine sait parler. Sauf que le lapin se cachait depuis plus de soixante-dix ans dans ce terrier improvisé ! La vraie diversion du tour de magie est là : nous avoir fait croire que la technologie venait de naître chez OpenAI.

Ce que le bruit empêche principalement, c'est d'entendre la mélodie jouée par la véritable histoire. Car, pour mieux comprendre ce qu'est l'IA aujourd'hui, il faut d'abord accepter qu'elle n'a rien d'une apparition soudaine. Sa lente maturation est même une clef de son fonctionnement actuel.

La tendre enfance de l'IA

Restons donc conscients que la recherche sur l'intelligence artificielle ne date pas des années 2020, ni même de ce millénaire. Pour simplifier, on pourrait dire qu'elle a commencé il y a près d'un siècle, en parallèle de la naissance de l'informatique, dans les années 1940-1950. La date de naissance officielle communément admise est 1956, avec la conférence de Dartmouth, tenue dans le New Hampshire, organisée par John McCarthy, Marvin Minsky, Claude Shannon et Nathaniel Rochester. C'est là qu'une poignée de chercheurs fait le pari que l'intelligence humaine pourra un jour être décrite assez précisément pour qu'une machine la reproduise. C'est lors de cet évènement que l'expression « intelligence artificielle » est consacrée comme nom du domaine.

Mais les fondations sont sans doute encore antérieures.

• En 1943, McCulloch et Pitts publient un modèle mathématique du neurone formel.

• En 1950, Alan Turing publie Computing Machinery and Intelligence et propose le fameux « test de Turing » : plutôt que de définir si une machine « pense », il imagine un jeu d'imitation où l'on dialogue à l'aveugle avec un humain et une machine. Si l'on n'arrive pas à les distinguer, la machine a gagné.

• En 1951, Minsky construit avec l'étudiant Dean Edmonds le SNARC, l'un des tout premiers réseaux de neurones de l'histoire : une machine électromécanique en tubes à vide, simulant une quarantaine de neurones pour modéliser l'apprentissage d'un rat dans un labyrinthe, qui s'améliorait d'essai en essai en renforçant physiquement ses bonnes connexions.

Querelles de famille sur l'éducation

Pourtant, depuis ces balbutiements, la technologie n'a longtemps pas semblé tenir ses promesses. Comment expliquer cette latence ? La réponse tient surtout dans une enfance déchirée par une querelle de famille. Dès l'origine, deux lignées rivales se sont affrontées, et chacune pariait sur une idée radicalement différente de ce qu'est l'intelligence.

La première, la famille connexionniste, pariait sur l'apprentissage : construire un réseau de neurones artificiels capable d'apprendre seul, à partir d'exemples, sans qu'on lui inculque la moindre règle. Son emblème est le perceptron, imaginé en 1957 par le psychologue Frank Rosenblatt. Cette machine reçoit des signaux, leur attribue à chacun un « poids », répond oui ou non, et corrige ses poids quand elle se trompe : l'apprentissage en germe.

La seconde, la famille symbolique, pariait sur l'inverse : l'intelligence comme manipulation de symboles et de règles logiques, un « raisonnement » écrit à la main par des ingénieurs. Elle sera plus tard baptisée GOFAI, pour Good Old-Fashioned Artificial Intelligence, qui se traduit par « la bonne vieille IA à l'ancienne ». McCarthy et Minsky en étaient des figures de proue, et c'est cette approche qui a dominé les débats pendant environ trois décennies.

Pourquoi la symbolique l'a-t-elle emporté si longtemps ? Parce qu'elle donnait des résultats tangibles, là où le connexionnisme restait au stade de la promesse. Son point d'orgue ce sont les systèmes experts des années 70-80 : des programmes empilant des milliers de règles « si… alors… sinon… » censées surpasser les humains dans un domaine étroit. MYCIN, à Stanford, interrogeait le médecin sur les symptômes et les analyses d'un patient pour diagnostiquer des infections graves comme les méningites. XCON, déployé chez le constructeur DEC, configurait des ordinateurs sur mesure en générant automatiquement la liste exacte des pièces compatibles et en construisant un puzzle où le moindre câble mal choisi rendait la machine livrée inutilisable. Pendant un temps, ça marchait, et les financements suivaient.

De manière parallèle et synchrone, les réseaux de neurones étaient progressivement enterrés. Et le coup de pelle décisif a été porté par… Minsky lui-même ! L'ironie est totale : en 1969, dans un livre intitulé Perceptrons et co-écrit avec Seymour Papert, il démontre mathématiquement les limites du perceptron à couche unique, car certaines distinctions pourtant triviales lui sont structurellement inaccessibles. La démonstration était rigoureuse. Mais sa portée est sur-interprétée : on la lit comme la condamnation de toute l'approche par réseaux de neurones, et les financements du connexionnisme s'assèchent ensuite pour près de vingt ans. Le pari qui allait finir par tout emporter venait d'être mis au cachot par le champion du camp adverse.

Les rudes hivers de l'IA

Cette dynamique d'énormes promesses, d'investissements massifs, de résultats décevants, puis de coupes budgétaires drastiques (toute ressemblance avec des faits actuels serait, bien sûr, fortuite) a entraîné deux « hivers » rigoureux pour la discipline.

Le premier, de 1974 à 1980, quand les grandes applications et annonces portant sur le raisonnement général ne se matérialisent pas, entraînant l'assèchement des crédits publics. Pour être plus précis, le gel n'a pas saisi l'ensemble du paysage en même temps. Par exemple, dès 1966, un premier coup de froid avait soufflé sur le monde de la traduction automatique. En effet, un comité mandaté par le gouvernement américain, l'ALPAC (Automatic Language Processing Advisory Committee), avait rendu un verdict glacial sur le sujet en précisant qu'après dix ans d'efforts soutenus, la machine traduisait toujours plus lentement et moins bien qu'un humain. Le comité suggère alors de fermer le robinet. C'est ensuite, en 1973, après la publication du rapport britannique Lighthill, extrêmement sévère, que les coupes sauvages ont commencé à prendre de l'ampleur partout. Ce rapport avait été commandé par le conseil britannique pour la recherche scientifique à un mathématicien de renom : Sir James Lighthill. Son verdict était que les promesses n'avaient été tenues, à la hauteur des espérances, dans aucun domaine d'application de l'intelligence artificielle. S'il reconnaissait des progrès sur des champs restreints (comme des maquettes et des « problèmes-jouets »), la sentence du rapport était implacable concernant la mise à l'échelle via l'« explosion combinatoire ». Le nombre de problématiques et de solutions possibles dans le monde réel est imprévisible et infini. Or, rien que pour un ensemble de données finies, la complexité peut aisément augmenter de manière exponentielle. Par exemple, à cette époque, un jeu d'échec avec 20 coups possibles par tour demandait 1 seconde de calculs pour anticiper 6 coups, 11 jours pour anticiper 12 coups et… 32 000 ans pour 18 coups !

Le second hiver, de 1987 à 1993, démarre avec l'effondrement du marché matériel autour des machines LISP. Toute l'industrie, durant les années fastes précédentes des systèmes experts, était bâtie autour de machines très coûteuses (jusqu'à 100 000 $) spécialisées pour faire tourner des applications du langage de programmation LISP (LISt Processing). LISP était le « langage de l'IA » à cette époque. Mais, voilà qu'en 1987, avec l'éclosion de l'informatique personnelle (Apple, IBM), on obtient des ordinateurs bien moins chers et, désormais assez puissants, pour faire exactement le même travail. Le marché du matériel, alors estimé à un demi-milliard de dollars, s'effondre en moins d'une année ! À nouveau, toute ressemblance avec une frénésie économique autour des composants électroniques comme la RAM, les GPU ou la construction effrénée de centres de données serait, bien évidemment, pure coïncidence… Ce choc entraîne une prise de conscience plus large : on découvre que ces fameux systèmes experts, si prometteurs, sont en réalité encore coûteux à construire, fragiles dès qu'on sort de leur domaine étroit, et tellement laborieux à maintenir (chaque nouvelle règle pouvant en contredire mille autres) qu'on finit par les abandonner.

Un hiver, en IA, n'est pas qu'une métaphore saisonnière, c'est surtout de l'argent qui s'évapore, les laboratoires qui ferment, des licenciements, les chercheurs qui changent de sujet pour ne pas couler avec le navire. La technologie, elle, continuait bien sûr d'évoluer (les ingénieurs sont souvent des gens un peu têtus), mais avec beaucoup moins de soutiens financiers, et, surtout, un manque criant de moyens techniques à la hauteur des ambitions. En effet, la puissance de calcul et le stockage de l'époque n'avaient rien de comparable aux nôtres, alors qu'ils étaient indispensables aux percées décisives. Malgré des progrès réels dans bien des domaines (médecine, recherche, militaire), l'IA est restée discrète, loin des projecteurs du grand public.

Jusqu'à très récemment.

La renaissance

Pourquoi, alors, cette fausse impression que tout a débuté en 2022, balayant sous le tapis sept ou huit décennies de recherche ? La bascule ne tient pas tant aux financements ou aux capacités de calcul, qui s'étaient pourtant considérablement développés depuis les années 2000, qu'à une percée décisive dans la conception des systèmes, une percée qui, pour la première fois, ouvrait des perspectives ludiques et grand public.

Le premier choc (pour le grand public) n'est pas ChatGPT. C'est DALL-E 2, mis à disposition par OpenAI le 28 septembre 2022. Il permet la génération d'images à partir d'une simple description écrite, ouverte au grand public après quelques mois de tests confidentiels. Or une image, pour un humain, a une lecture instantanée et un impact profond. Pouvoir en générer « à la volée » en décrivant ce qu'on veut a planté le premier clou psychologique d'une technologie restée jusque-là dans l'ombre.

Le clou a été véritablement enfoncé deux mois plus tard, le 30 novembre 2022, avec la mise à disposition gratuite de ChatGPT (version 3.5), toujours par OpenAI. ChatGPT a été le premier fleuron à populariser une famille de systèmes appelés les grands modèles de langage, ou LLM^[4] (Large Language Model). Le coup de marteau, cette fois, consiste en la possibilité de dialoguer naturellement avec une entité non humaine. L'effet de surprise a sans doute été comparable, voire supérieur, à celui qu'on aurait éprouvé si, tout à coup, on avait pu discuter avec les chiens ou les chats via une interface qui traduisait les uns aux autres (et finalement découvrir qu'ils n'étaient pas aussi bêtes qu'on l'imaginait).

Deux dates à deux mois d'écart, donc : l'image qui frappe l'œil, puis le dialogue qui remue l'esprit. Le grand public a cru assister à une naissance, alors qu'il assistait en réalité à une sortie de l'ombre, une forme d'aboutissement de soixante-dix ans de recherche, de printemps, de doutes, de querelles et d'hivers.

Reste une question : pourquoi ce moment-là, et pas un autre ? Qu'est-ce qui, dans la conception même de ces grands modèles de langage, a soudain tout débloqué ? Pour le comprendre, il faut soulever le capot d'un LLM et regarder la mécanique qui se cache sous la conversation : les tokens, l'attention, la fenêtre de contexte, et l'affinage humain qui ont transformé un moteur statistique brut en assistant utile.

L'âme invisible : sous le capot d'un LLM

Tout le monde a une intuition de ce que fait ChatGPT : on lui parle, il répond, et c'est troublant de fluidité. Un modèle familier et anthropomorphique. Presque personne n'a une intuition de comment il le fait. C'est précisément là que s'arrête l'anthropomorphisme et se nichent de piégeux malentendus : sous la conversation, il n'y a ni petit homme dans la machine, ni cerveau de silicium. Il y réside cependant une mécanique étonnamment simple à énoncer, et c'est justement en étudiant ses mécanismes de haut niveau qu'on désamorce l'apparente « magie ».

Commençons par le mot le plus significatif du dossier : LLM, pour Large Language Model, grand modèle de langage. Derrière l'acronyme intimidant, la réalité est plus paradoxale : teintée de gigantisme, mais au service d'une forme de sobriété… Un LLM, c'est essentiellement un modèle statistique entraîné sur de gigantesques quantités de données. Et par gigantesques, j'entends à peu près tout : une part considérable de tout le contenu d'Internet, plus une montagne d'autres corpus numérisés comme des livres, des encyclopédies, des codes sources, et ainsi de suite. Pour imager, disons qu'on lui a fait avaler toute la bibliothèque. Dans quel but ? Eh bien, pas pour qu'il la comprenne, mais pour qu'il en mesure les régularités !

Vous remettrez bien un jeton ?

Comment ces régularités du langage sont-elles mesurées ? En pratique, pour digérer cette masse, le modèle commence par tout découper en unités élémentaires qu'on appelle des tokens^[5] (jetons). Un token vaut, en gros, 0,75 mot (ratio anglophone). Mais attention, ce n'est qu'une moyenne grossière qui lisse des milliards de cas divergents, car dans le détail un token peut être un mot entier, un bout de mot, ou un simple signe de ponctuation. Mais, pour notre compréhension peu importe l'exactitude, il ne s'agit que de la préparation des ingrédients, l'important est ailleurs : à aucun moment le modèle ne calcule un sens. Ainsi, il ne possède pas de compréhension de ce que veut dire « chat » ou… « entropie ».

Pour chaque token rencontré, il construit une représentation qui n'est qu'un enregistrement d'une régularité purement mathématique : celle de la manière dont ces tokens s'enchaînent réellement dans le langage. Pour simplifier encore, vous pouvez sacrifier un peu d'exactitude et relire ces passages en remplaçant « token » par « mot ».

À partir de ces tokens, on peut donc affirmer que le modèle « apprend ». Apprendre, ici, signifie ajuster des milliards de petits curseurs internes (jusqu'à désormais des milliers de milliards) pour capturer ces régularités d'apparition. Ces curseurs portent un nom : les poids^[6] (weights). Vus de très haut, ce sont eux qui encodent, répartis sur tout le modèle, ce qu'il a ainsi retenu des régularités du langage rencontrées lors de son entraînement. Au final, il n'existe aucune bibliothèque de phrases toutes faites, ni de base de données de réponses, mais juste un immense volume (difficilement imaginable pour l'esprit humain) de poids finement réglés mesurant et comparant les tokens les uns par rapport aux autres.

D'accord, mais finalement, au bout de cet entraînement, à quoi sert cette machinerie ? C'est là que les choses commencent à devenir vraiment étonnantes pour deux raisons principales.

D'une part, et c'est l'enseignement principal à retenir : toute cette machinerie complexe ne sert finalement qu'à une chose, et une seule : prédire un token, parmi les plus probables, pour suivre ceux déjà présents. Et c'est tout !

D'autre part, les résultats nous paraissent si familiers et crédibles que l'on imagine naturellement une forme de raisonnement complexe et logique pour organiser tous ces mots dans les réponses que l'on reçoit. En réalité, non ! Il s'agit uniquement du résultat de calculs statistiques et de l'organisation des probabilités résultantes !

L'architecture à transformeur

Une fois ce socle de compréhension posé, on peut désormais s'attaquer à la question restée en suspens : pourquoi ChatGPT a-t-il fait basculer les choses ? Pourquoi lui plutôt qu'un autre alors que la technologie et les mécanismes existaient déjà depuis longtemps ? En fait, le secret est déjà sous nos yeux, caché dans… son nom ! GPT signifie « transformeur génératif pré-entraîné » (Generative Pre-trained Transformer).

Nous sommes d'accord, une fois son acronyme élucidé, le mystère reste encore bien présent ; voire encore plus épais ! Cela peut d'ailleurs sembler comme une étrange manie chez les informaticiens lorsqu'ils nomment quelque chose… Pour lever plus haut le voile, pointons le mot qui compte le plus dans cette révélation : transformeur^[7] (le T de ChatGPT). Il fait référence à une architecture informatique éponyme qui a été introduite en 2017 par une équipe de chercheurs de Google, dans un article intitulé : Attention Is All You Need, « l'attention est tout ce dont vous avez besoin ».

Tout le progrès tient en fait dans ce mot d'attention. Pour définir succinctement cette notion appliquée aux LLM, disons qu'elle correspond basiquement à la fonctionnalité qui permet au modèle de pondérer dynamiquement l'importance de chaque token selon le contexte. Je vais revenir, ci-dessous, sur cette nouvelle affirmation compliquée pour l'expliquer plus simplement. Mais, d'abord, je dois introduire une autre notion primordiale à sa compréhension : le contexte !

La fenêtre de contexte

Dans le cadre de l'utilisation d'un LLM, on appelle contexte, ou plus spécifiquement « fenêtre de contexte » (context window), une composante essentielle qui détermine, pour une large part, la qualité des réponses qu'on obtient d'une discussion avec ce type d'IA.

Disons-le le plus simplement possible : la fenêtre de contexte est une forme de mémoire de travail du LLM. Le sens pris par « contexte », dans ce cadre, désigne l'ensemble des tokens de la discussion en cours ; c'est-à-dire tout ce que vous avez envoyé (écrit, dicté, etc.) et tout ce que le modèle a répondu depuis le début de l'échange. Sans cette mémoire, chaque interaction repartirait de zéro et il serait impossible d'enchaîner deux questions liées, puisqu'à chaque interaction le modèle aurait déjà « oublié » la précédente. Si elle existe, elle possède cependant une taille finie qui dépend du modèle utilisé. Les derniers LLM grand public et haut de gamme fournissent désormais une fenêtre de contexte d'un million de tokens, ce qui laisse de la marge pour de longs échanges.

Pour rendre l'idée plus imagée, imaginez une session de conversation comme une pièce totalement sombre et vide au départ. Cette pièce, c'est le contexte. Elle a un volume prédéfini et immuable. À mesure que la conversation avance, elle se remplit de tokens fluorescents accumulés par les échanges successifs. Ce volume de la pièce, qui définit sa capacité maximale d'accumulation, c'est précisément la fenêtre de contexte dans la métaphore.

Le contexte reste cependant une mémoire qui n'a pas de lien direct avec les connaissances que le modèle a engrangées à l'entraînement : celles-là restent toujours disponibles, en arrière-plan, et n'occupent pas la pièce. Dans la métaphore de la pièce, on pourrait imaginer les données d'entraînement comme étant l'univers connu qui contient la planète, qui contient le pays, qui contient la ville, qui contient la maison, qui contient la pièce qui est meublée par la discussion et qui sera, elle, vidée à l'issue de celle-ci !

L'attention

Maintenant que la notion de fenêtre de contexte est expliquée, revenons plus en détail sur le mécanisme d'attention que nous avions abordé juste avant. Nous avons déjà appris que c'était ce mécanisme, introduit comme une opération statistique (qui calcule l'importance de chaque token en fonction d'un contexte), qui avait permis les progrès significatifs matérialisés par l'avènement de ChatGPT 3.5 en novembre 2022.

Jusqu'à cette percée décisive, les réseaux de neurones utilisés employaient des mécanismes plus rudimentaires sous forme de processus séquentiels. Les traitements étaient effectués token par token, dans l'ordre d'apparition (de gauche à droite) pour décoder ou encoder l'information sémantique en respectant la séquence exacte qui constituait la phrase. Ces réseaux étaient nommés Réseaux de Neurones Récurrents^[8] (Recurrent Neural Networks — RNN).

Le contexte (la mémoire de travail) n'était constitué que par un « résumé » associé à la production (le R de RNN — R pour Récurrents). Pour chaque token de la liste, le système récupérait le contexte précédent et le fusionnait avec un nouveau prenant en compte les liens sémantiques du token courant. Comme si, à chaque génération de token, quelqu'un résumait la conversation au fil de l'eau, en perdant des détails à chaque nouvelle itération. Ce processus recommençait jusqu'à atteindre le dernier token. C'était très lent et les résultats très variables.

Le sens, la sémantique avait également tendance à très vite se dégrader à cause de ce mécanisme contextuel de compression qui ne pouvait contenir qu'un minimum d'informations pertinentes et était ré-écrit itérativement. Comme précisé dans le paragraphe précédent, cette solution faisait donc perdre de la précision et des références vers les éléments anciens, à chaque nouvelle occurrence, limitant drastiquement les possibilités de conserver un contexte significatif.

C'est à partir d'ici que l'on peut mieux comprendre le progrès basé sur la mécanique introduite par l'architecture à transformeur. Et, en particulier, son mécanisme d'attention (auto-attention). Ce dernier a introduit un traitement simultané de tous les tokens du contexte au lieu de cet accès séquentiel. Dans ce nouveau cadre, chaque token est désormais comparé à tous les autres pour établir leurs rapports sémantiques réciproques. L'importance d'un token par rapport à un autre n'est plus mécaniquement pénalisée par la distance. Et les capacités de calcul, massivement parallèles, des cartes graphiques (GPU) peuvent enfin pleinement être exploitées. Et comme le contexte est désormais suffisamment grand pour contenir une conversation entière, les dégradations introduites par le mécanisme de RNN ont disparu.

De plus, la sémantique est maintenant analysée sous plusieurs angles simultanément. L'importance d'un token par rapport à un autre de référence est évaluée sous plusieurs plans. Par exemple grammaticalement, poétiquement (rimes…), émotionnellement, etc. (ces angles ne sont pas programmés, mais émergent pendant les traitements) pour être finalement combinées. Ceci permet au modèle une cartographie globale bien plus riche.

Comme l'ordre d'apparition des mots dans une phrase est d'une importance primordiale pour son interprétation, un mécanisme très simple a été mis en place pour préserver cette information qui aurait, sinon, été perdue. Chaque token est désormais associé à une information identifiant son positionnement. Une forme de GPS sémantique.

Vous vous souvenez de l'analogie précédente de la pièce sombre et de son volume pour expliquer la notion de contexte ? Eh bien, nous pouvons la prolonger pour résumer le mécanisme d'auto-attention. Si le volume de la pièce contient tous les tokens fluorescents actuels du contexte, pour chaque interprétation ou génération d'un nouveau token, de multiples faisceaux lumineux pourront éclairer certains tokens répartis dans tout le volume, comme étant les plus significatifs pour le sens sémantique à attribuer au jeton considéré. Le mécanisme d'auto-attention a ainsi permis de conserver des liens riches et complexes entre chaque token en fonction d'un contexte qui est désormais de taille suffisante à contenir une masse de plus en plus importante de données.

Cette seule trouvaille a débloqué trois autres innovations d'un seul coup :

Elle a rendu possible de paralléliser massivement les calculs sur les GPU^[9] (Graphics Processing Unit), parce que l'attention permet de traiter tous les tokens en même temps plutôt qu'un par un, ce qui a rendu économiquement viables des modèles à plusieurs milliards de paramètres.

En conséquence, elle a également permis d'entraîner des modèles toujours plus gros, donc plus généralistes, sur des corpus toujours plus vastes.

Enfin, elle a permis de maintenir une cohérence sémantique sur toute la fenêtre de contexte, pas seulement sur les informations les plus proches du token étudié.

La finition anti-traces

Dans le cadre de la percée de l'architecture à transformeur, pour schématiser, il reste encore deux dernières mécaniques à expliquer et elle sont moins techniques que décisives. Un moteur statistique brut, même brillant, n'est pas encore un interlocuteur agréable. Deux innovations, moins pointues mais à fort impact, ont donc été mises en œuvre pour effectuer le reste du chemin vers le résultat actuel.

La première porte le nom barbare de RLHF, Reinforcement Learning from Human Feedback, ou affinage par retour humain. Le principe est limpide : on soumet les réponses d'un modèle pré-entraîné (le P de ChatGPT) à des personnes, qui notent les productions et/ou en comparent plusieurs versions. À partir de ces retours, le modèle renforce les poids qui produisent les meilleures réponses. Il s'agit d'une phase de réglages fins qui « apprend » au modèle à produire des réponses davantage conformes aux préférences exprimées. C'est l'un des mécanismes qui transforment un moteur brut en assistant capable, qui semble empathique et nuancé. Pour schématiser, disons que le moteur pouvait déjà parler ; l'affinage humain lui a conféré les règles de bienséance.

La seconde innovation est presque triviale, et pourtant elle change tout : une simple fenêtre de chat, gratuite, ouverte à tous. Le « Chat » de ChatGPT, tout simplement. Le nom est dès lors entièrement décodé : le T du transformeur, le P du pré-entraînement, le G de Generative parce que la machine génère son texte au lieu de le puiser quelque part, et le chat, cette interface si banale qui a pourtant tout déverrouillé. En effet, jusqu'à ce fameux « moment ChatGPT », le moteur n'était pas conversationnel et n'était accessible que via une interface de programmation (API^[10], Application Programming Interface) ; autrement dit, son accès était réservé aux développeurs. Équiper un moteur puissant dans un véhicule que n'importe qui peut conduire, voilà ce qui a fait connaître la technologie au grand public.

Voilà le capot est refermé. On sait maintenant ce qu'il y a dessous : un prédicteur de mots, doté d'une mémoire de travail à volume limité, poli par des humains, et branché sur une fenêtre de chat. Il n'y a donc rien de magique… et c'est précisément en comprenant cette mécanique qu'on comprend pourquoi elle a des limites. Un système qui ne fait que prédire le mot le plus probable ne « sait » rien, ne comprend pas, ne raisonne pas, et ne vérifie jamais ce qu'il avance. Restent ces fameuses limites : les hallucinations, les calculs qui dérapent, l'ignorance du monde réel, ainsi que les contournements qu'on a mis en place pour pouvoir y pallier.

Des erreurs qui couvent : ce qu'un LLM ne sait pas faire seul

Prendre un LLM par la main

On demande à une IA la date du jour et elle répond à côté, lorsqu'il s'agit de partager 18 bonbons entre 3 enfants, elle a tendance à en léser 2… ne nous aurait-on pas légèrement survendu le mot « intelligence » ? On nous promet un dépassement à court terme des capacités cognitives humaines, le rattrapage du niveau des meilleurs humains semble déjà atteint sur des terrains très calibrés comme les mathématiques (médaille d'or à l'Olympiade internationale de mathématiques 2025) ou certains aspects de la médecine diagnostique. Pourtant des tâches de raisonnement simples lui échappent encore, créant un paradoxe troublant. Pourquoi lorsqu'on lui demande d'envoyer un e-mail, un LLM peut allègrement nous présenter un message qu'il n'a jamais envoyé ?

En réalité, ces ratés ne sont pas des bugs. Ce sont des symptômes parfaitement logiques compte tenu de la nature d'un grand modèle de langage, ou LLM. Et, une fois qu'on a compris le fonctionnement général de la bête, non seulement ces échecs cessent d'être mystérieux, mais on peut également imaginer comment les contourner.

Un prédicteur de mots, aussi brillant soit-il, reste un prédicteur de mots, et il y a des choses qu'il ne peut tout simplement pas faire en alignant de la syntaxe.

Très vite, donc, en même temps qu'on s'émerveillait de voir ces moteurs résoudre des problèmes ouverts et complexes, on en a vu bien d'autres, a priori beaucoup plus simples, leur résister. Pour comprendre ce paradoxe, il faut commencer par faire une distinction majeure et qui va nous servir tout du long.

Un problème déterministe donne toujours le même résultat, par le même traitement, sur les mêmes données. C'est le royaume des mathématiques (1 + 1 fera toujours 2) et de l'informatique classique (votre tableur affiche le même total chaque fois que vous appliquez la même formule à la même colonne). Un problème non déterministe, lui, peut produire des résultats qui varient, tout en restant valables. L'image qui me sert de boussole est celle-ci : photographiez deux fois la même scène en studio sous les mêmes conditions : même appareil, même position, mêmes réglages, et vous obtenez deux fois exactement la même photo. C'est déterministe. Demandez maintenant à un peintre de figer cette scène, même chevalet, même lumière, mêmes couleurs : le résultat variera forcément, ne serait-ce que légèrement. C'est le domaine du non-déterminisme.

Or un LLM est, par nature, du côté du peintre. Posez trois fois la même question à ChatGPT, en repartant d'une conversation vierge, et vous obtiendrez trois réponses aux mots et aux phrases différents, même si le fond reste le même. C'est même une prouesse : automatiser la résolution non déterministe de problèmes ouverts, ce qui était globalement impossible avec l'informatique « classique », déterministe par construction. Mais le revers de la médaille peut parfois se révéler troublant. Dès qu'on lui confie une tâche déterministe, un calcul, une date, un fait précis, le peintre se met à inventer là où il faudrait recopier. Et il produit les fameuses hallucinations^[11] qu'on associe à l'IA.

La bonne nouvelle, c'est que ces limites se diagnostiquent. Et qu'une fois le symptôme et sa cause identifiés, on se retrouve généralement en mesure de les atténuer ou même de les contourner. On peut ranger les parades en deux grandes familles.

• La première consiste à fournir des outils au modèle (des fonctionnalités externes qu'il peut actionner pour faire ce dont il est, seul, incapable) et à lui apprendre à s'en servir.
• La seconde consiste à « éduquer » le modèle, à lui fournir des schémas de pensée, des cadres logiques, une forme de raisonnement par étapes.

Ce chapitre traite de cette première famille, celle des outils. C'est elle qui répond à quatre des limites les plus visibles : vérifier un fait, calculer juste, connaître le monde, agir sur le monde. Une petite nuance est nécessaire cependant : l'outil réduit le risque sans l'annuler. Encore faut-il que l'usage en soit correct et les résultats correctement interprétés. L'autre famille, apprendre au modèle à « raisonner », fera l'objet du suivant.

Une précision au passage : ces techniques sont aujourd'hui souvent associées aux « agents » IA. C'est un sujet dense, qui mérite sa propre édition ; retenons seulement que ces utilisations d'outils lui préexistent et fonctionnent même sans lui.

Vérifier un fait

Une pizza dont le fromage ne coule plus grâce à de la colle, un assistant virtuel de la société de livraison DPD qui se met à écrire un poème pour insulter sa propre entreprise, une recette pour une omelette aux œufs de vache : voilà quelques hallucinations célèbres qui ont terni la réputation des LLM.

Pourquoi un modèle invente-t-il ainsi ? Eh bien, simplement, car sa mission première, sa raison d'être, est de répondre, de fournir un texte structuré quoi qu'on lui demande. Une question, une affirmation, ou même rien du tout : il « fera la conversation » dans tous les cas, en remplissant les blancs. Ces modèles sont donc orientés vers la satisfaction de l'utilisateur (avec des garde-fous plus ou moins solides). Et quand le modèle ne possède pas, ou ne retrouve pas la réponse à une question, cette orientation se retourne contre nous : plutôt que de générer un texte affirmant son ignorance, il construit une explication plausible, rhétoriquement convaincante, mais potentiellement fausse, voire loufoque.

Ce n'est d'ailleurs pas la seule cause. On peut aussi citer l'absence de représentation du réel, le fait qu'il ignore ce qu'il ne sait pas (on y reviendra), ou encore les erreurs qu'il a pu « apprendre » dans des données d'entraînement elles-mêmes erronées, et qu'il restitue docilement.

Comment réduire la casse ? Parfois, une simple consigne suffit : glissez dans votre demande quelque chose comme « si tu ne connais pas ou ne trouves pas la réponse, n'invente rien, dis-moi simplement que tu ne sais pas », et vous éviterez une bonne part des dérives. Mais ce premier garde-fou ne couvre pas tout. Il faut aussi des données d'entraînement de qualité pour limiter le mal à la racine, exiger des sources traçables, faire valider une réponse par un autre modèle (la technique du LLM-as-a-judge^[12], le modèle-juge, sur laquelle on reviendra à propos du raisonnement) et, surtout, donner au modèle des outils pour qu'il aille vérifier ses lacunes dans le monde extérieur, ce qui nous mène droit aux limites suivantes.

Calculer juste

Un autre grand classique du raté consiste à reprendre l'exemple des bonbons : « Kylian a 18 bonbons. Il en garde 6 pour lui, puis partage le reste équitablement entre Jeanne, Youssef et Kevin. Combien chacun en reçoit-il ? » Un enfant de primaire résout ça sans verser une goutte de sueur. Un LLM, lui, peut se tromper. Dans les premiers temps, en 2023, ces erreurs étaient fréquentes : une fois sur deux, sinon plus. Voilà qui paraît incompréhensible pour une technologie censée révolutionner l'intelligence.

Sauf que comme l'on sait désormais comment elle fonctionne, le mystère se dissipe. Trouver le prochain token relève bien plus de la rhétorique que du calcul algébrique. Le modèle classique n'a pas été entraîné à résoudre des opérations, mais à produire du langage vraisemblable. Il vous écrit une phrase qui ressemble à s'y méprendre à un raisonnement mathématique, sans jamais avoir posé l'opération. Sa nature est d'être un orateur, pas une calculatrice. Or, un orateur improvise une phrase comme un peintre trace un trait…

La parade, ici encore, c'est l'outil. On peut donner au modèle une machine virtuelle^[13] dans laquelle il va écrire et exécuter du vrai code informatique. Le calcul redevient alors déterministe, exact, comme sur n'importe quel ordinateur. La tâche du modèle se réduit à choisir le bon algorithme et à écrire le code qui va bien, ce qu'il sait très bien faire : il a été entraîné sur d'immenses quantités de code et sait assembler les briques apprises pour résoudre le problème posé.

Connaître le monde

« Quel jour sommes-nous ? », « Quelle météo aujourd'hui ? », « Quels sont les résultats du dernier tirage du loto ? » Ces questions, dont les réponses devraient être triviales, peuvent mettre en échec un LLM, même récent. Il vous répondra peut-être avec des semaines, des mois, parfois une année de retard, ou inventera carrément. Plus généralement, toute information d'actualité, tout ce qui bouge dans un monde changeant, lui pose un problème de fond.

La raison tient à la façon dont on fabrique ces modèles. L'entraînement engloutit des quantités gigantesques de données, réclame une puissance de calcul colossale, et dure des mois. Une fois le modèle abouti, il faut encore l'affiner et le tester avant de le livrer, ce qui ajoute des semaines. Conséquence : tout ce qu'un LLM sait restituer seul s'arrête à la date de fin de son entraînement. Cette date porte un nom, le knowledge cutoff^[15] (qu'on pourrait traduire par fin d'acquisition des connaissances). Si son entraînement s'est achevé le 12 février 2026 à 10 h 34, tout ce qui est advenu après cette minute-là lui est radicalement étranger, et le restera tant qu'un mécanisme externe ne viendra pas l'informer.

Ce mécanisme externe, vous l'avez deviné, c'est encore l'outil. On donne au modèle de quoi aller chercher l'information là où elle vit. Le plus évident est un service de recherche sur Internet (souvent appelé WebSearch) : le modèle peut alors décider, comme nous le ferions, de lancer une requête sur le web pour se renseigner (encore faut-il que la source soit fiable). Une autre approche très répandue est le RAG^[16], pour Retrieval Augmented Generation (génération augmentée par récupération), qui permet de rendre accessibles au modèle des données externes souvent privées ou locales, invisibles sur le web. Le principe est toujours le même, brancher le modèle sur des services qui décrivent le monde, mais les formes sont nombreuses : bases de données, accès au système de fichiers, recherches par graphes, et ainsi de suite.

Agir sur le monde

« Envoie un e-mail à Lucie. », « Combien de mes messages non lus sont importants ? », « Réserve-moi deux places pour l'opéra de ce soir. » Ces demandes n'obtiendront pas de réponse valable d'un LLM, livré à lui-même, sans aide extérieure. Pire, elles sont d'excellentes pourvoyeuses d'hallucinations, du genre « Voici le contenu de l'e-mail que j'envoie à Lucie : … », alors qu'aucun e-mail ne partira jamais.

Là encore, ça heurte l'intuition, vu les montagnes de milliards de dollars et de ressources qu'on déverse dans cette technologie. Mais rappelons-nous sans cesse la nature de la bête : un LLM est redoutable pour tisser des liens entre les tokens vus à l'entraînement et générer une réponse purement rhétorique. Sur ce seul principe, toute action concrète, envoyer un e-mail, réserver un billet, lui est à nouveau impossible par nature. Ses connaissances « tokenisées » ne lui permettent que de retrouver et de réorganiser des mots pour produire du texte. Le fond, lui, ne bouge pas.

La parade, sans surprise, ce sont encore les outils, sur le même principe que pour connaître le monde. Avec une différence de taille, cependant : entre lire le monde et agir sur lui, il y a un fossé. Cette fois, l'outil a un impact réel. L'état du monde n'est plus le même avant et après l'appel, il a été changé. Et comme on change de registre, les besoins deviennent plus spécifiques, et la confiance accordée doit grimper d'un cran. Pour qu'un LLM me réserve des places de théâtre, je dois lui confier un outil doté de droits avancés (et révocables) sur mes moyens de paiement, ce qui exige une confiance élevée et, idéalement, ma validation avant chaque action. Cette question précise, celle des modèles qu'on autorise à agir, est tout le sujet d'une prochaine édition, consacrée aux agents IA.

Voilà donc quatre limites, et un même fil rouge : un prédicteur de mots ne sait ni vérifier, ni calculer, ni s'informer, ni agir par lui-même, mais on sait l'outiller pour chacune. C'est toute la première famille de contournement, celle de l'outillage.

Reste la seconde famille, et elle est d'une autre nature. Car certaines limites ne se règlent pas entièrement en branchant un outil sur le modèle, mais, surtout, en changeant sa manière même de procéder. Demandez si vous devez aller à pied au lavage automatique de voiture, car il se trouve à 50 m (en vous privant du véhicule à laver), ou démêler une petite énigme logique à plusieurs contraintes, et le modèle trébuchera non par ignorance, mais par précipitation, parce qu'il répond d'un trait là où il faudrait avancer pas à pas (sauf pour aller laver la voiture, bien sûr). Restent ces limites qui demandent, non pas un outil, mais une forme de raisonnement : décomposer un problème en étapes, et apprendre au modèle à se relire.

IA pas de raison… : les limites qui demandent de raisonner

Demandez à un grand modèle de langage « qui a écrit L'Albatros ? », et il vous répond « Charles Baudelaire » (avec d'autres détails) sans même reprendre son souffle. Demandez-lui combien il y a de « e » dans le mot « anticonstitutionnellement », et il y a de bonnes chances qu'il vous réponde n'importe quoi. La première question correspond à un automatisme, un réflexe ; la seconde à un raisonnement. Et c'est précisément là, sur cette dernière marche en apparence anodine, que trébuche la technologie nue.

Ce faux pas appartient à la seconde famille de contournement des limites de ces modèles. La nouvelle ramification de solutions est d'une autre nature. Cette fois, il ne s'agit pas de tendre un instrument, mais d'établir des règles logiques pour dépasser l'émergence de problèmes liés à un fonctionnement rigide et limité. Ces limites ne reflètent pas directement un manque du modèle, mais sont matérialisées par sa manière même de procéder.

Penser, c'est avancer pas à pas

Reprenons nos deux questions. Retrouver l'auteur de L'Albatros est trivial pour un LLM : il lui suffit de regarder à quoi sont associés les tokens du mot « Albatros », d'y croiser le voisinage « poète », « poésie », « auteur », et la réponse « Baudelaire » remonte presque instantanément. Une seule passe, un seul jet, et c'est plié.

Compter les « e » d'« anticonstitutionnellement », en revanche, n'est pas du même ordre. Un humain compte les lettres une à une et arrive à 3 sans effort. Un LLM, lui, peut vous sortir 7, ou n'importe quoi d'autre. La raison généralement avancée est que le modèle ne manipule pas des lettres, il manipule des tokens, ces fragments de mots qui sont sa seule ressource échangeable. Lui demander de compter des lettres, c'est lui demander de raisonner sur une matière qu'il ne voit même pas directement. Il lui faut, a minima, une étape de plus pour décomposer ce qu'il a sous les yeux.

Prenons un autre exemple, dans un registre qui élève la complexité de la tâche : « Hugo, Louis et Jeanne habitent, chacun, une ville différente parmi Rouen, Bordeaux et Lille. Hugo ne vit pas à Lyon et n'a jamais mis les pieds à Bordeaux. Louis ne vit ni à Rouen ni à Bordeaux. Où habite Jeanne ? ». Pour répondre, il faut tenir plusieurs contraintes en mémoire simultanément et les croiser, éliminer méthodiquement les impossibilités jusqu'à ce qu'il ne reste qu'une case. Si la réponse ne figure pas telle quelle dans ses données d'entraînement, le modèle ne fera pas ce travail spontanément. Il répondra d'un trait, comme toujours, là où il faudrait avancer prudemment, marche après marche.

Le point commun de ces deux ratés ? Ce sont des questions dont la réponse n'est pas directe, mais se construit par découpage et par étapes. Or notre prédicteur de mots, livré à lui-même, ne connaît qu'un seul mode de réponse : le jet continu, le mot le plus probable après le précédent, sans jamais s'arrêter pour poser un calcul intermédiaire. Sa pente naturelle est de répondre d'un seul trait, car il s'agit du motif dominant de son architecture.

La solution, dès lors, tient en une phrase : il faut découper la problématique complexe en étapes simples, des étapes que le modèle, saura résoudre une à une. Et la première manière de l'y inciter est tout bonnement de le lui dire. On peut lui glisser dans la consigne quelque chose comme : « décompose toujours le problème en étapes simples que tu peux résoudre une par une, et tiens compte du résultat de chaque étape pour bâtir la solution finale. » Cet art de formuler les instructions porte un nom de métier, l'ingénierie instructionnelle^[17] (prompt-engineering). Une simple consigne, et le peintre cesse de tout barbouiller d'un coup pour esquisser d'abord, puis préciser.

Ce procédé qui consiste à donner au modèle des instructions qui le forcent à dérouler son raisonnement étape par étape, est tellement utile qu'il a fini par être théorisé et baptisé : la chaîne de pensée^[18] (Chain of Thought, ou CoT). Cette dénomination est née lors de la publication d'un article de chercheurs de Google en 2022 (Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, Wei et al., NeurIPS 2022).

Cette simple consigne aux effets puissants est tellement efficace, qu'elle est depuis devenue un ingrédient du modèle lui-même. Les données d'entraînement des modèles relativement récents, incluent désormais des séquences permettant de détecter et découper en sous-tâches des processus complexes. Les modèles entraînés ainsi sont qualifiés de pensants^[19] (thinking, ou extended thinking pour « réflexion étendue »). Des pionniers notables furent par exemple les modèles o1 d'OpenAI ou R1 du chinois DeepSeek. Ces modèles ont ainsi « appris » à ne plus se jeter sur une réponse, mais à évaluer sa complexité pour, si besoin, d'abord dérouler (généralement en coulisses) une suite d'étapes intermédiaires avant de vous livrer leur conclusion.

Notons au passage qu'un outil peut rester utile ici aussi. Pour compter des lettres, une seule ligne de code peut faire l'affaire, mieux et plus sûrement que n'importe quelle gymnastique de raisonnement. Les deux familles de contournement ne s'excluent pas ; elles se complètent souvent.

Se relire, pour qui ne sait pas qu'il se trompe

Reste une dernière limite, et c'est peut-être la plus déroutante. On a vu, à propos de la vérification des faits, qu'un LLM hallucine : il affirme avec aplomb, sur un ton documenté et convaincant, des choses parfaitement fausses. On avait alors expliqué pourquoi il restait aveugle au moment de produire sa réponse. Il faut maintenant comprendre pourquoi il ne s'en rend pas davantage compte ensuite, une fois la bourde commise.

Pour saisir ce qui suit, il faut d'abord ranger nos réflexes anthropomorphiques au placard. Face à un interlocuteur humain, le harceler de « en es-tu bien sûr ? » ou exiger qu'il reprenne tout son raisonnement serait au mieux pénible, au pire vexant. Face à un modèle, c'est au contraire parfaitement légitime, et souvent payant. Une forme de conversation impossible avec un humain devient ici tout à fait normale : sans même parler d'hallucinations, on obtient fréquemment une meilleure réponse en demandant simplement au modèle de reconsidérer la sienne, de « repenser » le problème lors d'une seconde passe. L'anecdote précédente des « e » mal comptés par Claude illustre exactement cela : le modèle s'était trompé, puis s'était corrigé de lui-même, justement parce que c'est un modèle « pensant » et qu'il avait pu revenir sur son propre travail.

Mais d'où vient ce besoin d'une seconde passe ? Pourquoi le modèle ne voit-il pas son erreur du premier coup ? La cause profonde porte un nom : l'absence de méta-cognition (metacognition), cette capacité à penser sur sa propre pensée, à évaluer ce qu'on sait et ce qu'on ignore. C'est une faculté qui, malheureusement, est absente également chez pas mal d'humains… Privé d'elle, le modèle est incapable de juger lui-même la justesse de ce qu'il vient de produire.

Et, à nouveau, tout remonte à la mécanique de base, celle que l'on traîne depuis le début de cette édition : le modèle calcule le token suivant, puis le suivant, et ne revient jamais en arrière de lui-même. Or la méta-cognition exige précisément l'inverse : faire une pause sur le travail accompli, le soumettre à l'auto-critique, le confronter à la vérification. Il s'agit précisément de ce que la marche en avant continue du prédicteur lui interdit structurellement. La confiance affichée par le modèle, ces probabilités mathématiques élevées avec lesquelles il enchaîne ses mots, n'a rien à voir avec l'exactitude de ce qu'il raconte. En voici une nouvelle illustration. Un modèle peut se tromper avec une parfaite assurance, parce que l'assurance et la justesse, chez lui, ne sont tout simplement pas reliées.

Là encore, on a isolé des techniques pour contourner l'obstacle. Les principales :

• La self-reflection^[20] (l'introspection) : on demande au modèle de faire sa propre autocritique, dans une boucle générer, puis critiquer ce qu'il a généré, puis re-générer une meilleure version.
• La self-consistency^[21] (la cohérence par recoupement) et le LLM-as-a-judge (le modèle-juge, qu'on a déjà croisé à propos des hallucinations) : on demande au modèle de produire plusieurs réponses, puis de les évaluer pour choisir la meilleure.

Nous tenons donc là le fin mot de notre anecdote : si Claude Opus a su rattraper son comptage des « e », c'est parce que ce genre de recettes a été incorporé en lui, sous forme de réglages fins greffés après l'entraînement proprement dit. Les modèles d'aujourd'hui sont ainsi personnalisés par leurs fabricants, dotés d'instructions internes qui régissent la façon dont ils se comportent et formulent leurs réponses. Une forme d'ingénierie de la « réflexion », obtenue en appliquant à une intelligence synthétique des modèles mentaux empruntés aux humains.

Une précision est nécessaire pour être tout à fait clair : on a affirmé, en soulevant le capot du LLM, qu'un tel modèle « ne raisonne pas ». Cela reste vrai. Ce raisonnement par étapes, cette relecture critique, cette prudence retrouvée, rien de tout cela n'est une faculté native du modèle. Ce sont des couches d'ingénierie ajoutées par-dessus : des consignes, du conditionnement, des réglages fins qui émulent des recettes cognitives humaines. Le modèle ne s'est pas mis à penser ; on lui a appris à se comporter comme s'il pensait. La nuance est tout sauf cosmétique car cela tient uniquement du contournement au lieu de l'éveil d'une pensée spontanée.

Deux familles, un même verdict

Voici donc refermée la seconde famille de contournements. D'un côté, les outils, qui donnent au modèle ce qui lui manque pour vérifier, calculer, s'informer et agir. De l'autre, ces couches de raisonnement, qui lui apprennent à décomposer un problème et à se relire. Deux familles bien distinctes, mais qui racontent au fond la même histoire : un prédicteur de mots, brillant mais borné, qu'on épaule pour qu'il puisse évoluer sur des terrains qui ne sont pas les siens.

Et c'est là le verdict de ces deux familles de contournement. Tout ce qui ressemble, chez un LLM, à de la connaissance du réel, à du calcul exact ou à de la réflexion, n'est pas dans le moteur : c'est greffé autour. Le moteur, lui, ne fait toujours qu'une chose, dérouler le mot le plus probable.

Reste à refermer la boucle : rassembler tout ce qu'on a démonté, pièce par pièce, pour finalement tenter de répondre à cette question qui nous guide depuis le début : l'IA, au juste, c'est quoi ? Et tracer le pont vers la suite de l'aventure, ces fameux agents qu'on autorise à agir, et qui mériteront bien, eux, leur propre édition.

Verbum ex machina : pas de magie, une mécanique

Nous voici au terme de cette édition « IA : un truc ? », à travers laquelle j'ai voulu apporter mon éclairage, en le rendant accessible à un public varié, sur la mécanique cachée derrière un grand modèle de langage comme ChatGPT ou Gemini.

Dans cette introduction aux principes et mécanismes qui permettent de converser avec une intelligence artificielle, nous avons pu retracer les origines de la technologie jusqu'au fameux saut qualitatif de la découverte du mécanisme d'auto-attention qui a permis une utilisation généralisée de ces assistants conversationnels. Nous avons ensuite démonté la mécanique qui, à chaque instant, ne fait qu'une chose, proposer le mot le plus probable pour continuer la réponse en cours. C'est tout. Pas d'âme en silicium, pas de génie sorti d'un processeur graphique, pas de conscience qui couverait derrière l'écran. Simplement un moteur statistique avec ses propres failles naturelles. Et également le génie humain et sa soif de découvertes qui permettent de les contourner une par une et de faire évoluer un simple modèle mathématique vers une technologie au potentiel encore inconnu.

Si cette première réponse déçoit par sa sobriété, en comparaison avec le tapage qui entoure le sujet, c'est que le but est en partie atteint… car tout ce bruit, précisément, l'objectif était de le faire baisser.

Le capot refermé

Pour bien ancrer les apprentissages, commençons par nous rappeler comment nous en sommes arrivés là…

Reparcourons ainsi mentalement, d'un trait, ce chemin, comme on embrasse d'un regard une route dont on apprend à connaître chaque virage. Nous avons d'abord averti qu'il était nécessaire d'écarter le brouhaha pour aller chercher le signal, puis remonté le temps, et découvert que cette technologie dont on peut facilement imaginer qu'elle est née hier a en réalité soixante-dix ans d'histoire, faite de promesses, de déceptions, de quasi-abandons et de renaissances.

Le passé éclairant le futur, nous avons pu soulever le capot du mot, spectaculaire, d'« intelligence », pour trouver dessous non pas une pensée, mais un prédicteur sémantique entraîné une fois pour toutes sur de gigantesques réservoirs d'informations textuelles.

Nous avons ensuite passé en revue les limites que cette nature lui impose, celles qui tiennent à son absence de raisonnement et celles qui tiennent à ses connaissances figées dans un monde qui, lui, ne cesse de bouger. Cela nous a permis de comprendre que le modèle qui invente une réponse plausible, se trompe dans un calcul d'écolier ou ignore la date du jour, ne ment pas et ne bogue pas : il fait exactement ce pour quoi il est conçu, avec ses failles et sur un terrain qui n'est pas le sien.

Et nous avons ensuite levé le voile sur les deux manières de contourner ces limites : d'une part les outils qui lui tendent de quoi vérifier, calculer, s'informer et agir et d'autre part le raisonnement greffé, qui lui apprend à décomposer un problème et à se relire.

C'est ici, au terme du parcours, que la métaphore de la route peut être refermée. Quelle que soit la conversation engagée avec un modèle de type GPT, le prochain tour de roue ne fera jamais que prolonger le trajet d'un mot de plus. Tout le reste, l'attention qui pondère le contexte, l'affinage qui polit l'assistant, l'outillage, l'auto-critique, n'est que l'ingénierie déployée autour du moteur pour que le véhicule roule droit. Mais le moteur et l'énergie qu'il convertit pour fonctionner, eux, ne changent ni dans leur nature, ni dans leur principe directeur.

Ce que je vous dois encore

Une conclusion honnête se doit également de préciser ce qu'elle a volontairement laissé dans l'ombre. Deux omissions assumées sont donc à expliquer, avant de refermer le capot pour de bon.

La première tient au périmètre. Tout au long de cette édition, j'ai parlé de « l'IA », plus précisément de « modèles d'IA », comme si ces mots ne recouvraient qu'une seule chose. C'est une commodité de langage, et il faut désormais la lever : ce que nous avons démonté, ce sont les grands modèles de langage, ces assistants conversationnels qui monopolisent aujourd'hui l'attention au point de souvent confisquer, à eux seuls, l'expression « intelligence artificielle ». Or le territoire est autrement plus vaste. Les modèles, petits et grands, qui voient et décrivent une image, ceux qui génèrent des paroles, de la musique ou des vidéos, les systèmes spécialisés qui replient des protéines ou pilotent une voiture, tout cela relève aussi de l'IA, mais avec, sous le capot, des pièces souvent différentes de celles du moteur d'un prédicteur de mots. C'était un choix, assumé : commencer par ce que tout le monde manipule déjà, avant d'explorer le reste. Les différents types de modèles auront également leur propre édition.

La seconde omission est plus subtile, mais reste très importante. J'ai décrit le modèle « nu », le moteur de base, celui qu'il était à la fois le plus abordable et le plus nécessaire de comprendre pour saisir tout le reste. Mais soyons clairs : les modèles qui équipent les applications de discussion d'aujourd'hui n'ont plus grand-chose à voir avec ceux d'il y a seulement deux ou trois ans. Les deux familles de contournement que nous avons détaillées, les outils et le raisonnement, je vous les ai présentées comme des greffes que l'on ajoute. Or, dans la plupart des produits grand public aujourd'hui, ce ne sont plus des options que l'on branche : elles y sont souvent intégrées par défaut.

Ainsi, l'outillage s'est glissé dans les applications dès 2023, quand les modèles ont appris à appeler des fonctions externes (function-calling) en juin, à exécuter du code pour calculer juste dès juillet (avec le Code Interpreter d'OpenAI), puis à fouiller le web pour ne plus rester prisonniers de leur date d'entraînement.

Le raisonnement, lui, a basculé un peu plus tard : le 12 septembre 2024, OpenAI dévoilait o1, le premier modèle grand public qui « réfléchit » avant de répondre. En 2025, le mouvement s'est généralisé, la réflexion étendue de Claude (extended thinking) en février, le mode « Thinking » de Gemini au printemps, jusqu'à GPT-5, le 7 août 2025, qui a fait du raisonnement un réflexe actif par défaut pour tout le monde, y compris dans ses versions gratuites.

Est-ce à dire que cette édition arrive avec deux ans de retard, à décrire un moteur que plus personne n'utilise à nu ? Au contraire. Car ce qui s'est industrialisé, ce sont les greffes, pas le moteur. Celui-ci n'a pas changé de nature : il déroule toujours, dessous, le même calcul. Comprendre le moteur nu reste donc la principale clé de lecture pour ces modèles désormais habillés de pied en cap. Comme il est préférable de connaître le fonctionnement d'un moteur pour mieux comprendre ce que lui ajoutent l'injection électronique et le régulateur de vitesse…

Cela répond, au passage, à une question que beaucoup doivent légitimement se poser : ces parades sont-elles déjà à l'œuvre dans les outils que j'utilise ? Oui, très largement, et depuis 2024 ou 2025 selon les cas. Ce qui ne vous dispense en rien de vérifier ce que la machine avance, car aucune de ces greffes ne transforme véritablement l'aplomb en exactitude.

Comprendre cela n'est pas un raffinement d'amateur éclairé, mais une condition pour ne pas subir. Non pas LA condition, il en faudra d'autres, du cadre collectif à la régulation, mais un principe de précaution qui reste important et personnel. C'est celui qui sépare l'action de décider sur la foi d'une réponse inventée de celle de savoir qu'il faut d'abord la vérifier, celui qui permet de ne pas prendre toutes les déclarations du modèle pour de l'exactitude, car pour un LLM et à l'instar de beaucoup d'humains, affirmer et savoir ne sont pas forcément reliés. On cesse alors d'être le spectateur d'un tour de passe-passe en forme de Deus ex machina, ce mythe bruyant par lequel s'ouvrait cette édition, pour en redevenir l'utilisateur et/ou le critique lucide.

Le prochain capot à soulever

Reste une question que j'ai soigneusement gardée pour la fin, par souci de progressivité. Que se passe-t-il lorsqu'on cesse de demander à un modèle une simple réponse, pour le laisser enchaîner lui-même les étapes, chercher une information, remplir un formulaire, réserver un billet, rédiger puis envoyer un message, pendant que vous vaquez à autre chose ? On passe alors d'une IA qui fait la conversation à une IA qui promet de faire le reste, et cette promesse porte un nom, devenu en deux ans l'un des plus galvaudés du secteur : l'agent IA (AI agent). C'est précisément parce que le mot est galvaudé qu'il faut le démonter, pièce par pièce, comme nous venons de le faire pour le moteur. C'est le métier de cette newsletter, et ce sera tout l'objet de la prochaine édition.

Cette première édition fut délibérément explicative, taillée pour un public très large et, surtout, pour fournir les bases nécessaires à une compréhension plus étendue. Les suivantes gagneront en profondeur, à commencer par celle qui vient, consacrée tout entière à ces agents. Mon intention, elle, ne bougera pas : donner à chacun de quoi comprendre, pour choisir en connaissance de cause plutôt que de subir et de croire sur parole.

Merci d'avoir suivi cette première édition jusqu'au bout. Au plaisir de vous retrouver dans la prochaine, celle des agents IA.