Les LLM sont-ils des perroquets stochastiques ?

[Recension initialement parue dans Le Figaro]

Si on nous avait dit il y a cinq ans que nous aurions à notre disposition, en 2025, des machines capables de soutenir des conversations de haut niveau sur à peu près tous les sujets (de la philosophie morale à la cancérologie en passant par la théologie médiévale), cela nous aurait paru relever de la science-fiction. Aujourd’hui, non seulement nous banalisons cette technologie, mais il est devenu de bon ton de la dévaluer, de jouer à celui à qui on ne la fait pas. Les grands modèles de langage (LLM, pour large language models — l’architecture qui sous-tend des chatbots comme ChatGPT), ne seraient, dit-on, que des simulacres d’intelligence, de simples « perroquets stochastiques » se contentant de régurgiter des fragments recombinés de leurs données d’entraînement. La rentrée d’automne nous a offert deux essais passionnants qui déconstruisent méthodiquement cette critique : Ultra-intelligence (Odile Jacob) d’Aymeric Roucher, jeune ingénieur et La Parole aux Machines (Grasset), de Thibault Giraud (alias Monsieur Phi), professeur de philosophie. Dans ces livres, aussi complémentaires que brillants, Roucher et Giraud démontrent que les lieux communs qui saturent le débat public trahissent souvent une mécompréhension, à la fois technique et philosophique, du fonctionnement réel de ces systèmes.

L’argument du perroquet stochastique est d’abord contredit empiriquement par les progrès spectaculaires des dix-huit derniers mois. Confrontés à des problèmes de raisonnement jamais rencontrés dans leur corpus d’entraînement, les LLM obtiennent désormais d’excellents résultats¹, démontrant leur capacité à généraliser, à mobiliser des outils logiques pour faire face à un problème nouveau, ce qui correspond précisément à une forme d’intelligence fluide. Comment expliquer cette capacité de généralisation ?

Dans l’un des chapitres les plus stimulants de son livre, Thibault Giraud revient sur les travaux d’Adam Karvonen, chercheur ayant entraîné un petit modèle de langage sur des comptes rendus textuels de parties d’échecs (du type « e4 c5 2. Nf3 d6 3. d4 cxd4… »). Le modèle ainsi obtenu (Chess GPT) jouait à un bon niveau (environ 1500 Elo), produisant remarquablement peu de coups illégaux, alors même qu’il n’avait jamais appris explicitement les règles du jeu ou la géométrie du plateau. Or chaque partie d’échec est unique au monde : le modèle ne pouvait régurgiter des variations de ses données d’entraînement, il devait avoir acquis une « compréhension » des échecs. Quelle forme prenait cette compréhension ? Karvonen a réussi à corréler chaque situation précise sur le plateau avec un état d’activation du réseau de neurones de Chess GPT. Autrement dit, pour apprendre à jouer, le modèle avait développé une représentation interne d’un échiquier, ou d’un espace de 64 cases sur lequel se déplacent des objets suivant un ensemble de règles - alors qu’aucune de ces structures n’apparaissait explicitement dans ses données d’entraînement. Chess GPT n’avait pas mémorisé ses données d’entraînement, il en avait extrait la métarègle qui avait permis de les générer (les règles et les stratégies des échecs, la géométrie du plateau).

Ce résultat n’a, au fond, rien de mystérieux. Lors de leur entraînement, les modèles de langage ingèrent des volumes de données textuelles colossaux, très supérieurs à ce qu’ils peuvent stocker. Ils sont donc contraints de compresser cette donnée – tout en optimisant leur capacité de restitution cette même donnée. Or la meilleure façon de restituer fidèlement une donnée sans la mémoriser terme à terme consiste à en comprendre la logique génératrice. Que fait un bon élève qui révise le baccalauréat de mathématiques ? Il n’apprend pas toutes les annales par cœur, il cherche plutôt à comprendre la logique sous-jacente à la résolution de chaque problème pour pouvoir, le jour J, répondre à problème inédit. De même, dans le cas de Chess GPT, la meilleure façon de pouvoir restituer des milliards de séquences du type « e4 c5 2. Nf3 d6 3. d4 cxd4… », c’est de modéliser le processus qui leur a donné naissance : un système de 32 entités interagissant selon des règles sur un espace de 64 cases². Aymeric Roucher évoque un commentaire de Saint-Exupéry sur Newton, qui, en découvrant la gravitation, a comprimé la complexité du monde en une règle : « La vérité, c’est le langage qui découvre l’universel. Newton n’a point découvert une loi dissimulée, il a effectué une opération créatrice. Il a fondé un langage qui put exprimer à la fois la chute d’une pomme dans un pré et l’ascension du soleil. La vérité, c’est ce qui simplifie. »

Si l’exemple de Chess GPT est éclairant, c’est parce qu’il illustre ce que font les LLM dans d’autres domaines. À partir de leur vaste corpus d’entraînement, ils se construisent des représentations abstraites des règles implicites qui structurent notre monde : règles de la physique, de la logique, des échecs, de la rhétorique… En schématisant évidemment : si le LLM est entrainé sur des récits d’homme chutant du 5ème étage, il en déduit la loi de la gravité (et devient capable d’appliquer cette loi à des cas inédits) ; s’il est entraîné sur des raisonnements mathématiques, il en extrait nos règles de logique (et devient capable de s’attaquer à des problèmes nouveaux, voire jamais résolus) ; s’il est entraîné sur des scénarios de long-métrages, il en déduit les grands principes dramatiques (et devient capable de produire des œuvres nouvelles). On observe d’ailleurs qu’entraîner un modèle sur du code informatique améliore ses capacités à raisonner en langage naturel. En apprenant à programmer, le modèle découvre une structure logique commune au langage et au code, qu’il peut ensuite exploiter transversalement³. Les heuristiques que le modèle accumule au cours de son entraînement constituent souvent la matière de notre propre raisonnement. Face à un problème nouveau, nous mobilisons un faisceau d’heuristiques que nous combinons pour atteindre la vérité. C’est pourquoi, à terme, lorsque les modèles seront entraînés sur des volumes de données suffisamment riches et variés (pouvant ainsi internaliser un immense répertoire d’heuristiques, enrichissant leur représentation interne de notre monde), rien ne s’oppose, en principe, à ce qu’ils égalent ou surpassent l’intelligence humaine dans tous les domaines (on parle d’AGI, l’Intelligence Générale Artificielle). L’AGI relèverait alors non d’un changement de paradigme mais d’une montée en échelle des modèles actuels : davantage de données, davantage de puissance de calcul.

Certains objectent qu’il est abusif de parler « d’intelligence » et de « raisonnement » pour des systèmes qui fonctionnent en prédisant le mot (et même le sous-mot) le plus probable au regard du contexte qui précède. Roucher et Giraud tordent le cou à cette idée. Prédire correctement le coup suivant d’un bon joueur d’échec implique de « comprendre » les échecs, souligne Giraud ; anticiper la résolution d’un roman policier exige d’avoir saisi la psychologie des personnages et les mécaniques de l’intrigue, note Roucher. Celui-ci rappelle d’ailleurs que dès 2017, des chercheurs d’Open AI ont découvert que la meilleure façon de créer un modèle performant en « analyse de sentiment » (capable de déterminer si un avis en ligne exprime une opinion positive ou négative) était d’entraîner le modèle à prédire le mot suivant dans des avis tronqués. La raison ? Pour réussir cette tâche, le modèle devait développer une compréhension de la psychologie des utilisateurs. La simplicité de l’objectif (prédire le prochain mot) n’empêche pas la complexité du moyen (une forme de compréhension, de raisonnement, ou d’intelligence). Adam Brown, chercheur chez DeepMind, compare ce mécanisme à l’évolution humaine. L’intelligence humaine elle-même est le produit d’un mécanisme aveugle, la sélection naturelle, guidée par une règle simple : maximiser le nombre de descendants viables. Cette règle n’a rien d’intelligente, mais pour la satisfaire, la sélection naturelle a produit des solutions sophistiquées, dont le cerveau humain. De la même manière, pour pouvoir prédire, mot par mot, la suite d’un texte, un modèle d’IA est contraint de développer des représentations internes complexes et d’apprendre à les exploiter de manière transversale - une forme d’intelligence.

D’aucuns rétorquent que l’IA ne sera jamais véritablement intelligente car elle est faite de couches de neurones artificiels échangeant des signaux numériques dans des puces de silicium. Mais le cerveau humain n’est-il pas, lui aussi, un assemblage de neurones communiquant par des signaux électrochimiques ? À l’échelle du neurone individuel, qu’il soit biologique ou artificiel, il n’y a pas d’intelligence, seulement un signal mécanique. L’intelligence est une propriété du système, pas de ses composants⁴. Thibaut Giraud consacre des pages incisives à ceux qui, explicitement ou non, postulent un « je ne sais quoi » censé séparer à jamais l’intelligence humaine de toute intelligence artificielle. Le grand avantage du « je-ne-sais-quoi », observe-t-il avec ironie, c’est qu’il dispense précisément de dire ce qu’il est.