On connait le lieu commun. “L’IA ne sera jamais véritablement créative car, entraînée sur le passé, elle ne fait que recracher des variations de sa donnée d’entraînement.” Il y a plusieurs problèmes avec cet argument.
Premièrement, l’être humain est lui aussi entraîné uniquement sur de la donnée passée, et pourtant, il est capable de créer des choses nouvelles. Beethoven n’avait été “entraîné” que sur des sonorités déjà existantes, cela ne l’a pas empêché de créer la 9ème. Peut-être que ce qui est possible pour l’humain ne le sera jamais pour la machine, mais il faut alors tenter d’expliquer pourquoi (sinon c’est une position de principe irréfutable). Quel “je ne sais quoi” distinguera pour toujours le réseau de neurones des IA de celui du cerveau humain ? En quoi cette différence rendra-t-elle impossible un “véritable” acte de création dans un cas, et pas dans l’autre ?
Deuxièmement, affirmer que les LLM ne peuvent que moyenner leur donnée d’entraînement, c’est méconnaître le phénomène du “grokking”. À un certain stade du processus d’entraînement, le réseau de neurones cesse de mémoriser les exemples et découvre les régularités qui structurent sa donnée d’entraînement. Par exemple, un réseau de neurones entraîné à effectuer des additions modulaires internalise dans ses poids des fonctions trigonométriques, car l’addition modulaire est au fond une opération de rotation sur un cercle. Il peut ensuite additionner des nombres plus longs que ceux sur lesquels il a été entraîné, ce qui serait impossible s’il se contentait de “moyenner” sa donnée d’entraînement. De même, entraîné sur la production musicale du passé, un réseau de neurone peut sans doute extraire certains principes premiers (présents implicitement dans la donnée) comme le cycle des quintes, les fonctions harmoniques, les principes de conduite des voix, la gravité tonale, les régularités rythmiques et formelles, etc. Ce sont ces principes qu’il peut ensuite exploiter pour créer ; ce sont ces mêmes principes que Beethoven exploitait pour créer. Autrement dit, au cours de son entraînement, l’IA acquiert des briques de logique, (à des niveaux d’abstraction de plus en plus élevés) qu’elle peut ré-utiliser de manière transversale pour créer des choses véritablement nouvelles, comme un humain (dont tout acte de création consiste à remonter à des principes premiers pour recombiner l’existant en une forme inédite et harmonieuse).
Troisièmement, un LLM est capable d’opérer des recombinaisons de savoir (source de création) qu’aucun cerveau humain ne pourrait produire. Pourquoi ? Parce que nous avons tellement élargi l’enveloppe du savoir que pour en atteindre la frontière, il faut consacrer une vie à un domaine. Les polymathes ne peuvent plus exister. Un LLM, lui, est un polymathe. Il a donc accès à des combinaisons de savoir inaccessibles aux humains. Comment le modèle d’Open AI a-t-il résolu le problème Erdos de la conjecture des unités alors que des humains avaient échoué pendant 60 ans ? « Une explication, écrit le mathématicien Daniel Litt, est que la solution exigeait des idées venues de domaines que les chercheurs travaillant sur ce problème ne connaissaient pas. »
Quatrièmement, les LLM ne sont pas qu’entraînés que sur la donnée du passé. L’apprentissage par renforcement (entre autres) permet de créer de la donnée nouvelle : on demande des milliers de fois au LLM de créer des choses nouvelles, et quand, par chance, il crée de choses belles, on le ré-entraine sur ce qu’il a produit. C’est une source (presque) infinie de donnée nouvelle (responsable d’une bonne partie des progrès des modèles depuis 12 mois), et qui ne semble pas heurter de mur.
Cinquièmement, nous savons mal comment fonctionne la créativité humaine. Et si elle n’était au fond que calcul ? Lorsque j’écris des satires pour Le Figaro, je laisse mon esprit vagabonder vers des associations incongrues, puis je soumets chaque résultat aux critères de ce qui fait rire. De même, en écrivant un roman, l’auteur envisage plusieurs options pour un personnage, et se demande, à chaque fois, si le choix est cohérent avec sa psychologie, s’il fait avancer l’intrigue dans une direction désirable, etc. Tout acte de création pourrait se résumer à ces deux tâches : générer, puis trier. L’IA pourra massivement paralléliser le processus de génération ; si elle peut ensuite juger chaque option avec discernement, elle sera plus créative que les humains. Les LLM sont encore mauvais en humour ; mon intuition est qu’ils deviendront bientôt excellents.
À ce sujet, il est intéressant de noter que nous, humains, n’explorons mentalement un chemin que si nous estimons élevée la probabilité de trouver, au bout, quelque chose qui en vaille la peine. Pour l’IA, le coût marginal d’exploration est minuscule. Elle peut donc suivre des sentiers qui promettent peu, et, dont certains déboucheront sur des trésors. La résolution du problème des distances unités d’Erdos, évoqué plus haut, en est l’illustration. Pendant des décennies, des mathématiciens avaient surtout cherché à prouver la conjecture, l’intégralité des experts ayant l’intuition qu’elle était vraie. Et pourtant, le modèle d’Open AI l’a réfutée, trouvant un contre-exemple (une forme géométrique complexe). Les mathématiciens humains auraient difficilement consenti à suivre le chemin tortueux menant vers cette solution, pour la simple raison que la probabilité qu’il débouche sur la solution était, de l’avis de tous, extrêmement faible ! L’IA, elle, ne paye pas le prix de l’exploration. Open AI relève que le modèle exhibait une « volonté d'essayer des approches jugées hasardeuses par la communauté ». Il y a sans doute une immense quantité de connaissances nouvelles à générer ainsi.
Enfin, il suffit désormais d’utiliser quelques minutes un LLM pour voir que les IA sont déjà capables de créer des choses nouvelles et impressionnantes. Ceux qui s’accrochent à la construction théorique selon laquelle une IA ne pourra jamais être “véritablement” créative me font penser à l’universitaire qui demande : “Ok, cela fonctionne en pratique, mais est-ce que cela fonctionne en théorie ?”
