Le monde rétréci du critique : sur quoi ChatGPT a vraiment appris à agir

Si on prend le mot au sens strict, ChatGPT n’est pas une innovation. L’architecture existait déjà : c’est un Transformer, et les Transformers ont plus de cinq ans. La procédure d’entraînement existait aussi, puisque PPO, la méthode d’apprentissage par renforcement utilisée à la fin, a été publiée par OpenAI en 2017. Par contre, et c’est là un gros par contre, c’est une révolution.

Ce qui laisse une question ouverte : pourquoi maintenant. Les mêmes mécanismes étaient disponibles il y a deux ou trois ans, et on n’obtenait pas ça. La réponse habituelle est qu’on est allé chercher une connaissance qui dormait déjà dans les paramètres, ce que Hinton appelait le dark knowledge quand il travaillait sur la distillation : de l’information réellement présente dans le modèle, mais à laquelle on n’avait pas accès. Je pense que c’est vrai, et je pense surtout que ça ne dit pas grand-chose tant qu’on n’a pas regardé par quel moyen on y a accédé.

Ce moyen tient en fait dans la troisième étape de l’entraînement. C’est celle dont on parle le moins, et c’est celle qui décide de tout.

Un corps, et un monde pour agir dessus

Il y a en intelligence artificielle un concept qui s’appelle l’embodiment, et qui dit que l’intelligence ne peut émerger qu’à partir du moment où on donne un corps à un agent. Un corps physique ou un corps virtuel, peu importe. Ce qui compte est ce que le corps implique : il est situé dans un environnement, il peut agir dessus, son action modifie cet environnement, et cette modification est une information exploitable pour décider de l’action suivante. On tourne en boucle, avec un objectif quelque part, ne serait-ce que survivre.

C’est le paradigme de l’apprentissage par renforcement, et il n’a rien de nouveau non plus.

Par contre, il faut faire une distinction à l’intérieur de ce paradigme, et c’est elle qui porte tout le reste de cet article. Il existe des agents qui apprennent simplement quelle action maximise la récompense. Et il existe des agents qui se construisent une modélisation du monde, et qui apprennent à prédire l’effet de leurs actions à l’intérieur de cette modélisation avant de les prendre.

La différence est facile à sentir. Si je ferme les yeux dans la pièce où je suis, je peux imaginer ce que produirait un geste sans avoir besoin de le faire. J’ai une pièce dans la tête. Un agent qui cherche seulement à maximiser une récompense n’a rien de tel : il a une politique, il n’a pas de pièce.

Et dans un sens, quand on a une vraie modélisation du monde, la récompense devient presque anecdotique. Une fois qu’on a compris comment ce monde fonctionne, y maximiser une récompense est le problème facile. C’est l’autre moitié qui est difficile.

Ce que le critique modélise vraiment

L’entraînement de ChatGPT tient en trois étapes.

La première est l’apprentissage auto-supervisé : on prend un très grand volume de texte et on demande au modèle de prédire la suite, ce qui lui apprend à produire du texte statistiquement plausible et rien d’autre. Ce qui explique du coup qu’il n’ait aucun mécanisme lui permettant de vérifier ce qu’il avance.

La deuxième produit un second modèle. Des annotateurs humains reçoivent plusieurs réponses à une même demande et les classent, de la meilleure à la moins bonne. On entraîne un modèle à prédire ce classement. C’est ce qu’on appelle le modèle de récompense, et en apprentissage par renforcement on donne généralement à ce genre de modèle le nom de critique.

La troisième reprend le premier modèle et en fait un agent. Son action est de générer du texte, son environnement est la conversation, et on l’optimise par renforcement pour qu’il produise des réponses que le critique note bien.

Et c’est là où je pense qu’on rate quelque chose. On décrit d’habitude ce critique comme un filtre, ou comme un garde-fou posé à la sortie. En réalité, du point de vue de l’agent, ce critique est son monde. C’est la seule chose sur laquelle il agit, la seule qui lui réponde, la seule dont il apprenne quoi que ce soit. La modélisation du monde dont je parlais plus haut, elle est là : pour ChatGPT, le monde, c’est le critique.

Sauf que ce monde-là est minuscule. Il ne modélise pas ce qui se passe entre deux personnes qui se parlent. Il modélise un ordre de préférence sur des réponses possibles, tel qu’un groupe d’annotateurs l’a exprimé à un moment donné. C’est une tranche extraordinairement fine de la réalité, et c’est pourtant la totalité de ce que l’agent a le droit d’en connaître.

Cette modélisation est donc forcément sous-optimale. Elle a été construite autour de la récompense au lieu d’être construite autour de l’interaction, et ce sont deux objets différents.

Le prix de ce rétrécissement

Ce rétrécissement se paie quand même, et à trois endroits.

Le premier est politique, et il est assez évident une fois qu’on l’a formulé. Ce sont des institutions privées qui sont en train de choisir pour nous ce qui est correct de dire, comment une conversation doit se dérouler, quels sujets méritent d’être évités. Elles le font pour un système qui sera potentiellement utilisé par des millions de personnes dans des milliers de secteurs, et elles le font sans que personne le leur ait demandé.

Le deuxième est humain. Il faut énormément de gens pour produire ces jugements, et on ne parlait pas beaucoup de ces gens jusqu’à cette semaine. TIME a publié il y a cinq jours une enquête sur les annotateurs qui ont travaillé pour OpenAI, recrutés par une société de sous-traitance au Kenya, une trentaine de personnes payées entre 1,32 et 2 dollars de l’heure pour étiqueter des textes décrivant ce que l’internet a de pire. Ce chantier-là servait à entraîner un détecteur de contenus toxiques plus qu’un modèle de récompense, ce sont deux annotations distinctes, mais le principe est le même dans les deux cas : le convenable qu’on installe dans la machine a été écrit à la main.

Le troisième est une limite de méthode, et c’est celui qui m’intéresse le plus. Un agent dont le monde est un modèle de préférence peut devenir extrêmement bon à satisfaire une préférence. Ça ne le rend meilleur en rien d’autre. Le champ de ses réponses possibles est borné par ce que le critique savait noter, et il n’y a aucun mécanisme, dans ce dispositif, qui permette de sortir de cette borne.

Décentraliser la récompense

On pourrait imaginer autre chose, et je trouve l’exercice utile même s’il reste hypothétique.

On pourrait imaginer que la récompense ne vienne pas d’un groupe d’annotateurs recrutés par une entreprise, mais des gens qui utilisent réellement le système. Chacun dirait ce qui lui semble bon ou mauvais à dire, et le signal remonterait de là, de façon distribuée.

Ce qui donnerait potentiellement autre chose qu’un assistant unique. Un agent déployé dans une communauté de joueurs et un agent déployé dans un milieu scientifique ne convergeraient pas au même endroit : ils modéliseraient des interlocuteurs différents, donc des mondes différents, et ils finiraient avec des comportements assez éloignés. Une même souche au départ, des agents distincts à l’arrivée.

Le précédent existe, d’ailleurs. Quand DeepMind a entraîné AlphaStar à jouer à StarCraft, ce qu’ils ont entraîné était une ligue plutôt qu’un agent : plusieurs familles d’agents, dont certaines n’avaient pas pour objectif de gagner mais d’exposer les faiblesses des autres. La diversité y était construite exprès, parce qu’un agent seul qui optimise un seul objectif finit par s’effondrer sur une seule stratégie.

Je ne dis pas qu’OpenAI aurait dû faire ça. Contraindre le système autour d’une récompense unique était probablement nécessaire pour qu’il agisse dans une direction cohérente, et c’était un choix défendable. Ce que je dis, en tout cas, c’est que ce choix est un choix d’architecture et pas une fatalité, et qu’il a un coût que personne ne mesure aujourd’hui.

Reste une question à laquelle je n’ai pas de réponse, et je ne suis pas certain qu’elle en ait une en l’état. Si le critique est le monde de l’agent, alors élargir l’intelligence de cet agent revient à élargir son monde, et je ne vois pas bien à quoi ressemblerait un véritable environnement pour un modèle de langage. Une conversation avec des humains, potentiellement, à condition de la traiter comme un environnement à modéliser et non comme un examen à réussir. Ce serait au moins une pièce, au lieu d’un juge.