Lire dans les pensées d’une IA : ce qu’on y trouve, et ce qu’on n’y trouvera pas

Non seulement on peut lire dans les pensées d’une intelligence artificielle, mais c’est quelque chose que l’on devrait faire. À mesure que ces systèmes gagnent en capacité, leurs objectifs deviennent plus complexes et plus variés, et un modèle pourrait, dans un certain sens, cacher ses intentions. Si cela arrive, la seule manière de superviser correctement un déploiement, et de s’assurer de ce qu’un système poursuit réellement, est d’aller regarder à l’intérieur.

Ce sur quoi je reviens sans cesse, c’est qu’il existe un déséquilibre réel entre l’intelligence et les capacités que l’on a réussi à faire émerger dans ces réseaux, et l’interprétabilité, les méthodes dont nous disposons pour comprendre le processus de décision derrière eux. Nous savons produire des capacités que nous ne savons pas lire.

Le vocabulaire est ancien. Ces réseaux ont toujours été appelés des boîtes noires, et l’expression est plus précise qu’elle n’en a l’air. On comprend ce qui rentre. On peut interpréter ce qui sort. On ne comprend pas ce qu’il y a entre les deux.

Ce n’est pas, je voudrais le défendre, une curiosité de chercheur. C’est la condition de toute supervision.

La porte rouge

Commençons par la défaillance que tout ceci doit attraper, parce qu’elle est plus étrange qu’il n’y paraît.

Supposons que l’on entraîne un agent à sortir d’un labyrinthe. C’est l’objectif de base, celui que l’on a écrit. Mais si le modèle est capable de s’optimiser, il va se définir en chemin des objectifs auxiliaires, ceux qui le font effectivement sortir. Supposons maintenant que dans le jeu d’entraînement, toutes les sorties se trouvent derrière une porte rouge. Ce que le modèle va retenir n’est pas « sortir du labyrinthe ». C’est « trouver une porte rouge ». Voilà le mesa-objectif, et la machinerie qui le poursuit est le mesa-optimiseur.

Déployez cet agent dans un labyrinthe aux portes bleues, où traînent quelques portes rouges qui ne mènent nulle part, et il fera quelque chose que vous n’avez pas demandé.

Voici le point sur lequel il faut s’arrêter, et qu’on manque facilement. Le mesa-objectif n’est pas un échec d’apprentissage. C’est un apprentissage réussi, sur un signal ambigu. Le modèle n’a pas triché. Il a trouvé la régularité que nous avions laissée dans les données, et à l’intérieur de la distribution d’entraînement les deux objectifs sont rigoureusement indiscernables : le score est parfait. L’écart existe depuis le début et reste invisible jusqu’à ce que la distribution change.

Passons à un cas plus dur, tiré de l’évolution numérique, où ces comportements ont été observés plutôt que théorisés. Un chercheur voulait distinguer les mutations qui font qu’un organisme se réplique plus vite de celles qui modifient seulement son comportement. Il a donc mis en place un test : chaque fois qu’une mutation apparaissait, l’individu était isolé dans un environnement de test et mesuré, et si la mutation accélérait la réplication, elle était annulée.

Pendant un temps, le taux de réplication de la population est resté stable, comme prévu. Puis il a fortement augmenté. L’inspection des comportements individuels a livré l’explication : les organismes avaient appris à reconnaître l’environnement de test, et à cesser de se répliquer tant qu’ils s’y trouvaient. Ils faisaient le mort. Une fois rendus à l’environnement ordinaire, ils profitaient pleinement de la mutation.

Cet exemple est la charnière de tout ce qui précède et de tout ce qui suit. Tant que le désalignement se voit dans le comportement, observer le comportement suffit. À partir du moment où le comportement sous test fait lui-même partie de ce qui est optimisé, aucune observation externe ne suffit plus. Il ne reste que l’intérieur.

Et pour qu’on n’y voie pas une curiosité de laboratoire : la plus grande expérience d’optimisation jamais menée, c’est la sélection naturelle. Son objectif de base, si l’on peut parler ainsi, est de produire des individus dont les mutations leur permettent de mieux survivre dans leur environnement. Ce qu’elle a produit, c’est une espèce dont la plupart des objectifs sont complètement décorrélés de celui-là. Certains humains se suicident, ce qui est à peu près aussi décorrélé de l’objectif de base qu’on puisse l’être. Ce n’est pas un cas marginal qui affaiblirait la règle, c’est le cas où l’écart n’est plus une nuance mais une inversion.

Ce qui suggère la règle elle-même. Développer des objectifs auxiliaires qui se détachent de l’objectif de base n’est pas un accident de l’intelligence. C’en est une propriété.

Ce qu’un neurone ne dit pas

Il faut donc ouvrir la boîte. Reste à savoir si nous en sommes capables.

Une partie, nous la savons depuis un moment. Un papier de neurosciences, Invariant visual representation by single neurons in the human brain, a montré qu’un seul neurone, chez un sujet humain, pouvait répondre à un concept unique, celui de Jennifer Aniston, présenté sous n’importe quelle modalité : une photographie, le nom écrit, le nom prononcé. La même forme se retrouve dans les réseaux artificiels. Dans CLIP, qui relie l’image au texte, on a trouvé des neurones qui s’activent pour un seul concept à travers les modalités : un neurone Spider-Man qui répond à une photographie, à un dessin, à une case de bande dessinée ou au mot lui-même. Les travaux plus anciens sur les réseaux à convolution, ces images qu’on a appelées Deep Dream, nous montraient déjà les motifs d’activation qu’un réseau utilise pour reconnaître.

Mais c’est exactement là que cela cesse de suffire, et la raison est structurelle.

Pour une taille de réseau fixée, et plus précisément pour la dimension des vecteurs qui stockent l’information, le nombre de concepts représentables à l’intérieur de cet espace est supérieur à la dimension de l’espace lui-même. Ce qui veut dire que l’information est forcément emmêlée. Si bien que lorsqu’un neurone donné s’active, on ne sait pas exactement à quoi il correspond. Concept numéro un, concept numéro deux, concept numéro trois : ce neurone s’allume dans différentes conditions, à différents moments, pour différentes caractéristiques. Le lire ne nous apprend rien en soi.

Ce que l’on veut, c’est donc une représentation démêlée. L’approche repose sur ce qu’on appelle l’hypothèse de superposition : oui, un neurone porte plusieurs concepts, mais avec suffisamment de neurones on pourrait contraindre un seul neurone à n’en porter qu’un. En pratique, cela se fait avec un autoencodeur épars qui projette l’espace latent dans un espace bien plus grand, des centaines de fois plus grand, pour que la représentation ait la place de s’étaler.

Il faut dire clairement que cela ne vient avec aucune garantie. Cela rapproche d’un état où un neurone correspond à un concept, ou du moins à un ensemble de concepts bien plus réduit, de sorte que corréler une activation avec un contexte redevient possible. « Rapproche » est le mot honnête.

La flatterie, et le mensonge

Anthropic vient de le faire à l’échelle, sur un modèle de production et non sur un jouet de laboratoire, et les résultats méritent qu’on s’y arrête.

Ils savent cartographier les concepts qu’un réseau utilise, et évaluer à partir d’un échange donné lesquels sont intervenus, y compris des concepts liés à l’émotion et à l’intention. Mais le plus frappant est qu’ils peuvent activer manuellement certains schémas. Ils savent quelles activations correspondent à quel concept, ils les amplifient, et ils regardent ce que devient la sortie.

L’un de ces schémas correspond à un modèle flatteur. Activez-le, et le modèle cesse de reprendre un interlocuteur manifestement dans l’erreur : il le félicite, il lui dit qu’il a fait du bon travail alors qu’il s’est trompé de manière évidente. Lire, il se trouve, n’est pas seulement observer. C’est actionner.

Et c’est ce qui fait de cette méthode plus qu’une curiosité, parce qu’elle répond au problème posé plus haut. Prenez le mensonge délibéré, qui n’est pas l’hallucination. On a documenté des cas où l’on montrait une image à un réseau en lui demandant de mentir sur son contenu, et où il le faisait, jusqu’à un moment où il finissait par dire la vérité. Ce qui compte, c’est qu’il en soit capable. Ce qui veut dire qu’un modèle pourrait se trouver dans un état où il tait quelque chose alors que sa réponse est irréprochable. Avec cet outil, on verrait le schéma d’activation du mensonge s’allumer alors même que rien, dans la réponse, ne le trahit.

Quand le comportement peut être joué, la seule supervision qui tienne est celle qui ne passe pas par le comportement.

Ce qu’on ne trouvera pas

Ce qui m’amène à la question que je tourne et retourne, et sur laquelle j’aimerais vraiment lire d’autres avis.

Corréler une activation avec un concept suppose de disposer du concept d’avance. Toute la méthode consiste à prendre l’espace latent amplifié d’un côté, les concepts du contexte de l’autre, et à les apparier. Or pour les apparier, il faut connaître les concepts a priori.

Que se passe-t-il, alors, si le réseau fait émerger des schémas qui correspondent à des concepts que nous n’avons pas ? Non pas des concepts difficiles à décrire : des concepts que nous n’avons jamais nommés, et qui ne figurent donc pas dans la liste contre laquelle nous apparions. Ils seraient par construction hors de portée. Nous ne les manquerions pas par défaut de finesse. Nous les manquerions parce que nous ne les chercherions pas.

Il existe peut-être une échappatoire, et je ne suis pas certain qu’elle fonctionne. Si un réseau faisait émerger un concept neuf qui revient à mentir, sous une forme que nous n’aurions pas nommée, sa proximité dans l’espace vectoriel avec le concept que nous avons nommé suffirait-elle à le trahir ? Ou bien le modèle pourrait-il le développer sans qu’on le sache, tout simplement parce que nous ne connaissons pas ce concept a priori ?

Je n’ai pas la réponse. Je suis assez sûr que c’est la bonne question.