Une société de clones : ce n’est plus à nous de faire la différence

Une publicité tourne depuis plusieurs mois. Elle a l’apparence d’un reportage de journal télévisé, et on y voit Cyprien présenter une application qui permettrait de gagner de l’argent. Il n’a jamais créé cette application et il n’a jamais tourné ce reportage. Le montage est en fait un gabarit : le même faux JT circule avec Élise Lucet, avec Nota Bene, avec Squeezie, et il suffit de changer le visage et la voix. Cyprien a fini par y répondre dans une vidéo et par annoncer qu’il voulait porter plainte.

Alors on peut se dire que c’est le prix de la notoriété, que ça vient avec le fait d’exposer son visage et sa voix tous les jours sur internet. Sauf que ce n’est déjà plus vrai.

Microsoft a mis en ligne il y a douze jours un papier de recherche qui s’appelle VASA-1. La méthode part d’une seule image et d’un enregistrement audio, et elle génère la personne en train de parler, en vidéo, en temps réel. Ce qui est alarmant là-dedans, c’est que la plupart des gens ont une photo de profil quelque part, et qu’obtenir un enregistrement de leur voix est relativement facile. Il ne s’agit donc plus d’être une personnalité publique pour voir son image reprise et lui faire dire des choses. Il suffit d’être quelqu’un que quelqu’un d’autre a envie de faire parler.

Ce qui me fait sourire dans un sens, c’est que les plateformes qui ont commencé à créer ce type de modèle sont les mêmes qui ont aujourd’hui du mal à le réguler, alors qu’elles ont pourtant tout intérêt à le faire. Depuis le mois de mars, YouTube demande à celui qui met une vidéo en ligne de déclarer lui-même si elle contient du contenu altéré ou synthétique. C’est mieux que rien. Mais on a construit la technologie qui fabrique le problème, et on demande à celui qui s’en sert de lever la main.

Je pense qu’il faut dire quelque chose d’assez simple ici. Ça ne devrait plus être à nous de faire la différence. Ça devrait être à la plateforme qui nous affiche l’image de nous le dire.

Ce que j’ai vu commencer chez Samsung

Quand je dis que ces entreprises n’ont pas de solution, ce n’est pas totalement vrai. Il existe des solutions techniques, il existe même des solutions législatives, en retard mais elles existent. Ce que je dis, par contre, c’est qu’on aurait pu voir venir tout ça, et qu’on aurait pu mettre des choses en place il y a bien longtemps.

En 2019 j’étais chez Samsung Research America, dans la Think Tank Team, une équipe dont le rôle était de pousser de nouveaux usages et de faire émerger de nouveaux produits. Je travaillais pour ma part sur la robotique. Mais j’ai vu démarrer à côté de moi un projet dont l’objectif était de créer des artificial humans, des humains artificiels. C’est devenu NEON, présenté au CES l’année suivante : des avatars fabriqués de toutes pièces, destinés à porter un message et à faire de la communication, de manière contrôlée.

Et c’est là où le glissement est très facile à faire. À partir du moment où on sait fabriquer un avatar de toutes pièces, on sait aussi fabriquer l’avatar de quelqu’un. Un jour des gens créeront un avatar d’eux-mêmes pour les représenter, ce qui est plutôt une bonne nouvelle. Et le même jour, d’autres créeront celui d’une personne qui n’a rien demandé.

Cette question du consentement, personne ne l’a posée dans la pièce où j’étais, et je ne crois pas que ce soit par négligence. Elle était hors sujet. On construisait un produit, et un régime de preuve n’entrait pas dans le périmètre. Cinq ans plus tard le produit existe, il est dans les mains de tout le monde, et le régime de preuve n’a toujours pas été écrit.

Détecter la signature d’un modèle

Pour comprendre ce qu’on peut faire, il faut voir à quoi on a affaire. Une image générée sort en général d’un réseau de type GAN ou d’un modèle à diffusion, et dans les deux cas la raison pour laquelle c’est compliqué à détecter tient à la méthode elle-même. Un GAN a explicitement pour objectif de produire une image qu’on ne puisse pas distinguer d’une vraie, et un modèle à diffusion génère en suivant de manière probabiliste la distribution de ce qu’il a observé. On a donc construit des systèmes dont la fonction est de ne pas être reconnaissables.

Il y a cinq ans on voyait tout de suite une image générée. Ensuite il y a eu cette période assez intéressante où tout était presque parfait, avec des petits détails qui trahissaient encore. C’est toujours un peu le cas aujourd’hui, il reste des artefacts, mais ça demande un effort à chaque image, et c’est bien ça le problème : personne ne va faire cet effort quarante fois par jour.

Il reste quand même des traces. Un papier récent, Mastering Deepfake Detection, montre qu’en faisant une analyse de Fourier sur un grand nombre d’images générées, on voit apparaître des motifs propres à chaque famille de modèles. Chaque modèle a en quelque sorte une signature, et cette signature permet de dire quel générateur a produit l’image qu’on regarde.

Par contre, cette approche a une limite qui me paraît rédhibitoire à elle seule : il faut réadapter le détecteur à chaque nouvelle méthode de génération, puisque chaque méthode a sa propre signature. Et il suffit qu’un modèle open source soit affiné pour un cas particulier, ou même affiné explicitement pour changer sa signature, pour que le détecteur ne soit plus calibré. On se retrouve à courir derrière.

Le filigrane

D’où la deuxième solution, celle que propose DeepMind avec SynthID, et qui n’a rien de nouveau en soi : cacher un signal dans l’image. On sait ajouter des filigranes depuis longtemps, c’est imperceptible à l’œil nu et ça se lit en décomposant le signal de l’image. Ce que DeepMind propose, c’est que tout contenu généré par leurs modèles porte ce filigrane automatiquement, et surtout qu’il soit robuste : qu’il survive à un recadrage, à un filtre, à une compression.

Je pense que c’est une grosse idée, et que c’est quelque chose d’important à garder. Par contre, ce qui manque à ce stade, c’est moins la technique qu’un accord entre les gens qui publient ces modèles, sur la forme du filigrane, sur ce qu’il doit contenir et sur la manière de le rendre le plus difficile possible à retirer. Aujourd’hui la plupart des modèles génératifs mis en ligne n’en portent aucun. Ils ont bien une signature par construction, mais involontaire, et donc fragile.

Ce que ça donnerait, concrètement

Mettons que les deux mécanismes soient en place chez ceux qui affichent des vidéos mises en ligne par des utilisateurs.

Au moment du téléversement, la plateforme regarde si le contenu est généré, par le filigrane ou par la détection automatique. Si c’est le cas, elle regarde s’il y a un visage humain. Si c’est le cas aussi, elle pose une question à celui qui met la vidéo en ligne : est-ce que c’est ton visage, est-ce que c’est un avatar, et sinon, est-ce que tu as vraiment le droit de l’utiliser ?

Ça a trois conséquences, et je les trouve toutes les trois plus intéressantes que le débat sur la détection.

La première, c’est l’étiquette. Celui qui regarde sait ce qu’il regarde, et il le sait sans avoir à le chercher.

La deuxième est judiciaire. Celui qui a mis la vidéo en ligne a coché une case en connaissance de cause, il avait donc toutes les informations pour savoir ce qu’il était en train de faire. Ça change complètement la position de la personne dont le visage a été utilisé le jour où elle veut se défendre.

La troisième est la plus opérationnelle : la plateforme peut repérer ce type de contenu très tôt, avant qu’il devienne viral. Aujourd’hui on réagit à une plainte, une fois que la vidéo a déjà tourné. Là, il y avait un doute dès le départ, et on peut couper.

L’open source perce forcément ce dispositif. Un modèle publié avec un filigrane peut être réentraîné pour ne plus le porter, et il le sera. Mais c’est un raisonnement de sécurité comme un autre : il y a toujours des gens qui passent les barrières, et au fur et à mesure qu’on augmente la barrière à l’entrée, ça devient beaucoup plus coûteux de la franchir. Statistiquement, ça réduit quand même le nombre de gens qui vont le faire, surtout quand ce qu’ils veulent faire est frauduleux.

Il reste un domaine où je n’ai rien à proposer, et je pense qu’il est encore plus dur à traiter que celui-là : les agents autonomes qui publient du texte. Filigraner du texte est possible quand il est long, ça devient très compliqué quand il est court, et le texte est aussi ce qui se produit en plus grande quantité. C’est un autre problème.

Pour l’image et la vidéo, en tout cas, la partie technique est à peu près là. Ce qui manque est une décision, celle de dire que reconnaître une copie n’est pas le travail de celui qui la regarde. Et cette décision-là, contrairement au filigrane, on pouvait la prendre il y a cinq ans.