Le dilemme de Grok face aux deepfakes : le contenu explicite non consensuel persiste malgré les mesures de sécurité
Le chatbot **Grok** d'Elon Musk, développé par **xAI**, serait toujours utilisé pour générer et héberger des images et vidéos explicites non consensuelles de femmes, des mois après que l'entreprise a promis de mettre en place une modération de contenu plus stricte. Cette révélation survient alors que **SpaceX**, la société mère de **xAI**, se prépare à une introduction en bourse majeure, soulignant les défis juridiques et éthiques persistants entourant les politiques de génération de contenu de l'IA.
Malgré les promesses d'introduire des restrictions contre les deepfakes sexualisés nuisibles, le système d'IA générative **Grok Imagine** d'**Elon Musk** continue d'être impliqué dans la création et l'hébergement d'images et de vidéos explicites non consensuelles. Une analyse récente de créations publiques a révélé des dizaines d'images et de vidéos IA sexualisées, certaines photoréalistes et dépeignant des scénarios plausibles du monde réel, y compris des célébrités et un politicien.
### Problèmes persistants et partage public
**WIRED** a examiné des centaines de liens publics **Grok Imagine** hébergés sur Grok.com, trouvant de nombreux cas de contenu explicite non consensuel. Certains de ces liens ont ensuite été partagés sur **X** (anciennement Twitter), soulevant des inquiétudes quant à la capacité de la plateforme à contrôler la diffusion de tels matériels. Bien que les générations ne semblent pas être publiques par défaut, les publications découvertes représentent un instantané de l'utilisation abusive potentielle.
### Garde-fous inadéquats par rapport aux concurrents
Des experts comme **Henry Ajder**, un spécialiste des deepfakes, critiquent les garde-fous de sécurité de **Grok**, affirmant qu'ils sont insuffisants par rapport à d'autres outils d'IA générative grand public. « Bien que Grok et X aient peut-être apporté quelques modifications à leur modèle... ils n'ont toujours pas fait un travail suffisant pour le mettre au niveau des autres outils grand public disponibles », a commenté Ajder.
### Défis juridiques et examen réglementaire
**xAI** a fait face à une vague de poursuites judiciaires et d'examens réglementaires depuis janvier, lorsque l'intégration de **Grok** sur **X** a entraîné un déluge d'images de « nudification ». Ces cas auraient inclus la sexualisation d'images de mineurs apparents, selon une action collective intentée en Californie. Malgré les affirmations de **xAI** selon lesquelles elle mettrait en œuvre des garde-fous et interdirait le matériel d'abus sexuel sur enfants (**CSAM**), les problèmes persistent.
Suite aux demandes de **WIRED**, certaines images et vidéos explicites sur Grok.com ont été supprimées, et les liens **Grok Imagine** partagés sur **X** ont été retirés pour violation des politiques. Le compte de sécurité de **X** a réitéré : « Nous interdisons strictement aux utilisateurs de générer des deepfakes explicites non consensuels et d'utiliser nos outils pour déshabiller de vraies personnes. »
### Contenu troublant et tactiques de contournement
Parmi le contenu identifié, des images et des vidéos dépeignaient des célébrités et la représentante américaine **Alexandria Ocasio-Cortez** dans des scénarios sexuellement suggestifs et non consensuels. Les invites utilisées pour générer une partie de ce matériel ont été rejetées par des concurrents comme **ChatGPT** d'**OpenAI**, **Meta AI** et **Claude** d'**Anthropic** pour être inappropriées. Alors que **Gemini** de **Google** a créé une image similaire, il a rejeté une autre invite.
Notamment, une vidéo **Grok Imagine**, également publiée sur **X**, semblait dépeindre **Ashley St. Clair**, une ancienne partenaire de **Musk** et mère de l'un de ses enfants, dansant en bikini. St. Clair a intenté une action en justice contre **xAI** en janvier après que des deepfakes similaires seraient apparus sur **X**.
**Carrie Goldberg**, l'avocate de St. Clair, a souligné le caractère sans précédent de la publication instantanée d'images nues numériques via l'IA. **Imran Ahmed**, PDG du **Center for Countering Digital Hate (CCDH)**, a fait écho à ces préoccupations, affirmant qu'**Elon Musk** « a sciemment ajouté une fonctionnalité perverse à sa plateforme qui aide les utilisateurs à déshabiller des femmes et des enfants en un clic ».
### Modes « Spicy » et « Unhinged » sous le feu des critiques
Contrairement à d'autres systèmes d'IA générative, **Grok** et **xAI** n'ont pas hésité à autoriser le contenu sexuel, ayant précédemment introduit les modes « Spicy » et « Unhinged ». **Musk** a déclaré que **Grok** est « censé autoriser la nudité du haut du corps d'humains adultes imaginaires » et être cohérent avec le contenu des films classés R. Les dernières conditions d'utilisation de **xAI** mentionnent que le système peut répondre avec des « situations sexuelles », tout en interdisant simultanément aux utilisateurs de « causer du tort ou de s'engager dans des activités abusives ».
Les chercheurs indiquent que si les changements introduits par **X** et **Grok** ont rendu plus difficile la création d'images de « nudification » de personnes réelles, les utilisateurs emploient des descriptions détournées dans les invites pour contourner les garde-fous, conduisant à la création de contenu explicite entièrement généré par l'IA.
### Conséquences financières et réglementaires
Avant l'introduction en bourse de **SpaceX**, l'entreprise a averti les investisseurs potentiels, mettant de côté 530 millions de dollars pour traiter les plaintes juridiques en cours, y compris celles liées à **Grok**. Un dépôt de mai a reconnu les « risques accrus, y compris les atteintes à la réputation, la génération de contenu potentiellement explicite et de désinformation ou de sorties trompeuses, d'images potentiellement non consensuelles ou exploitantes ».
De plus, le **Commissaire à la protection de la vie privée du Canada** a récemment publié les conclusions préliminaires d'une enquête sur les transgressions de deepfakes de **xAI** et **Grok**. L'enquête allègue que **xAI** a violé la loi fédérale canadienne sur la protection de la vie privée dans le secteur privé en ne mettant pas en œuvre « de garanties appropriées dès le départ ». Bien que **xAI** affirme avoir introduit de nouvelles garanties, les problèmes persistants suggèrent un écart important entre la politique et la pratique.