L'IA Grok, utilisée pour dénuder des mineurs en ligne, admet des "failles"

Grok, l'assistant IA du réseau social X, a reconnu vendredi l'existence de "failles" ayant permis à des utilisateurs d'obtenir de lui des images à caractère sexuel impliquant des mineurs ou des femmes, suscitant des protestations à travers le monde et l'élargissement d'une enquête judiciaire en France.

"Nous avons identifié des failles dans nos garde-fous et nous les corrigeons de toute urgence - la pédopornographie est illégale et interdite", a écrit vendredi le compte X de Grok, en réponse à l'interpellation d'un utilisateur après plusieurs jours de signalements sur la plateforme.

Ces signalements portaient sur les agissements d'internautes qui avaient soumis à Grok des photos ou des vidéos de personnes réelles, dont des enfants et des adolescents, et obtenu que l'assistant IA les retouche pour les dénuder totalement ou partiellement.

xAI, l'entreprise d'intelligence artificielle d'Elon Musk qui développe Grok, n'a pas réagi publiquement à cette nouvelle controverse autour de son assistant IA, déjà épinglé ces derniers mois pour des affirmation polémiques sur la guerre à Gaza, le conflit Inde-Pakistan ou pour des propos antisémites.

Vendredi, les questions adressées par l'AFP à xAI ont reçu une réponse automatique affirmant que "les médias traditionnels mentent", sans autre commentaire.

Son robot Grok a toutefois répondu à l'internaute qu'une entreprise aux Etats-Unis "encourt des poursuites civiles ou pénales si elle facilite en connaissance de cause ou échoue à prévenir la génération" de contenus pédopornographiques.

La création et la diffusion de contenus pédopornographiques sont réprimées aux Etats-Unis par l'article 2256 du code pénal fédéral américain et par l'Enforce Act, une loi américaine de 2025 sur les crimes numériques contre les mineurs.

Outre les mineurs, les failles de Grok ont aussi concerné des femmes majeures qui ont vu leurs photos publiées sur les réseaux sociaux être retouchées par Grok pour les déshabiller, à la demande d'internautes. 

Le ministère indien de l'Électronique et de l'Informatique a adressé vendredi une mise en demeure à X, exigeant sous 72 heures un rapport détaillé sur les mesures prises pour supprimer les "contenus obscènes, nus, indécents et sexuellement implicites" générés par Grok sans le consentement des femmes victimes, selon le courrier publié dans la presse indienne.

enquête à Paris

En France, le parquet de Paris a étendu vendredi une enquête ouverte depuis l'été sur le réseau social X, afin d'examiner les nouvelles accusations contre Grok de génération et diffusion de contenus pédopornographiques.

Peu avant, trois ministres et deux députés avaient annoncé saisir la justice contre ces générations et ces diffusions de fausses vidéos à caractère sexuel

L'enquête initiale contre X avait été ouverte en juillet à la suite de signalements contre le réseau social et ses dirigeants, accusés d'avoir biaisé l'algorithme de la plateforme à des fins d'ingérence étrangère.

"Le délit de montage à caractère sexuel d'une personne sans son consentement est puni de deux ans d'emprisonnement et de 60.000 euros", a rappelé le parquet de Paris qui confirmait une information du site Politico.

Vendredi, les députés macroniste Eric Bothorel et socialiste Arthur Delaporte ont saisi la justice, aboutissant à l'élargissement des investigations.

Les ministres Roland Lescure, Anne Le Hénanff et Aurore Bergé ont également annoncé vendredi avoir signalé au procureur des "contenus manifestement illicites", demandant "leur retrait immédiat." 

"Ces derniers jours, l'intelligence artificielle Grok a permis la génération et la diffusion de contenus à caractère sexiste et sexuel, notamment sous forme de fausses vidéos (deepfakes), visant des personnes sans leur consentement", ont-ils détaillé. Un signalement a également été effectué auprès de la plateforme Pharos par le gouvernement, ont-ils indiqué. 

L'Arcom, l'autorité de régulation de la communication audiovisuelle et du numérique, a aussi été saisie, "au titre de possibles manquements de X à ses obligations découlant du Digital Services Act", le règlement européen sur les services numériques.