Des robots IA ont secrètement imité des survivants de traumatismes sur Reddit alors qu'une équipe de recherche universitaire fait face à des poursuites judiciaires

La bataille juridique de Reddit contre la manipulation non autorisée par l'IA redéfinit le paysage de la confiance numérique

Sur une plateforme où des millions de personnes se réunissent quotidiennement pour débattre, partager des opinions et remettre en question des perspectives, une expérience invisible se déroulait discrètement. Pendant des mois, les utilisateurs du populaire forum r/changemyview de Reddit ont interagi avec ce qu'ils croyaient être d'autres humains, répondant aux commentaires, attribuant des "deltas" pour des arguments convaincants et créant des liens autour d'expériences partagées. En réalité, beaucoup participaient sans le savoir à ce qui est maintenant considéré comme l'une des expériences d'IA les plus problématiques sur le plan éthique de l'histoire récente.

Reddit a annoncé qu'il intentait une action en justice contre l'Université de Zurich au sujet d'une expérience d'IA non autorisée qui s'est déroulée de novembre 2024 à mars 2025, au cours de laquelle des chercheurs ont secrètement déployé des robots d'IA sophistiqués conçus pour tester leur capacité de persuasion à modifier les opinions des utilisateurs.

"Ce que l'équipe de l'Université de Zurich a fait est profondément répréhensible tant sur le plan moral que juridique", a déclaré Ben Lee, directeur juridique de Reddit, dans une déclaration qui souligne la tension croissante entre les intérêts de la recherche universitaire et la gouvernance des plateformes numériques. "Cela viole les normes de la recherche universitaire et des droits de l'homme, et est interdit par les conditions d'utilisation et les règles de Reddit."

La machine à tromper : comment les robots d'IA ont usurpé l'identité de personnes ayant subi des traumatismes

L'ampleur et la sophistication de la tromperie ont choqué même les observateurs chevronnés de l'éthique de l'IA. Pendant plus de quatre mois, l'équipe de recherche a déployé au moins 13 comptes différents alimentés par l'IA qui ont généré plus de 1 700 commentaires au sein de la communauté de 3,8 millions de membres, sans jamais être identifiés comme non humains.

Le plus troublant était l'utilisation délibérée par les chercheurs de personnages émotionnellement chargés. Les robots d'IA se sont fait passer pour des survivants d'agressions sexuelles, des conseillers en traumatologie "spécialisés dans les abus" et, dans un cas, "un homme noir opposé à Black Lives Matter", selon les documents consultés pour cet article.

Dans un cas particulièrement troublant, un robot a affirmé : "Je suis un homme ayant survécu à (ce que je considère comme) un viol statutaire... J'avais 15 ans, et c'était plus de vingt ans avant que les signalements ne soient ce qu'ils sont aujourd'hui. Elle m'a manipulé, ainsi que d'autres enfants ; aucun d'entre nous n'a dénoncé."

Un autre robot a invoqué des expériences personnelles inventées sur l'immigration, affirmant que "ma femme est hispanique" tout en argumentant de manière suffisamment persuasive pour recevoir de nombreux prix pour avoir changé les opinions des utilisateurs.

Selon les conclusions préliminaires de la recherche, qui ont depuis été retirées de la publication, ces commentaires générés par l'IA ont atteint des taux de persuasion 3 à 6 fois supérieurs à ceux des commentateurs humains. L'approche "personnalisée", qui analysait l'historique des publications des utilisateurs pour déduire des attributs tels que le sexe, l'âge et les penchants politiques, s'est avérée la plus efficace avec un taux de réussite de 18 %, plaçant ces systèmes d'IA dans le 99e centile de tous les utilisateurs.

Conséquences sur le marché : la prime de confiance s'évapore

Les conséquences ont été rapides sur les marchés financiers, les actions de Reddit chutant de 4,7 % hier après l'annonce d'une action en justice. L'action est maintenant en baisse de près de 30 % depuis le début de l'année après sa flambée post-introduction en bourse, car les investisseurs recalibrent les attentes concernant les coûts de modération du contenu et les potentiels vents contraires réglementaires.

"Cela crée une toute nouvelle catégorie de risque de plateforme qui n'est pas entièrement prise en compte dans les prix", a expliqué Morgan, analyste Internet en chef. "Si l'IA peut imiter la conversation humaine de manière aussi convaincante sans être détectée, la prime de confiance dont ont bénéficié les plateformes sociales est fondamentalement menacée."

Pour les annonceurs déjà méfiants à l'égard des problèmes de sécurité des marques, la révélation arrive à un moment particulièrement délicat. De grandes marques, dont Procter & Gamble et Toyota, ont fait part en privé à leurs agences de leurs préoccupations concernant le placement d'annonces à côté de contenu potentiellement généré par l'IA, selon trois cadres supérieurs des médias qui se sont exprimés sous couvert d'anonymat.

"Les marques demandent essentiellement : si vous ne pouvez pas garantir que mon annonce ne sera pas diffusée à côté d'une conversation générée par l'IA conçue pour manipuler les utilisateurs, pourquoi devrais-je payer des CPM premium ?", a déclaré un cadre familier avec les discussions.

La défense de l'université s'effondre

La réponse de l'Université de Zurich a considérablement évolué au fur et à mesure que le scandale se déroulait. Initialement, les responsables de l'université ont défendu certains aspects de l'expérience, suggérant que "le projet produit des informations importantes, et les risques (par exemple, les traumatismes, etc.) sont minimes."

Un porte-parole de l'université a noté que, bien que son comité d'éthique ait informé les chercheurs que l'étude était "exceptionnellement difficile" et ait recommandé une meilleure justification et le respect des règles de la plateforme, ces évaluations étaient en fin de compte "des recommandations qui ne sont pas juridiquement contraignantes."

Suite à l'annonce par Reddit d'une action en justice, la position de l'université a changé. Un porte-parole a déclaré hier aux médias que "les chercheurs ont maintenant décidé de ne pas publier les résultats de leur étude" et a confirmé qu'une enquête interne est en cours sur la manière dont la recherche a été approuvée.

Les tentatives de joindre les principaux chercheurs ont été infructueuses, mais dans des déclarations antérieures défendant leur travail, l'équipe a fait valoir : "Nous pensons que les avantages potentiels de cette recherche dépassent largement ses risques. Notre étude contrôlée et à faible risque a fourni des informations précieuses sur les capacités de persuasion réelles des LLM - des capacités qui sont déjà facilement accessibles à tous et que les acteurs malveillants pourraient déjà exploiter à grande échelle."

L'effet d'entraînement réglementaire

L'affaire a catalysé l'attention réglementaire dans plusieurs juridictions, les responsables de l'Union européenne soulignant l'incident comme une validation des dispositions de la loi européenne sur l'IA qui rendent obligatoire la divulgation lorsque les utilisateurs interagissent avec des systèmes d'IA.

"C'est précisément le scénario que nos exigences de transparence étaient destinées à prévenir", a déclaré un employé de la Commission européenne, en marge d'une conférence sur la politique technologique à Bruxelles. "Les utilisateurs ont un droit fondamental de savoir quand ils interagissent avec l'IA plutôt qu'avec des humains."

Aux États-Unis, la Federal Trade Commission a signalé un examen accru des "approbations génératives non divulguées" dans ses récentes directives, et des sources proches de l'agence indiquent que l'affaire Reddit fournit des preuves concrètes de préjudice qui pourraient accélérer les mesures d'exécution.

La plus large épidémie de robots

L'expérience de l'Université de Zurich a mis en évidence ce que de nombreux experts décrivent comme un problème beaucoup plus envahissant sur Reddit et des plateformes similaires. De multiples études suggèrent que l'ampleur de l'activité automatisée dépasse considérablement ce qui est communément admis.

"Nos recherches ont révélé qu'il était facile de créer des robots sur Reddit malgré les politiques de la plateforme contre eux", a déclaré un chercheur qui a dirigé une étude examinant les vulnérabilités des plateformes de médias sociaux. "Aucune des huit plateformes de médias sociaux que nous avons testées n'offre une protection et une surveillance suffisantes pour protéger les utilisateurs contre l'activité malveillante des robots."

Les utilisateurs des discussions Reddit affirment qu'environ 70 % des commentaires dans certains subreddits sont potentiellement générés par des robots, avec des systèmes sophistiqués créant de longues chaînes de conversations artificielles qui apparaissent entièrement humaines.

"Quand je suis sur une vidéo avec peu de vues et qu'elle est entièrement remplie de robots... l'Internet se transforme certainement en une forêt sombre", a noté un utilisateur dans un fil de discussion populaire discutant du problème des robots de la plateforme.

Paradoxalement, le système de réalisation automatisé de Reddit a par inadvertance récompensé les comptes de robots avec des badges comme "Meilleur 1 % des commentateurs", créant une situation ironique où la plateforme met en évidence les comptes automatisés mêmes qui causent des problèmes.

Le paysage de l'investissement transformé

L'incident a accéléré trois thèmes d'investissement clés, selon les analystes financiers qui suivent le secteur.

Premièrement, les sociétés d'"infrastructure d'authenticité" ont vu leurs valorisations augmenter, le financement des jeunes entreprises de vérification de contenu d'IA comme Copyleaks, GPTZero et Originality.AI ayant déjà augmenté de 2 à 3 fois d'une année sur l'autre. Ces sociétés fournissent des technologies qui peuvent détecter le contenu généré par l'IA ou vérifier la paternité humaine.

"Cela devient rapidement une dépense non discrétionnaire", a expliqué Vanessa, directrice d'une société de capital-risque de premier plan. "Chaque grande plateforme a maintenant besoin d'une forme de couche de vérification, et les sociétés qui peuvent fournir cela à grande échelle avec une grande précision connaissent une demande sans précédent."

Deuxièmement, les sociétés de services professionnels spécialisées dans l'audit et la conformité de l'IA se positionnent pour la croissance. "Nous voyons cela évoluer de la même manière que les attestations de cybersécurité sont devenues la norme après les violations majeures", a déclaré Jerome Powell (sans lien avec le président de la Réserve fédérale), qui dirige la pratique des technologies émergentes de PwC. "Les conseils d'administration veulent s'assurer que leurs systèmes d'IA ne deviendront pas des responsabilités juridiques."

Enfin, les traders se protègent de plus en plus contre le "risque narratif" dans les actions des médias sociaux, en achetant des options qui seraient payées si la volatilité augmentait autour du cycle électoral américain de 2025 - une période où les préoccupations concernant la manipulation de l'IA devraient atteindre leur apogée.

L'avenir de l'authenticité numérique

L'affaire Reddit pourrait en fin de compte s'avérer transformatrice pour la façon dont les plateformes numériques abordent l'authentification du contenu et la confiance des utilisateurs.

"Nous nous dirigeons probablement vers un monde où l'"IA persuasive" est classée comme une application à haut risque en vertu de cadres réglementaires comme la loi européenne sur l'IA", a prédit Aisha, chercheuse dans un important centre de recherche HCI. "Cela signifie un enregistrement obligatoire, des exigences de filigrane et potentiellement même des réserves de capital contre les dommages, comme la façon dont nous réglementons les produits dérivés financiers complexes."

Certains experts envisagent l'émergence de plateformes sociales "vérifiées par des humains" facturant des micro-abonnements pour un discours dont l'identité est vérifiée, bien que la plupart prédisent que de tels services resteront des offres de niche avec moins de 5 millions d'utilisateurs actifs mensuels d'ici 2027.

Des possibilités plus radicales incluent des marchés dérivés sur "l'authenticité de l'attention", où les marques pourraient se protéger contre leur exposition à la réputation en achetant des contrats à terme liés à des indices de temps humain vérifiés.

Pour la communauté r/changemyview de Reddit, le mal est déjà fait. Les modérateurs ont décrit l'expérience comme une "manipulation psychologique" et ont déposé une plainte formelle en matière d'éthique auprès de l'Université de Zurich demandant plusieurs réparations, notamment des excuses publiques et une surveillance renforcée des futures expériences d'IA.

"Il ne s'agissait pas seulement de violer les règles, il s'agissait de trahir la confiance", a déclaré un modérateur. "Lorsque les gens viennent ici pour partager des expériences et des points de vue profondément personnels, ils méritent de savoir qu'ils interagissent avec d'autres humains, et non avec des algorithmes conçus pour les manipuler de la manière la plus efficace possible."

Alors que les plateformes, les chercheurs et les régulateurs naviguent sur ce nouveau terrain, une chose devient de plus en plus claire : dans un monde où l'IA peut imiter de manière transparente l'interaction humaine, le concept même de discours authentique en ligne est confronté à un défi existentiel, qui a de profondes implications pour les marchés, la société et la démocratie elle-même.