Comment les algorithmes des médias sociaux favorisent les contenus violents et misogynes chez les jeunes hommes

lundi, septembre 30, 2024

En 2022, Cai, alors âgé de 16 ans, faisait défiler rapidement des images et des messages sur l'écran de son téléphone. Il raconte que l'une des premières vidéos qu'il a vues sur sa liste de médias sociaux était celle d'un chien mignon.

Il raconte que, « venu de nulle part », on lui a recommandé des vidéos d'une personne renversée par une voiture, un monologue d'un influenceur partageant des opinions misogynes, et d'autres de violentes bagarres. Pourquoi me les montrent-ils, se demande-t-il ?

Pendant ce temps, à Dublin, Andrew Kaung travaillait comme analyste de la sécurité des utilisateurs chez TikTok, un poste qu'il avait occupé de décembre 2020 à juin 2022.

Il raconte qu'avec un collègue, il a décidé d'examiner ce que les algorithmes de l'application recommandaient aux utilisateurs du Royaume-Uni, dont des jeunes de 16 ans. Il avait auparavant travaillé chez Meta, qui possède Instagram, un autre des sites utilisés par Cai.

Lorsqu'Andrew a analysé le contenu de TikTok, il a été alarmé de voir que la plateforme montrait à certains adolescents des vidéos contenant de la violence et de la pornographie, et promouvant des idées misogynes, explique-t-il à l'émission Panorama de la BBC.

Il ajoute que les adolescentes se voyaient généralement recommander des contenus très différents en fonction de leurs centres d'intérêt.

TikTok et d'autres réseaux sociaux utilisent des outils d'intelligence artificielle (IA) pour supprimer la grande majorité des contenus préjudiciables et signaler les autres contenus à examiner par des modérateurs humains. Mais les outils d'IA ne peuvent pas tout identifier.

Andrew Kaung raconte que lorsqu'il travaillait chez TikTok, toutes les vidéos qui n'étaient pas supprimées ou signalées par l'IA pour être examinées par des modérateurs humains - ou signalées par d'autres utilisateurs aux modérateurs - n'étaient examinées manuellement que si elles atteignaient un certain seuil de visionnage.

À l'époque, ce seuil était fixé à 10 000 vues ou plus. Cela signifiait que certains jeunes utilisateurs étaient exposés à des vidéos dangereuses. La plupart des sociétés de réseautage social autorisent les utilisateurs à s'inscrire dès l'âge de 13 ans.

TikTok affirme que 99 % des contenus qu'il supprime pour violation de ses règles sont rejetés par l'IA ou des modérateurs humains avant qu'ils n'atteignent 10 000 vues. Il ajoute qu'il enquête de manière proactive sur les vidéos qui n'atteignent pas ce nombre de vues.

Alors qu'il travaillait chez Meta, Andrew Kaung a remarqué un problème différent. Alors que la plupart des vidéos étaient supprimées ou signalées aux modérateurs par des outils d'intelligence artificielle, le site comptait également sur les utilisateurs pour signaler certaines vidéos une fois qu'elles avaient été visionnées.

Il explique qu'il a signalé cette situation lorsqu'il travaillait dans les deux entreprises, mais que la plupart du temps, rien n'était fait en raison de la quantité de travail que cela aurait impliqué ou du coût élevé que cela aurait représenté. Il note que TikTok et Meta ont par la suite apporté quelques améliorations, mais souligne que les jeunes utilisateurs comme Cai risquaient de voir des contenus préjudiciables pendant cette période.

Plusieurs anciens employés d'entreprises de médias sociaux ont déclaré à la BBC que les préoccupations d'Andrew Kaung correspondaient à leur propre expérience.

Les algorithmes de la plupart des entreprises de médias sociaux ont recommandé des contenus préjudiciables aux mineurs, même si ce n'était pas intentionnel, a déclaré Ofcom, l'autorité britannique de régulation des communications, à la BBC.

« Les entreprises ont fermé les yeux et traité les mineurs comme elles traitent les adultes », a déclaré Almudena Lara, directrice du développement de la politique de sécurité en ligne à l'Ofcom.

« Vous avez l'image dans la tête et vous ne pouvez pas la faire sortir ».

TikTok a déclaré à la BBC qu'il était « à la pointe du secteur » en termes de paramètres de sécurité pour les adolescents et qu'il employait plus de 40 000 personnes pour assurer la sécurité des utilisateurs.

Il affirme que cette année seulement, il prévoit d'investir « plus de 2 milliards de dollars dans la sécurité », et que 98 % des contenus qu'il retire pour violation de ses règles sont détectés de manière proactive.

Meta, qui possède Instagram et Facebook, affirme disposer de plus de 50 outils, ressources et fonctionnalités différents pour offrir aux adolescents des « expériences positives et adaptées à leur âge ».

Cai a révélé à la BBC qu'il avait essayé d'utiliser l'un des outils d'Instagram et un outil similaire sur TikTok pour indiquer qu'il n'était pas intéressé par les contenus violents ou misogynes, mais qu'ils continuaient à les recommander.

« Vous avez l'image dans la tête et vous ne pouvez pas l'en sortir. Cela perturbe votre cerveau. On y pense tout le reste de la journée », explique-t-elle.

Les filles de son âge qu'elle connaît se voient recommander des vidéos sur la musique et le maquillage, plutôt que sur la violence, dit-elle.

Cai, aujourd'hui âgée de 18 ans, affirme qu'on ne cesse de lui recommander des contenus violents et misogynes à la fois sur Instagram et sur TikTok.

Lorsque nous regardons ses recommandations sur Instagram, elles incluent une image qui minimise la violence domestique. Elle montre deux personnages côte à côte, dont l'un a des ecchymoses, avec la légende : « Mon langage d'amour ». Une autre image montre une personne écrasée par un camion.

Cai dit avoir remarqué que les vidéos ayant des millions de « likes » peuvent être persuasives pour d'autres jeunes de son âge.

Il note par exemple qu'un de ses amis a été attiré par le contenu d'un influenceur controversé et a commencé à adopter des points de vue misogynes.

Son ami « est allé trop loin », dit Cai, « il a commencé à dire des choses sur les femmes. On a l'impression qu'il faut mettre les pieds sur terre à son ami ».

Cai explique qu'il a commenté des contenus pour indiquer qu'il ne les aimait pas, et que lorsqu'il a accidentellement cliqué sur un « j'aime » sur une vidéo, il est revenu en arrière dans l'espoir de recalibrer les algorithmes. Mais il affirme qu'il a fini par aimer beaucoup plus de vidéos de ce type sur son écran.

Le carburant des algorithmes

Comment fonctionnent les algorithmes ?

Selon Andrew Kaung, le carburant des algorithmes est l'interaction, qu'elle soit positive ou négative. Cela expliquerait en partie pourquoi les efforts de Cai pour manipuler les algorithmes n'ont pas fonctionné.

La première étape pour les utilisateurs est de spécifier leurs goûts et leurs intérêts lorsqu'ils s'inscrivent sur un réseau social. Andrew explique que le contenu initialement proposé par un algorithme à un jeune de 16 ans, par exemple, est basé sur les préférences qu'il a choisies et sur les préférences d'autres utilisateurs d'un âge similaire et se trouvant dans un lieu similaire.

Selon TikTok, les algorithmes ne tiennent pas compte du sexe de l'utilisateur. Mais Andrew souligne que les intérêts exprimés par les adolescents lorsqu'ils s'abonnent ont souvent pour effet de les diviser en fonction de leur sexe.

L'ancien employé de TikTok rapporte que certains garçons de 16 ans peuvent être exposés à des contenus violents « immédiatement » parce que d'autres utilisateurs adolescents ayant des préférences similaires ont exprimé un intérêt pour ce type de contenu, même si c'est parce qu'ils restent à regarder une vidéo qui attire leur attention un peu plus longtemps.

Les centres d'intérêt indiqués par de nombreuses adolescentes dans les profils qu'il a examinés - « chanteuses pop, chansons, maquillage » - signifiaient qu'un contenu aussi violent ne leur était pas recommandé.

Il explique que les algorithmes utilisent l'« apprentissage par renforcement », une méthode par laquelle les systèmes d'intelligence artificielle apprennent par essais et erreurs et s'entraînent à détecter le comportement des utilisateurs face à différentes vidéos

Andrew Kaung explique que les algorithmes sont conçus pour maximiser l'interaction, en montrant des vidéos que l'on espère que les utilisateurs regarderont plus longtemps, commenteront ou « aimeront », dans le but de les inciter à revenir pour plus de contenu.

L'algorithme qui recommande des contenus pour la section « For Your Page » de TikTok ne fait pas toujours la distinction entre les contenus nuisibles et ceux qui ne le sont pas, précise-t-il.

Selon Andrew, l'un des problèmes qu'il a identifiés en travaillant sur TikTok était que les équipes impliquées dans la formation et le codage de l'algorithme ne connaissaient pas toujours la nature exacte des vidéos qu'il recommandait.

« Ils voient le nombre d'utilisateurs, l'âge, la tendance, ce genre de données très abstraites. Ils ne sont pas nécessairement exposés au contenu », explique l'ancien analyste de TikTok.

En 2022, lui et un collègue ont donc décidé d'analyser le type de vidéos recommandées à un certain nombre d'utilisateurs, dont des jeunes de 16 ans.

Ils se sont inquiétés des contenus violents et dangereux proposés à certains adolescents, explique-t-il, et ont proposé à TikTok de mettre à jour son système de modération.

Ils voulaient que TikTok étiquette clairement les vidéos afin que chaque personne travaillant sur le site puisse voir pourquoi elles étaient nuisibles (violence extrême, abus, pornographie, etc.) et qu'il emploie davantage de modérateurs spécialisés dans ces différents domaines. Andrew affirme que ses suggestions ont été rejetées à l'époque.

TikTok affirme qu'elle disposait à l'époque de modérateurs spécialisés et qu'au fur et à mesure que la plateforme s'est développée, elle a continué à en embaucher d'autres. Il a également affirmé qu'il séparait les différents types de contenus préjudiciables, dans ce qu'il appelle des rangs, pour les modérateurs.

« Comment demander à un tigre de ne pas vous manger ».

Andrew Kaung explique qu'en travaillant chez TikTok et Meta, il lui a semblé très difficile d'apporter les changements qu'il jugeait nécessaires.

« Nous demandons à une entreprise privée, dont l'intérêt est de promouvoir ses produits, de faire preuve de retenue. C'est comme demander à un tigre de ne pas vous manger », explique-t-il.

Il estime que la vie des enfants et des adolescents serait meilleure s'ils cessaient d'utiliser leurs smartphones.

Mais pour Cai, interdire aux adolescents d'utiliser des téléphones ou des médias sociaux n'est pas la solution. Leur téléphone fait partie intégrante de leur vie.

Au lieu de cela, il souhaite que les entreprises de médias sociaux écoutent ce que les adolescents ne veulent pas voir. Il souhaite que les plateformes créent des outils permettant aux utilisateurs d'indiquer leurs préférences de manière plus efficace.

« J'ai l'impression que les entreprises de médias sociaux ne respectent pas votre opinion si cela leur rapporte de l'argent », explique M. Cai.

Au Royaume-Uni, une nouvelle loi obligera les sociétés de réseaux sociaux à vérifier l'âge des mineurs et à sévir contre les sites qui recommandent du porno ou d'autres contenus préjudiciables aux jeunes. L'autorité de régulation Ofcom sera chargée de faire appliquer la loi.

Almudena Lara, de l'Ofcom, explique que si les contenus préjudiciables qui touchent principalement les jeunes femmes - tels que les vidéos encourageant les troubles alimentaires et l'automutilation - ont été à juste titre mis en lumière, les algorithmes qui encouragent la haine et la violence principalement chez les adolescents et les jeunes hommes ont fait l'objet de moins d'attention.

L'Ofcom indique qu'elle peut infliger des amendes aux entreprises et les poursuivre en justice si elles ne respectent pas la loi, mais les mesures prévues par la loi n'entreront pas en vigueur avant 2025.

TikTok affirme qu'il utilise une « technologie innovante » et fournit des paramètres de sécurité et de confidentialité « ultramodernes » pour les adolescents, notamment des systèmes qui bloquent les contenus susceptibles d'être inappropriés, et qu'il n'autorise pas la violence extrême ou la misogynie.

Meta, qui possède Instagram et Facebook, affirme qu'il dispose de plus de « 50 outils, ressources et fonctionnalités différents » pour offrir aux adolescents des « expériences positives et adaptées à leur âge ». Selon Meta, elle sollicite des évaluations de la part de ses propres équipes et les modifications éventuelles de ses politiques sont soumises à des processus solides.