Rapport de novembre 2019 sur l’application des Standards de la communauté

Par Guy Rosen, Vice-Président Integrité

Nous publions aujourd’hui la quatrième édition de notre rapport d’application des Standards de la communauté qui présente le détail du travail effectué au cours des deuxième et troisième trimestres 2019. Nous incluons désormais des indicateurs concernant dix domaines sur Facebook et quatre sur Instagram.

Ces indicateurs incluent :

• la prévalence : la fréquence à laquelle un contenu qui enfreint nos règles a été vu ;
• les contenus traités : la quantité de contenus sur lesquels nous sommes intervenus car ils enfreignaient nos règles ;
• le taux de proactivité : la quantité de contenus sur lesquels nous sommes intervenus et qui ont été détectés avant que quelqu’un ne nous les signale ;
• les contenus ayant fait l’objet d’un appel : la quantité de contenus ayant fait l’objet d’un appel concernant une décision initiale ;
• les contenus ayant été rétablis : la quantité de contenus rétablis après une action initiale de notre part.

Nous publions également une nouvelle page présentant des exemples de la façon dont nos standards s’appliquent à différents types de contenu et permettant de voir où nous fixons les limites.

Un rapport incluant des données relatives à Instagram

Pour la première fois, nous partageons également des données sur l’application de nos règles sur Instagram. Dans ce premier rapport pour Instagram, nous fournissons des données sur quatre domaines différents : la nudité et l’exploitation sexuelle des enfants, les marchandises réglementées (plus précisément, la vente illicite d’armes à feu et de substances non thérapeutiques, de médicaments et de marijuana), le suicide et l’automutilation, et la propagande terroriste. Le rapport n’inclut pas les indicateurs liés aux appels et aux contenus rétablis pour Instagram, étant donné que les utilisateurs ne peuvent faire appel de nos décisions que depuis le deuxième trimestre de cette année. Ils seront toutefois inclus dans nos prochains rapports.

Bien que nous utilisions les mêmes systèmes de détection proactive pour identifier et supprimer le contenu nuisible d’Instagram et de Facebook, les indicateurs peuvent être différents entre les deux applications. De nombreuses raisons expliquent ces disparités, y compris les différences entre les fonctionnalités des applications et leur utilisation (par exemple, Instagram ne permet pas de partager des liens, de repartager des contenus dans le fil d’actualité, ne propose pas de pages ni de groupes), les tailles différentes de nos communautés, les endroits où une application est plus utilisée qu’une autre, et les endroits où nous avons pu, à ce jour, mieux utiliser notre technologie de détection proactive. En comparant les indicateurs pour déterminer nos progrès et nos points à améliorer, nous encourageons les personnes à observer l’évolution des indicateurs d’un trimestre à l’autre pour les mêmes domaines au sein d’une même application.

Les autres nouveautés de cette quatrième édition du rapport

• Données sur le suicide et l’automutilation : nous expliquons désormais les mesures que nous mettons en place pour le contenu lié au suicide ou à l’automutilation. Ce sujet est à la fois sensible et complexe, et nous travaillons avec des experts pour garantir la sécurité des personnes. Nous supprimons les contenus qui représentent ou encouragent le suicide ou l’automutilation, y compris certaines images explicites et représentations en temps réel qui, selon les experts, pourraient inciter d’autres personnes à adopter un comportement similaire. Nous affichons un écran d’avertissement sur les contenus qui n’enfreignent pas nos règles mais qui peuvent être dérangeants pour certains, y compris les coupures cicatrisées ou d’autres images non explicites d’automutilation dans un contexte de guérison. Nous avons également renforcé nos règles en matière d’automutilation et amélioré notre technologie pour identifier et supprimer davantage de contenus en infraction.
  • Sur Facebook : nous sommes intervenus sur environ deux millions de contenus au deuxième trimestre 2019, dont 96,1 % ont été détectés de façon proactive. Au troisième trimestre, nous avons continué nos progrès et supprimé 2,5 millions de contenus dont 97,3 % ont été détectés de façon proactive.
  • Sur Instagram : nous avons constaté des progrès similaires et supprimé environ 835 000 contenus dont 77,8 % ont été détectés de façon proactive au deuxième trimestre 2019. Au troisième trimestre 2019, nous avons supprimé environ 845 000 contenus dont 79,1 % ont été détectés de façon proactive.
• Données supplémentaires sur la propagande terroriste : notre politique relative aux individus et organisations dangereux interdit la présence de toute organisation terroriste sur nos services. À ce jour, nous avons identifié un grand nombre de groupes comme étant des organisations terroristes en raison de leur idéologie. Les précédents rapports incluaient uniquement des données concernant nos efforts déployés spécifiquement pour lutter contre Al-Qaïda, l’État islamique et les organisations associées, puisque nous concentrions nos mesures sur les groupes considérés comme représentant la plus grande menace. Désormais, nous ajoutons au rapport les mesures que nous prenons à l’encontre de toutes les organisations terroristes. Bien que la fréquence à laquelle nous détectons et supprimons les contenus associés à l’État islamique, à Al-Qaïda et à leurs organisations affiliées sur Facebook reste supérieure à 99 %, les taux de détection proactive des contenus associés à l’ensemble des organisations terroristes sont de 98,5 % sur Facebook et de 92,3 % sur Instagram. Nous continuerons d’investir dans des techniques automatisées pour lutter contre les contenus de nature terroriste et améliorer nos stratégies, car nous savons que les acteurs malveillants continueront de faire évoluer les leurs.
• Prévalence en matière de suicide, d’automutilation et de marchandises réglementées : dans ce rapport, nous ajoutons pour la première fois des indicateurs de prévalence en matière de suicide, d’automutilation et de marchandises réglementées (vente illicite d’armes à feu et de substances non thérapeutiques, de médicaments et de marijuana). Parce que nous nous soucions de la fréquence à laquelle les utilisateurs peuvent voir des contenus qui violent nos règles, nous mesurons la prévalence, ou la fréquence à laquelle ils peuvent voir ces contenus sur nos services. Pour les domaines relatifs aux problèmes de sécurité les plus graves – nudité et exploitation sexuelle des enfants, marchandises réglementées, suicide et automutilation, et la propagande terroriste, la probabilité que des utilisateurs voient ces contenus qui enfreignent ces règles est très faible, et nous en supprimons la majeure partie avant que les personnes ne le voient. Par conséquent, lorsque nous évaluons la prévalence relative à ces contenus dans nos échantillonnages, la plupart du temps nous n’en trouvons pas suffisamment (et parfois pas du tout) pour calculer de façon fiable cette donnée. À la place, nous pouvons estimer une limite supérieure de la fréquence à laquelle une personne pourrait voir ce type de contenus qui enfreignent ces règles. Au troisième trimestre 2019, cette limite supérieure était inférieure à 0,04 %. Cela signifie que pour chacun de ces domaines, au troisième trimestre 2019, pas plus de 4 contenus sur 10 000 vus sur Facebook ou Instagram incluaient des contenus en infraction avec nos règles.
  • De plus, il est important de noter que c’est uniquement lorsque la prévalence est aussi faible que nous pouvons fournir des limites supérieures qui peuvent varier de quelques centièmes de points de pourcentage entre les rapports. Des évolutions mineures ne signifient pas qu’il y a une réelle différence dans la prévalence de ces contenus sur la plate-forme.

Nos progrès pour garantir la protection des personnes

Dans notre lutte contre les types de contenus les plus nuisibles, nous avons redoublé d’efforts pour faire appliquer nos règles et garantir une plus grande transparence de notre travail. En plus des données relatives au suicide et à l’automutilation et à la propagande terroriste, celles relatives à la nudité et à l’exploitation sexuelle des enfants, tout comme celles relatives aux marchandises réglementées, démontrent les progrès réalisés. Les investissements que nous avons fait dans l’intelligence artificielle au cours des cinq dernières années continuent d’être un facteur clé dans la lutte contre ces contenus. Les récentes avancées technologiques que nous avons effectuées dans ce domaine nous ont considérablement aidées à améliorer nos taux de détection proactive et à supprimer ces contenus.

En ce qui concerne la nudité et l’exploitation sexuelle des enfants, nous avons amélioré nos procédés en ajoutant des infractions à notre base de données afin de détecter et supprimer les occurrences supplémentaires du même contenu partagé à la fois sur Facebook et sur Instagram. Cela nous a permis d’identifier et de retirer plus de contenus en infraction avec nos règles.

Sur Facebook :

• Au troisième trimestre 2019, nous avons supprimé environ 11,6 millions de contenus, contre environ 5,8 millions au premier trimestre 2019. Au cours des quatre derniers trimestres, nous avons détecté de façon proactive plus de 99 % des contenus violant ces règles que nous avons supprimés.

Alors que nous avons inclu pour la première fois des données pour Instagram, nous avons continué de progresser dans ce domaine au cours des deux derniers trimestres :

• Au deuxième trimestre 2019, nous avons supprimé environ 512 000 éléments de contenu dont 92,5 % ont été détectés de façon proactive.
• Au troisième trimestre 2019, nous avons continué nos progrès et supprimé 754 000 éléments de contenu dont 94,6 % ont été détectés de façon proactive.

En ce qui concerne notre règle en matière de marchandises réglementées interdisant la vente illicite d’armes à feu et de substances non thérapeutiques, de médicaments et de marijuana, les investissements continus dans nos systèmes de détection proactive et les avancées dans nos techniques d’application nous ont permis de consolider nos progrès par rapport au dernier rapport.

Sur Facebook :

• Au troisième trimestre 2019, nous avons supprimé environ 4,4 millions de contenus relatifs à la vente de substances non thérapeutiques, de médicaments et de marijuana, dont 97,6 % ont été détectés de façon proactive. C’est plus qu’au premier trimestre 2019, au cours duquel nous avions supprimé environ 841 000 contenus de ce type, dont 83,3 % avaient été détectés de façon proactive.
• Toujours au troisième trimestre 2019, nous avons supprimé environ 2,3 millions de contenus relatifs à la vente d’armes à feu, dont 93,8 % ont été détectés de façon proactive. C’est plus qu’au premier trimestre 2019, au cours duquel nous avions supprimé environ 609 000 contenus de ce type, dont 69,9 % avaient été détectés de façon proactive.

Sur Instagram :

• Au troisième trimestre 2019, nous avons supprimé environ 1,5 million d’éléments de contenu relatifs à la vente de substances non thérapeutiques, de médicaments et de marijuana, dont 95,3 % ont été détectés de façon proactive.
• Au troisième trimestre 2019, nous avons supprimé environ 58 600 éléments de contenu relatifs à la vente d’armes à feu, dont 91,3 % ont été détectés de façon proactive.

Mieux lutter contre les discours de haine

Au cours des deux dernières années, nous avons investi dans la détection proactive des discours de haine afin de pouvoir identifier ces contenus avant que des personnes ne nous le signalent, et parfois même avant que quiconque ne les voit. Nos techniques de détection incluent des analyses de correspondances de texte et d’image, ce qui signifie que nous identifions des images et des chaînes de texte identiques qui ont déjà été supprimées pour infraction à nos règles en matière de discours de haine. Elles incluent également des classifieurs de machine learning qui examinent des facteurs comme la langue, les réactions et les commentaires à une publication, pour évaluer les similarités avec des expressions, des modèles et des attaques que nous avons déjà préalablement identifiés dans des contenus qui enfreignaient nos règles en la matière.

Initialement, nous avons utilisé ces systèmes pour détecter de façon proactive les potentielles infractions liées aux discours de haine et les soumettre à nos équipes de modérateurs de contenus afin de leur permettre de mieux évaluer – par rapport aux systèmes d’intelligence artificielle – le contexte dans lequel les contenus ont été publiés. Depuis le deuxième trimestre 2019 et grâce aux progrès continus de nos systèmes pour détecter correctement ces infractions, nous avons commencé à supprimer automatiquement certaines publications, mais uniquement dans certains cas précis, lorsque les contenus sont identiques ou très similaires à des textes ou images précédemment supprimés en raison d’une infraction à nos règles en matière de discours de haine, ou lorsque ces contenus sont très proches d’attaques identifiées comme enfreignant nos règles en la matière. Nous le faisons uniquement dans des situations très précises, et cela est possible parce nos systèmes ont pu être entraînés grâce à des centaines de milliers, voir des millions, d’exemples différents de contenus et d’attaques violant nos règles. Dans tous les autres cas où nos systèmes détectent de façon proactive des éventuels discours de haine, les contenus sont transmis à nos équipes de modérateurs afin qu’elles prennent la décision finale. Ces améliorations de nos systèmes de détection ont entraîné une progression du taux de détection proactive à 80%, contre 65% dans le précédent rapport. Cela nous a permis d’augmenter le volume de contenus que nous identifions et supprimons pour violation de nos règles en matière de discours de haine.

Bien que nous soyons satisfaits de ces progrès, ces technologies ne sont pas parfaites et nous reconnaissons qu’elles peuvent toujours faire des erreurs. C’est pourquoi nous continuons à investir dans des systèmes nous permettant d’améliorer l’exactitude de nos décisions de suppression de contenus qui enfreignent nos règles en matière de discours de haine, tout en protégeant les débats ou les contenus condamnant les discours de haine. Tout comme nous examinons les décisions précises par nos équipes de modérateurs pour suivre l’exactitude de nos décisions, nos équipes examinent au quotidien les suppressions décidées par nos systèmes automatiques pour garantir que nos règles sont appliquées correctement. Nous continuons également de réexaminer les décisions contre lesquelles les utilisateurs font appel et nous disent que nous avons fait une erreur en retirant leurs publications.

Mise à jour de nos indicateurs

Depuis notre dernier rapport, nous avons amélioré la façon dont nous mesurons la quantité de contenus sur lesquels nous intervenons, après avoir identifié un souci dans les décomptes au cours de l’été. Dans ce rapport, nous mettons à jour les indicateurs précédemment publiés pour les contenu traités, les taux de proactivité, les contenus ayant fait l’objet d’un appel et les contenu rétablis du troisième trimestre 2018 au premier trimestre 2019.

Au cours de ces trimestres, cette difficulté dans le décompte n’a pas impacté notre façon d’appliquer nos règles ou d’informer les utilisateurs sur ces mesures. Cela a uniquement impacté notre méthodologie de décompte des actions que nous avons prises. Par exemple, si nous identifions une publication qui contient une image qui viole nos règles, nous souhaitons que nos données reflètent le fait que nous avons pris une mesure sur un contenu, et non deux mesures pour la suppression de cette image et de la publication. Cependant, en juillet 2019, nous avons identifié que nos systèmes n’enregistraient et ne décomptaient pas correctement les actions prises. Cela s’explique en grande partir par la nécessité de décompter des actions prises en quelques millisecondes et de ne pas oublier ou de surévaluer chaque des actions individuelles prises.

Nous continuerons d’affiner les processus que nous utilisons pour mesurer nos actions et développer un système fiable afin de garantir l’exactitude de nos indicateurs. Nous souhaitons partager plus de détails sur ces processus ici.