Plus d’informations sur la situation en Nouvelle-Zélande

Par Guy Rosen, Vice-Président Intégrité

Nous sommes de tout cœur avec les victimes, leurs familles et les communautés touchées par les dramatiques attaques terroristes de Christchurch. Depuis l’attentat, nous avons travaillé directement avec la police néo-zélandaise pour faire face à l’attaque et l’aider dans son enquête. Les gens cherchent à comprendre comment des plateformes en ligne comme Facebook ont été utilisées pour diffuser les vidéos insoutenables de l’attentat terroriste ; c’est pourquoi nous voulons vous fournir des renseignements supplémentaires sur la façon dont nos produits ont été utilisés et comment nous pouvons les améliorer à l’avenir.

Déroulé des faits

Comme nous l’avons signalé plus tôt cette semaine, nous avons retiré la vidéo de l’agresseur quelques minutes après que la police néo-zélandaise nous a contactés. Des équipes travaillent sur le terrain avec les autorités. Nous continuerons de les aider de toutes les façons possibles. L’enquête étant en cours, la police nous a demandé de ne pas divulguer certains détails. Actuellement, nous sommes en mesure de fournir les informations ci-dessous :

• La vidéo a été visionnée moins de 200 fois pendant la diffusion en direct.
• Aucun utilisateur n’a signalé la vidéo pendant la diffusion en direct.
• En incluant les vues en direct, la vidéo a été visionnée environ 4 000 fois au total avant d’être retirée de Facebook.
• Avant que nous soyons alertés au sujet de la vidéo, un utilisateur de 8chan a posté un lien vers une copie sur un site de partage de fichiers.
• Le premier signalement d’un utilisateur sur la vidéo d’origine a eu lieu 29 minutes après le début de la vidéo, et 12 minutes après la fin de la diffusion en direct.
• Dans les premières 24 heures, nous avons supprimé, au moment de leur téléchargement, plus de 1,2 million de vidéos de l’attaque, qui n’ont donc pas pu être visionnées sur nos services. Environ 300 000 copies supplémentaires ont été retirées après leur mise en ligne.

Sécurité sur Facebook Live

Nous sommes conscients que l’instantanéité de Facebook Live génère des défis spécifiques, et au cours des dernières années, nous nous sommes mobilisés pour permettre à notre équipe de modération de pouvoir accéder plus rapidement aux vidéos les plus importantes. Nous utilisons l’intelligence artificielle pour détecter et prioriser les vidéos susceptibles de contenir des actes suicidaires ou nuisibles, nous avons amélioré le contexte que nous fournissons aux modérateurs afin qu’ils puissent prendre les meilleures décisions et nous avons construit des systèmes pour nous aider à contacter rapidement les premiers intervenants pour obtenir de l’aide sur le terrain. Nous continuons à travailler sur nos outils, technologie et politiques visant à assurer la sécurité des gens lors de diffusions en direct.

Intelligence artificielle

Beaucoup de gens ont demandé pourquoi l’intelligence artificielle (IA) n’a pas détecté automatiquement la vidéo de l’attaque de la semaine dernière. L’IA a fait des progrès considérables au fil des ans et dans de nombreux domaines, ce qui nous permet de détecter de manière proactive la grande majorité du contenu que nous supprimons. Mais elle n’est pas parfaite.

Les systèmes d’IA sont basés sur des données d’entraînement, ce qui signifie que plusieurs milliers d’exemples de contenus sont nécessaires pour entraîner un système capable de détecter certains types de textes, d’images ou de vidéos. Cette approche fonctionne très bien dans des domaines tels que la nudité, la propagande terroriste et aussi la violence graphique, pour lesquels il existe un grand nombre d’exemples que nous pouvons utiliser pour entraîner nos systèmes.

Cependant, cette vidéo n’a pas déclenché nos systèmes de détection automatique. Pour y parvenir, nous devrons fournir à nos systèmes de grandes quantités de données relatives à ce type de contenu, ce qui est compliqué car ces événements sont rares (heureusement). Un autre défi consiste à distinguer automatiquement ce contenu d’un contenu visuellement similaire et inoffensif. Par exemple, si des milliers de vidéos de jeux vidéo en direct étaient signalées par nos systèmes, nos modérateurs pourraient passer à côté d’importantes vidéos du monde réel pour lesquelles nous pourrions alerter les premiers intervenants.

L’intelligence artificielle est un élément extrêmement important de notre lutte contre le contenu terroriste sur nos plateformes, et même si son efficacité ne cesse de s’améliorer, elle ne sera jamais parfaite. L’humain continuera à faire partie de l’équation, qu’il s’agisse des membres de notre équipe qui examinent le contenu ou des personnes qui utilisent nos services et nous le signalent. C’est pourquoi, l’an dernier, nous avons plus que doublé le nombre de personnes travaillant dans le domaine de la sûreté et de la sécurité pour le porter à plus de 30 000 personnes, dont environ 15 000 chargées d’examiner le contenu ; c’est aussi pourquoi nous encourageons les gens à signaler tout contenu qu’ils trouveraient inquiétant.

Signalement

Pendant toute la retransmission en direct, nous n’avons reçu aucun signalement d’utilisateur. C’est important à souligner, car les signalements que nous recevons pendant qu’une vidéo est diffusée en direct sont priorisés en vue d’un examen accéléré. En effet, lorsqu’une vidéo est encore en direct, si elle représente une situation dangereuse, nous avons une meilleure chance d’alerter les premiers intervenants et d’essayer d’obtenir de l’aide sur le terrain.

L’an dernier, nous avons étendu cette logique d’accélération de l’examen aux vidéos en direct diffusées récemment, au cours des heures précédentes. Vue l’importance que nous accordons à la prévention du suicide, nous appliquons cet examen accéléré de la vidéo lorsqu’une vidéo diffusée en direct peu de temps auparavant a été signalée pour cause de suicide.

Dans le cas de vendredi, le premier signalement d’utilisateur a eu lieu 29 minutes après le début de la diffusion en direct, et 12 minutes après sa fin. Dans ce premier signalement ainsi que dans un certain nombre de signalements subséquents, la vidéo a été signalée pour des raisons autres que le suicide et, à ce titre, elle a été traitée selon des procédures différentes.
Nous avons tiré les enseignements de cette situation, et sommes en train de réexaminer la logique et l’expérience du signalement pour les vidéos diffusées en direct ou venant de l’être, avec l’objectif d’élargir le champ des catégories pouvant faire l’objet d’un examen accéléré.

Diffusion de la vidéo

La vidéo en elle-même a été visionnée moins de 200 fois en direct et environ 4 000 fois avant d’être retirée de Facebook. Pendant ce laps de temps, un ou plusieurs utilisateurs ont enregistré la vidéo et ont commencé à la faire circuler. L’un d’entre eux au moins est un utilisateur de 8chan, et a posté un lien vers une copie de la vidéo sur un site de partage de fichiers ; nous pensons que c’est à partir de là qu’elle a commencé à circuler plus largement. Des éléments d’identification contenus dans bon nombre des vidéos diffusées par la suite (comme une barre de favoris visible dans un enregistrement d’écran) correspondent au contenu posté sur 8chan.

Ce n’est pas la première fois que des vidéos violentes et graphiques, diffusées en direct ou non, deviennent virales sur diverses plateformes en ligne. Comme dans de précédents cas, nous pensons que la circulation à grande échelle est le résultat d’un certain nombre de facteurs :

1. Des acteurs mal intentionnés se sont coordonnés pour partager des copies de la vidéo au plus grand nombre de personnes possible par le biais des réseaux sociaux, de sites de partage de vidéos, de sites de partage de fichiers et plus encore.
2. La vidéo a été diffusée par de nombreux médias, y compris des chaînes d’information télévisées et des sites d’information en ligne. Nous sommes conscients qu’il est délicat de trouver le bon équilibre pour couvrir une telle tragédie sans pour autant amplifier davantage le message de haine d’acteurs malveillants.
3. Partout dans le monde, des individus ont ensuite partagé des copies qu’ils avaient obtenues par le biais de nombreux services et applications différents, par exemple en filmant les émissions à la télévision, en enregistrant des vidéos sur des sites Web, en filmant des écrans d’ordinateur avec leur téléphone, ou simplement en repartageant un extrait qu’ils avaient reçu.

Les raisons pour lesquelles les gens ont partagé sont diverses. Certains pour promouvoir les actions du tueur, d’autres par curiosité, et d’autres encore pour mettre en lumière et dénoncer cette violence. Les gens ont aussi pu être incités à rechercher et partager ensuite la vidéo avec leurs amis, du fait de l’important bruit autour de son existence même.

Blocage de la vidéo

Dans la foulée immédiate des évènements, nous les avons désignés comme attaque terroriste, ce qui signifie que toute apologie, tout soutien et toute représentation enfreignent nos Standards de la communauté et ne sont pas autorisés sur Facebook.

Compte tenu de la gravité de la vidéo, nous avons interdit toute forme de distribution (même dans un but de sensibilisation, ou si le moindre extrait de la vidéo était partagé dans le cadre d’un reportage d’un média).

Dans les premières 24 heures, nous avons supprimé plus de 1,2 million de vidéos de l’attaque en cours de téléchargement, qui n’ont donc pas pu être visionnées sur nos services. Environ 300 000 exemplaires supplémentaires ont été retirés après avoir été postés.

On nous a demandé pourquoi notre technologie de correspondance image et vidéo, si efficace pour empêcher la propagande des organisations terroristes, n’a pas permis de détecter ces copies supplémentaires. Le défi a été la prolifération de nombreuses variantes de la vidéo, du fait de la diversité des façons dont elle a été partagée :

Tout d’abord, nous avons observé un groupe noyau d’acteurs mal intentionnés se coordonner pour re-télécharger continuellement des versions éditées de cette vidéo de manière à déjouer nos systèmes de détection.

Deuxièmement, un plus grand cercle de personnes a distribué la vidéo et involontairement rendu plus difficile l’identification des copies. Certaines personnes peuvent avoir vu la vidéo sur un ordinateur ou un téléviseur, l’avoir filmée avec un téléphone et l’avoir envoyée à un ami. D’autres encore ont pu avoir regardé la vidéo sur leur ordinateur, avoir enregistré leur écran et l’avoir transférée. Des sites Web et des pages, pour attirer l’attention des personnes cherchant la vidéo, ont re-coupé et ré-enregistré la vidéo dans divers formats.

Au total, nous avons trouvé et bloqué plus de 800 variantes visuellement distinctes en circulation. Cela diffère de la propagande terroriste officielle d’organisations comme Daesh – qui, bien que distribuée à un noyau dur d’adeptes, n’est pas reprise par les médias traditionnels ni largement repartagée par les individus.

Nous sommes en train d’apprendre à mieux appréhender les techniques qui fonctionneraient pour des cas comme celui-ci, avec de nombreuses variantes d’une vidéo originale. Par exemple, nous avons testé la technologie de correspondance audio, pour détecter les vidéos dont le visuel avait changé de façon trop importante pour permettre à nos systèmes de reconnaissance automatique de les détecter, mais qui avaient la même bande sonore.

Prochaines étapes

Nos priorités à l’heure actuelle sont de soutenir la police néo-zélandaise de toutes les façons possibles et de continuer à comprendre comment nos systèmes et autres plateformes en ligne ont été utilisés dans le cadre de ces événements, afin de déterminer les mesures stratégiques et techniques les plus efficaces. Cela inclut :

• • En priorité, l’amélioration de notre technologie de correspondance, de sorte que nous puissions endiguer la propagation de telles vidéos virales, peu importe la façon dont elles ont été produites à l’origine. À titre d’exemple, dans le cadre de nos actions vendredi dernier, nous avons appliqué une technologie audio expérimentale conçue pour identifier des variantes de la vidéo.
  • Deuxièmement, réagir plus rapidement à ce type de contenu dans le cadre d’une diffusion en direct. Il s’agit notamment de déterminer si et comment l’intelligence artificielle peut être utilisée dans ces cas, et comment accéder plus rapidement aux signalements des utilisateurs. Certaines personnes ont demandé si nous ne devrions pas ajouter un délai à Facebook Live, semblable au délai de diffusion parfois utilisé par les chaînes de télévision. Etant donné que des millions de diffusions en direct ont lieu chaque jour, instaurer un délai ne permettrait pas de résoudre le problème. De plus, étant donnée l’importance des signalements des utilisateurs, l’ajout d’un délai ne ferait que ralentir davantage le signalement et l’examen des vidéos, et par conséquent, l’alerte des premiers intervenants pour qu’ils fournissent de l’aide sur le terrain.
  • Troisièmement, continuer de lutter contre les discours haineux de toutes sortes sur notre plateforme. Nos Standards de la communauté interdisent les groupes terroristes et haineux, quels qu’ils soient. Cela inclut plus de 200 organisations suprémacistes blanches dans le monde, dont nous supprimons le contenu grâce à une technologie de détection proactive.
  • Quatrièmement, élargir notre collaboration au sein de l’industrie par l’entremise du Forum mondial de l’Internet contre le terrorisme. Nous expérimentons le partage systématique d’URL plutôt que de simples morceaux de contenus, nous faisons le maximum pour combattre les terroristes et extrémistes violents qui opèrent en ligne, et nous avons l’intention d’améliorer notre capacité à collaborer en situation de crise.

Ce qui s’est passé en Nouvelle-Zélande est terrible. Nous sommes de tout coeur avec les victimes, les familles et les communautés touchées par cette horrible attaque.

Nous continuerons à fournir des mises à jour en fonction des informations que nous aurons.