Por Guy Rosen, Vicepresidente de Gestión de Productos
Seguimos manteniendo en nuestros corazones a las personas, familias y comunidades afectadas por la tragedia en Nueva Zelanda. Desde el ataque, hemos estado trabajando directamente con la Policía de Nueva Zelanda para responder al ataque y dar soporte a la investigación. Además, ha habido personas que buscan comprender cómo se utilizaron las plataformas en línea como Facebook para hacer circular videos horribles del ataque terrorista, y quisimos proporcionar información adicional de nuestra revisión sobre cómo se utilizaron nuestros productos y cómo podemos mejorar en el futuro.
Línea de tiempo
Como ya publicamos a principios de esta semana, eliminamos el video del atacante a los pocos minutos de ser notificados por la Policía de Nueva Zelanda, y tenemos un equipo trabajando de primera mano con las autoridades. Continuaremos apoyándolos en todo lo que podamos. A la luz de que hay una investigación abierta, la policía nos ha pedido no compartamos ciertos detalles. Mientras seguimos revisando esta situación, podemos proporcionar la siguiente información:
- El video fue visto menos de 200 veces durante la transmisión en vivo.
- Ningún usuario reportó el video durante dicha transmisión.
- Incluyendo las vistas durante la transmisión en vivo, el video fue observado unas 4,000 veces en total antes de ser eliminado de Facebook.
- El primer reporte por parte de un usuario sobre el video original se produjo 29 minutos después de que comenzó la el video y 12 minutos después de que terminó la transmisión en vivo.
- Antes de recibir una alerta sobre el video, un usuario de 8chan publicó un enlace a una copia del video en un sitio para compartir archivos.
- En las primeras 24 horas, eliminamos más de 1.2 millones de videos del ataque desde que se intentaban subir, con lo que se evitó que fuera visto en nuestros servicios. Aproximadamente 300,000 copias adicionales fueron eliminadas después de su publicación.
Seguridad en Facebook Live
Reconocemos que la inmediatez de Facebook Live trae consigo desafíos únicos. Es por ello que en los últimos años nos hemos enfocado a que nuestro equipo de revisión pueda llegar a los videos más importantes con mayor rapidez. Utilizamos inteligencia artificial para detectar y priorizar aquellos videos que puedan contener actos suicidas o dañinos, mejoramos el contexto que proporcionamos a los revisores para que puedan tomar decisiones más informadas y creamos sistemas para ayudarnos a contactar rápidamente a los primeros revisores para obtener ayuda desde el lugar en cuestión. Continuamos enfocándonos en las herramientas, tecnología y las políticas necesarias para mantener a las personas seguras en Live.
Inteligencia Artificial
Muchas personas han preguntado por qué la inteligencia artificial (IA) no detectó automáticamente el video del ataque de la semana pasada. Si bien Inteligencia Artificial ha logrado progresos masivos a lo largo de los últimos años y en muchas áreas, lo que nos permitió detectar proactivamente la gran mayoría del contenido que eliminamos, ésta no es perfecta.
Los sistemas de IA están basados en «datos de entrenamiento», lo que significa que se necesita miles de ejemplos de contenido para entrenar un sistema que pueda detectar ciertos tipos de texto, imágenes o videos. Este enfoque funcionó muy bien en áreas como desnudez, propaganda terrorista y también con violencia gráfica, donde hay una gran cantidad de ejemplos que podemos usar para capacitar a nuestros sistemas. Sin embargo, este video en particular no activó nuestros sistemas de detección automática. Para lograrlo, tendremos que proporcionar a nuestros sistemas grandes volúmenes de datos de este tipo específico de contenido, algo que es difícil, ya que estos eventos son afortunadamente raros. Otro desafío es detectar automáticamente este tipo de contenido que es visualmente similar e inocuo. Por ejemplo, si nuestros sistemas marcan miles de videos de videojuegos que son transmitidos en vivo, nuestros revisores podrían estar enfocados en éstos y perderse videos del mundo real que son importantes y donde podríamos alertar a los primeros revisores y obtener ayuda directa.
La IA es una pieza sumamente importante de nuestra lucha contra contenido terrorista en nuestras plataformas, y si bien su efectividad continúa mejorando, nunca será perfecta. Las personas seguirán siendo parte de la ecuación, ya sea las personas de nuestro equipo que revisan el contenido o aquellas que usan nuestros servicios y nos informan sobre el contenido. Es por eso que el año pasado incrementamos en más del doble el número de personas trabajando en seguridad y protección a más de 30,000, incluidos aproximadamente 15,000 revisores de contenido. Invitamos a las personas a informarnos sobre todo aquel contenido que les parezca inquietante.
Reportes
Durante toda la transmisión en vivo, no recibimos ni un solo reporte de usuario. Esto es relevante debido a que los reportes que recibimos mientras se transmite un video en vivo tienen prioridad para una revisión acelerada. Hacemos esto porque cuando un video aún está en vivo, si hay daños en el mundo real, tenemos una mejor oportunidad de alertar a los primeros revisores y tratar de obtener ayuda directa.
El año pasado, ampliamos esta lógica de aceleración para cubrir también videos que fueron emitieron recientemente, en las últimas horas. Dado nuestro enfoque en la prevención del suicidio, hemos aplicado esta rapidez cuando se reporta un video que apenas sucedió en vivo sobre suicidio.
En el caso del viernes pasado, el primer reporte por parte de un usuario se produjo 29 minutos después de que comenzó la transmisión y 12 minutos después de que la transmisión en vivo hubiera terminado. En este reporte , y en varios posteriores, el reporte fue por razones distintas al suicidio y, como tal, se manejó de acuerdo a procedimientos diferentes. Como resultado de esto, estamos re-examinando nuestra lógica de reportes y experiencias tanto para videos en vivo como para videos en vivo transmitidos recientemente, con el fin de ampliar las categorías que podrían llegar a una revisión acelerada.
Circulación del video
El video en sí recibió menos de 200 visitas cuando estaba siendo transmitido en vivo, y fue visto unas 4,000 veces antes de ser eliminado de Facebook. Durante este tiempo, uno o más usuarios capturaron el video y comenzaron a circularlo. Al menos uno de ellos era un usuario de 8chan, que publicó un enlace a una copia del video en un sitio de intercambio de archivos y creemos que a partir de ahí comenzó a tener mayor circulación. Los identificadores forenses en muchos de los videos que circularon más tarde, como una barra de herramientas de marcadores visibles en una grabación de pantalla, coinciden con el contenido publicado en 8chan.
Esta no es la primera vez que videos violentos y gráficos, ya sean transmitidos en vivo o no, se vuelven virales en varias plataformas en línea. Al igual que en los casos anteriores, creemos que la amplia circulación fue el resultado de una serie de factores diferentes:
- Hubo coordinación por parte de malos actores para distribuir copias del video a la mayor cantidad de personas posible a través de las redes sociales, sitios para compartir videos, sitios para compartir archivos y más.
- Múltiples canales de medios, incluidos canales de noticias de televisión y sitios web en línea, transmitieron el video. Reconocemos que hay un equilibrio difícil de lograr al cubrir una tragedia como esta y al mismo tiempo no se dé a los malos actores una amplificación adicional de su mensaje de odio.
- Personas en todo el mundo volvieron a compartir las copias que obtuvieron a través de diferentes aplicaciones y servicios, por ejemplo, filmando las transmisiones en TV, capturando videos de sitios web, filmando pantallas de computadoras con sus teléfonos o simplemente compartiendo un video que recibieron.
La gente compartió este video por una variedad de razones. Algunos intentaron promover las acciones del asesino, otros se mostraron curiosos y otros intentaron resaltar y denunciar la violencia. La distribución fue impulsada aún más por la información general sobre la existencia de un video, lo que puede haber llevado a las personas a buscarlo y luego compartirlo con sus amigos.
Bloqueando el video
Inmediatamente después del ataque, determinamos que esto fue un ataque terrorista, lo que significa que cualquier elogio, apoyo o representación viola nuestros estándares comunitarios y no está permitido en Facebook. Dada la grave naturaleza del video, prohibimos su distribución incluso si se comparte para crear conciencia, o solo un segmento compartido como parte de un informe de noticias.
En las primeras 24 horas, eliminamos más de 1.2 millones de videos del ataque mientras de intentabas subir, por lo que no pudieron verse en nuestros servicios. Aproximadamente 300,000 copias adicionales fueron eliminadas después de su publicación.
Nos preguntaron por qué nuestra tecnología de coincidencia de imagen y video, que fue tan eficaz para prevenir la difusión de propaganda de organizaciones terroristas, no logró detectar esas copias adicionales. Lo que desafió nuestro enfoque fue la proliferación de muchas variantes diferentes del video, impulsadas por las formas amplias y diversas en que las personas lo compartieron:
Primero, vimos a una comunidad central de malos actores trabajando juntos para volver a cargar continuamente las versiones editadas de este video en formas diseñadas para evitar ser detectadas.
En segundo lugar, un grupo más amplio de personas distribuyó el video y, sin quererlo, hizo que coincidir las copias fuera aún más difícil. Es posible que algunas personas hayan visto el video en una computadora o TV, lo hayan filmado con un teléfono y se lo hayan enviado a un amigo. Otros pueden haber visto el video desde su computadora, haber grabado la pantalla y haberlo transmitido. Los sitios web y las páginas, ansiosos por llamar la atención de las personas que buscan el video, lo recortan y lo vuelven a grabar en varios formatos.
En total, encontramos y bloqueamos más de 800 variantes visualmente distintas del video que circulaban. Esto es diferente de la propaganda terrorista oficial de organizaciones como ISIS que, aunque se distribuye a un grupo de seguidores, no es retransmitido por los medios de comunicación y no es re-compartido ampliamente por las personas.
Estamos aprendiendo a entender mejor las técnicas que funcionarían en casos como este con muchas variantes de un video original. Por ejemplo, como parte de nuestros esfuerzos, empleamos una tecnología de comparación de audio para detectar videos que cambiaron visualmente, más allá de la capacidad de reconocimiento de nuestros sistemas, pero que tenían la misma banda sonora.
Próximos pasos
Nuestras principales prioridades en este momento son apoyar a la Policía de Nueva Zelanda en todas las formas que podamos y seguir entendiendo cómo se utilizaron nuestros sistemas y otras plataformas en línea como parte de estos eventos a fin de que podamos identificar las políticas y los pasos técnicos más efectivos. Esto incluye:
- Mejorar nuestra tecnología de coincidencia para que podamos detener la propagación de videos virales de esta naturaleza, sin importar cómo se produjeron originalmente, es lo más importante. Por ejemplo, como parte de nuestra respuesta el viernes pasado, aplicamos una tecnología experimental basada en audio que habíamos estado construyendo para identificar las variantes del video.
- Segundo, reaccionar más rápido a este tipo de contenido en un video transmitido en vivo. Esto incluye explorar cómo puede usarse la IA en estos casos, y cómo llegar a los reportes de los usuarios más rápido. Algunos preguntaron si deberíamos agregar una demora a Facebook Live, similar a la demora de transmisión que a veces usan las estaciones de TV. Hay millones de transmisiones en vivo diariamente, lo que significa que un retraso no ayudaría a solucionar el problema debido a la gran cantidad de videos. Más importante aún, dada la importancia de los reportes de los usuarios, agregar una demora solo ralentizaría aún más los videos reportados, revisados y la alerta que se envía a los primeros revisores para que ayuden.
- Tercero, continuar combatiendo el discurso del odio de todo tipo en nuestra plataforma. Nuestras Normas Comunitarias prohíben los grupos terroristas y de odio de todo tipo. Esto incluye a más de 200 organizaciones de supremacía blanca en todo el mundo, cuyo contenido estamos eliminando a través de la tecnología de detección proactiva.
- Cuarto, expandiendo nuestra colaboración en la industria a través del Foro Global de Internet para Combatir el Terrorismo (GIFCT). Estamos experimentando con el intercambio de URLs de forma sistemática en lugar de únicamente trozos de contenido. Estamos trabajando para abordar toda la gama de terroristas y extremistas violentos que operan en línea, y pretendemos perfeccionar y mejorar nuestra capacidad de colaboración en una crisis.
Lo que sucedió en Nueva Zelanda fue horrible. Nuestros corazones están con las víctimas, las familias y las comunidades afectadas por este horrible ataque.
Continuaremos brindando actualizaciones a medida que aprendamos más.