Por Monika Bickert, Directora Global de Gestión de Políticas de Contenido, y Brian Fishman, Gerente de Políticas contra el Terrorismo

A raíz de los recientes ataques terroristas las personas han cuestionado el papel de las empresas de tecnología en la lucha contra el terrorismo online. Queremos responder a esas preguntas de frente. Estamos de acuerdo con quienes dicen que las redes sociales no deben ser un lugar donde los terroristas tengan voz. Queremos ser muy claros respecto a la seriedad con que tomamos esto: mantener segura a nuestra comunidad en Facebook es fundamental para nuestra misión.

En esta publicación vamos a explicar el trabajo que realizamos detrás de bastidores, incluyendo la forma en que utilizamos inteligencia artificial para mantener el contenido terrorista fuera de Facebook, algo que hasta hoy no hemos divulgado públicamente. También hablaremos sobre las personas que trabajan en antiterrorismo, algunas de las cuales han dedicado toda su carrera a combatirlo, y las formas en que colaboramos con socios por fuera de nuestra empresa.

Nuestra postura es simple: no hay lugar en Facebook para el terrorismo. Eliminamos contenido de terroristas y publicaciones que apoyan el terrorismo en cuanto los detectamos. Cuando recibimos informes de posibles publicaciones de terrorismo las revisamos con urgencia y profundidad. Y en los raros casos en que descubrimos evidencia de un daño inminente, informamos a las autoridades de inmediato. Aunque investigaciones académicas sostienen que la radicalización de miembros de grupos como ISIS y Al Qaeda se produce principalmente offline, sabemos que Internet es un actor importante y no queremos que Facebook sea utilizado para ninguna actividad terrorista en absoluto.

Creemos que la tecnología, y Facebook, pueden ser parte de la solución.

Hemos sido cautelosos, en parte porque no queremos sugerir que existe una solución técnica simple. Es un enorme reto mantener a las personas seguras en una plataforma utilizada por casi 2.000 millones cada mes, que publican y comentan en más de 80 idiomas en cada rincón del mundo. Y tenemos mucho trabajo por delante. Pero queremos compartir lo que estamos haciendo y escuchar sus comentarios para que podamos hacerlo mejor.

Inteligencia Artificial

Queremos detectar el contenido terrorista de inmediato, antes que nuestra comunidad lo haya visto. Al día de hoy, la mayoría de las cuentas que retiramos por terrorismo son detectadas por nuestro equipo. Pero sabemos que podemos hacer mejor uso de la tecnología -y específicamente la inteligencia artificial- para detener la propagación del contenido terrorista en Facebook. Aunque nuestro uso de la IA contra el terrorismo es bastante reciente, ya está cambiando la manera en que mantenemos fuera de Facebook potencial propaganda y cuentas terroristas. Actualmente estamos enfocando nuestras técnicas más avanzadas en combatir el contenido terrorista sobre ISIS, Al Qaeda y sus afiliados, y esperamos expandirlas a otras organizaciones terroristas a su debido tiempo. Estamos constantemente actualizando nuestras soluciones técnicas, pero estos son algunos de nuestros actuales esfuerzos:

Comparación de imágenes. Cuando alguien intenta subir una foto o un video con contenido terrorista, nuestros sistemas analizan si la imagen coincide con una foto o video de terrorismo preexistente. Esto significa que si previamente eliminamos un video de propaganda de ISIS, podemos trabajar para evitar que otras cuentas suban el mismo video en nuestro sitio. En muchos casos eso significa que el contenido terrorista diseñado para su distribución en Facebook simplemente nunca llega a la plataforma.

Comprensión del lenguaje. Recientemente también comenzamos a experimentar con el uso de IA para entender aquellos textos que podrían ser propaganda terrorista. Actualmente estamos experimentando con el análisis de texto favorable a organizaciones como ISIS y Al Qaeda que ya hemos eliminado, con el fin de desarrollar señales basadas en texto para identificar propaganda terrorista. Este análisis entra en un algoritmo que se encuentra en las primeras etapas del aprendizaje sobre cómo detectar publicaciones similares. Los algoritmos de aprendizaje automático o “machine learning” trabajan en un bucle de retroalimentación y mejoran con el tiempo.

Eliminación de clusters terroristas. Sabemos por estudios sobre el terrorismo que éstos tienden a radicalizarse y operar en grupos. Y esa tendencia en el mundo real se refleja en el mundo online. De modo que cuando identificamos páginas, grupos, publicaciones o perfiles de apoyo al terrorismo, también usamos algoritmos para intentar identificar material relacionado que también puede apoyar el terrorismo. Utilizamos señales como, por ejemplo, si una cuenta es amiga de un número elevado de cuentas que han sido inhabilitadas por terrorismo, o si una cuenta comparte los mismos atributos que una cuenta inhabilitada.

Reincidencia. También hemos conseguido detectar mucho más rápido nuevas cuentas falsas creadas por reincidentes. A través de este trabajo logramos reducir dramáticamente el período de tiempo en que las cuentas de terroristas reincidentes permanecen en Facebook. Este es un trabajo constante, y los terroristas están también evolucionando continuamente sus métodos. Estamos constantemente identificando nuevas formas en que los actores terroristas tratan de eludir nuestros sistemas y actualizamos nuestras tácticas en consecuencia.

Colaboración entre plataformas. No queremos que los terroristas tengan un lugar en la familia de aplicaciones de Facebook, por eso hemos comenzado a trabajar en sistemas que nos permitan tomar medidas contra cuentas terroristas en todas nuestras plataformas, incluyendo WhatsApp e Instagram. Debido a los datos limitados que algunas de nuestras aplicaciones recopilan como parte de su servicio, la capacidad de compartir datos entre toda la familia es indispensable para nuestros esfuerzos por mantener todas nuestras plataformas seguras.

Expertise humana

La Inteligencia Artificial no puede detectarlo todo. Determinar qué apoya el terrorismo y qué no, no siempre es sencillo y los algoritmos no son tan buenos como las personas cuando se trata de comprender este tipo de contexto. Una foto de un hombre armado agitando una bandera de ISIS puede tratarse de propaganda o material de reclutamiento, pero también puede ser la imagen que ilustra a un artículo periodístico. Algunas de las críticas más efectivas a agrupaciones brutales como ISIS utilizan la misma propaganda de la organización en su contra. Y para comprender estos matices necesitamos de la experiencia humana.

Reportes y revisiones. Nuestra comunidad, es decir las personas en Facebook, nos ayuda a reportar cuentas o contenido que puede violar nuestras políticas, incluyendo la pequeña fracción que puede estar relacionada con el terrorismo. Nuestros equipos de Operaciones Comunitarias en todo el mundo –al que incorporaremos 3.000 personas durante el próximo año– trabajan las 24 horas del día y en decenas de idiomas para revisar estos informes y determinar su contexto. Esto puede ser un trabajo increíblemente difícil y apoyamos a estos revisores con asesoramiento in situ y entrenamiento de resiliencia.

Especialistas en terrorismo y seguridad. En el último año también hemos aumentado considerablemente nuestro equipo de especialistas en antitraterrorismo. En Facebook más de 150 personas se dedican exclusiva o principalmente a la lucha contra el terrorismo como su principal responsabilidad. Esto incluye a expertos académicos en antiterrorismo, ex fiscales, ex agentes de la ley, analistas e ingenieros. Dentro de este equipo especializado, hablamos casi 30 idiomas.

Amenazas en el mundo real. Cada vez usamos más la IA para identificar y eliminar el contenido terrorista, pero las computadoras no son muy buenas para identificar qué constituye una amenaza real que merece ser escalada a las autoridades. También contamos con un equipo global que responde en cuestión de minutos a las solicitudes de emergencia de las instituciones del orden público.

Asociaciones con terceros

Trabajar para mantener al terrorismo fuera de Facebook no es suficiente, porque ellos pasan de una plataforma a otra. Por eso es crucial asociarnos con terceros –incluyendo a otras compañías, la sociedad civil, investigadores y gobierno.

Cooperación con la industria. Para identificar y detener más rápidamente la propagación del contenido terrorista en línea nos unimos hace seis meses a Microsoft, Twitter y YouTube para anunciar una base de datos compartida de «hashes» -huellas digitales únicas de fotos y videos- para contenido producido por o en apoyo a organizaciones terroristas. Esta colaboración ha resultado fructífera y esperamos sumar más socios en el futuro. Agradecemos a las empresas asociadas por ayudar a mantener a Facebook un lugar seguro.

Gobiernos. Los gobiernos y agencias intergubernamentales cumplen con el papel clave de reunir y suministrar conocimientos técnicos, que a las empresas les resulta imposible desarrollar independientemente. Hemos aprendido mucho a través de informes de agencias en diferentes países sobre ISIS y los mecanismos de propaganda de Al Qaeda. También hemos participado y nos hemos beneficiado de esfuerzos para apoyar la colaboración de la industria por organizaciones como el Foro de Internet de la Unión Europea, la Coalición Global Contra Daesh y el Ministerio del Interior del Reino Unido.

Cifrado. Sabemos que los terroristas a veces usan mensajes cifrados para comunicarse. La tecnología de cifrado tiene muchos usos legítimos, desde proteger nuestras cuentas bancarias en línea hasta mantener nuestras fotos seguras. También es esencial para periodistas, trabajadores de ONGs, activistas de derechos humanos y otros que necesitan saber que sus mensajes permanecerán seguros. Debido a la forma en que funciona el cifrad, no podemos leer el contenido de los mensajes cifrados individuales, pero proporcionamos la información que podemos en respuesta a solicitudes de las autoridades, en conformidad con la ley aplicable y nuestras políticas.

Formación en contra discurso. También creemos que combatir las narrativas extremistas en línea es una parte valiosa de la respuesta al extremismo del mundo real. El contra discurso admite muchas formas, pero en su esencia se trata de esfuerzos para evitar que la gente lleve una vida llena de odio y violencia, o convencerla de abandonar ese tipo de vida. Pero este discurso solo es eficaz si proviene de fuentes creíbles. Por eso nos hemos asociado con ONGs y grupos comunitarios para potenciar las voces que más importan.

Programas de socios. Apoyamos varios programas importantes de contra discurso. Por ejemplo, el año pasado trabajamos con el Instituto para el Diálogo Estratégico para lanzar la Iniciativa de Coraje Civil Online, un proyecto junto a 100 organizaciones anti-odio y anti-extremismo en toda Europa. También hemos trabajado con Affinis Labs para realizar hackathons en lugares como Manila, Dhaka y Yakarta, donde los líderes de la comunidad se unieron a empresarios de tecnología para desarrollar soluciones innovadoras contra el extremismo y el odio en línea. Y, finalmente, el programa con mayor alcance global que hemos apoyado es un concurso de estudiantes organizado a través del P2P: Facebook Global Digital Challenge. En menos de dos años, el P2P ha alcanzado a más de 56 millones de personas en el mundo a través de más de 500 campañas contra el odio y el extremismo creadas por más de 5.500 estudiantes universitarios en 68 países.

Nuestro compromiso

Queremos que Facebook sea un lugar hostil para el terrorismo. El desafío para las comunidades online es el mismo que enfrentan las comunidades en el mundo físico: mejorar la detección temprana antes de que sea demasiado tarde. Estamos absolutamente comprometidos a mantener al terrorismo fuera de nuestra plataforma y continuaremos compartiendo más información sobre nuestro trabajo a medida que se desarrolle en el futuro.