Por Guy Rosen, VP Integrity
Hoy publicamos la cuarta edición de nuestro Informe de aplicación de Normas Comunitarias, que detalla nuestro trabajo en el segundo y tercer trimestre de 2019. Hemos añadido las métricas en diez políticas en Facebook y métricas en cuatro políticas de Instagram.
Estas métricas incluyen:
- Prevalencia: con qué frecuencia se vio el contenido que viola nuestras políticas
- Contenido en el que hemos tomado medidas: la cantidad de contenido sobre el que hemos tomado medidas porque hemos descubierto que ha violado nuestras políticas
- Índice proactivo: del contenido sobre el que tomamos medidas, cuánto se detectó antes de que alguien lo reportara
- Contenido apelado: cuánto contenido recurrió la gente después de que tomamos medidas
- Contenido restaurado: cuánto contenido se restauró después de que tomamos medidas inicialmente
También presentamos una nueva página para que las personas puedan ver ejemplos de cómo se aplican nuestras Normas Comunitarias a diferentes tipos de contenido y de dónde trazamos la línea.
Añadimos Instagram al informe
Por primera vez compartimos datos sobre cómo estamos haciendo cumplir nuestras políticas en Instagram. En este primer informe en el que se incluye Instagram, proporcionamos datos sobre cuatro áreas de nuestras políticas: desnudez infantil y explotación sexual infantil; bienes regulados – específicamente, venta ilegal de armas de fuego y drogas; suicidio y autolesiones; y propaganda terrorista. El informe no incluye apelaciones ni contenido restaurado para Instagram, ya que las apelaciones en Instagram se lanzaron en el segundo trimestre de este año, pero se incluirán en informes futuros.
Si bien utilizamos los mismos sistemas de detección proactiva para encontrar y eliminar contenido dañino tanto en Instagram como en Facebook, las métricas pueden ser diferentes en los dos servicios. Hay muchas razones para esto, incluidas las diferencias en las funcionalidades de las aplicaciones y cómo se usan (por ejemplo, Instagram no tiene enlaces, opción de compartir en muro, páginas ni grupos); los diferentes tamaños de nuestras comunidades; los lugares del mundo en el que las personas usan una aplicación más que otra; y donde hemos tenido una mayor capacidad para usar nuestra tecnología de detección proactiva hasta la fecha. Al comparar las métricas para ver dónde se han realizado progresos y dónde se necesitan más mejoras, alentamos a las personas a ver cómo cambian las métricas, trimestre a trimestre, en las áreas de políticas individuales dentro de una aplicación.
¿Qué otras novedades se presentan en la cuarta edición del informe?
- Datos sobre suicidio y autolesiones:
Detallamos cómo tomamos medidas sobre el contenido sobre suicidios y autolesiones. Estas áreas son sensibles y complejas, y trabajamos con expertos para garantizar que se tenga en cuenta la seguridad de todos. Eliminamos el contenido que representa o fomenta el suicidio o la autolesión, incluidas ciertas imágenes gráficas y representaciones en tiempo real que los expertos nos dicen que podrían llevar a otros a comportarse de manera similar. Colocamos una pantalla de advertencia del contenido que no viola nuestras políticas, pero que puede ser molesto para algunos, entre los que se encuentran elementos como heridas/cortes curadas u otras imágenes de autolesiones no gráficas en un contexto de recuperación. Recientemente, también fortalecimos nuestras políticas sobre autolesiones e hicimos mejoras en nuestra tecnología para encontrar y eliminar más contenido infractor.
-En Facebook, tomamos medidas sobre aproximadamente 2 millones de piezas de contenido en el segundo trimestre de 2019, de las cuales el 96,1% lo detectamos de manera proactiva, y hemos detectado un mayor progreso en el tercer trimestre cuando eliminamos 2,5 millones de piezas de contenido, de las cuales el 97,1% detectamos de manera proactiva
-En Instagram, vimos un progreso similar y eliminamos aproximadamente 835.000 piezas de contenido en el segundo trimestre de 2019, de las cuales el 77,8% lo detectamos de manera proactiva, y eliminamos aproximadamente 845.000 piezas de contenido en el tercer trimestre de 2019, de las cuales el 79,1% lo detectamos de manera proactiva.
- Ampliación de los datos sobre propaganda terrorista:
Nuestra política de Individuos y Organizaciones Peligrosas prohíbe a todas las organizaciones terroristas tener presencia en nuestras plataformas. Hasta la fecha, hemos identificado una amplia gama de grupos, en función de su comportamiento, como organizaciones terroristas. Los informes anteriores sólo incluían los esfuerzos que realizamos específicamente contra Al Qaeda, ISIS y sus aliados, ya que centramos nuestros esfuerzos de medición en los grupos que se entiende que representan la amenaza global más amplia. Ahora, hemos ampliado el informe para incluir las acciones que estamos llevando a cabo contra todas las organizaciones terroristas. Mientras que la tasa de detección y eliminación de contenido asociado con Al Qaeda, ISIS y sus aliados en Facebook se ha mantenido por encima del 99%, la tasa de detección proactiva de contenido vinculado a cualquier organización terrorista en Facebook es del 98,5% y en Instagram del 92,2%. Seguiremos invirtiendo en técnicas automatizadas para combatir el contenido terrorista e intensificaremos nuestras tácticas porque sabemos que los usuarios con malas intenciones seguirán cambiando las suyas.
- Prevalencia estimada de contenidos sobre suicidio y autolesiones, y de los bienes regulados: En este informe, estamos añadiendo por primera vez métricas de prevalencia para el contenido que viola nuestras políticas sobre suicidio, autolesiones y bienes regulados (venta ilegal de armas de fuego y drogas). Debido a que nos preocupa principalmente la frecuencia con la que la gente podría ver el contenido que viola nuestras políticas, medimos la “prevalencia”, o la frecuencia con la que la gente puede ver este contenido en nuestros servicios. En relación con el área normativa que aborda los problemas de seguridad más graves -desnudez infantil, explotación sexual infantil, productos regulados, suicidio, autolesiones y propaganda terrorista-, la probabilidad de que la gente vea contenidos que violan dichas políticas es muy baja, y eliminamos gran parte de ese contenido antes de que la gente lo vea. Como resultado, cuando tomamos muestras de contenido para medir la prevalencia de estas políticas, a menudo no encontramos suficientes de ellas que violen estas cláusulas, y en ocasiones ninguna, como para estimar de manera fiable un ratio. Sin embargo, podemos estimar un límite máximo de frecuencia con la que alguien vería contenido que violase estas políticas. En el tercer trimestre de 2019, este límite máximo fue de 0,04%. Lo que significa que, para cada una de estas políticas, de cada 10.000 visualizaciones en Facebook o Instagram en el tercer trimestre de 2019, estimamos que no más de 4 de esas visualizaciones presentaban contenido que violara esa política.
-También es importante señalar que cuando la prevalencia es tan baja que sólo podemos proporcionar límites máximos, este límite puede variar en centésimas de punto entre los períodos de reporte, pero cambios tan pequeños no demuestran que haya una diferencia real en la prevalencia de este contenido en la plataforma.
Avances para ayudar a mantener a las personas seguras
Hemos seguido intensificando nuestros esfuerzos para hacer cumplir nuestras políticas y aumentar la transparencia de nuestro trabajo en relación con los contenidos más perjudiciales contra los que luchamos. Además de los contenidos relacionados con el suicidio, las autolesiones y la propaganda terrorista, las métricas de la desnudez infantil y la explotación sexual de los niños, así como de los bienes regulados, demuestran este progreso. La inversión que hemos hecho en inteligencia artificial en los últimos cinco años sigue siendo un factor clave para abordar estos problemas. De hecho, los recientes avances en esta tecnología han contribuido a detectar y eliminar el contenido que viola nuestras políticas.
En lo que respecta a la desnudez infantil y explotación sexual de los niños, hemos introducido mejoras en nuestros procesos para añadir infracciones a nuestra base de datos interna con el fin de detectar y eliminar ejemplos adicionales del mismo contenido compartido en Facebook e Instagram, lo que nos permite identificar y eliminar más contenido infractor.
En Facebook:
- En el tercer trimestre de 2019, eliminamos alrededor de 11,6 millones de piezas de contenido, un aumento con respecto al primer trimestre de 2019, cuando eliminamos alrededor de 5,8 millones. Durante los últimos cuatro trimestres, detectamos proactivamente más del 99% del contenido que eliminamos por violar esta política.
Aunque es la primera vez que incluimos datos de Instagram, hemos progresado en los dos últimos trimestres, aumentando el contenido procesado y la tasa de proactividad en esta área:
- En el segundo trimestre de 2019, eliminamos alrededor de 512.000 piezas de contenido, de las cuales el 92,5% se detectó de forma proactiva.
- En el tercer trimestre, observamos un mayor progreso y eliminamos 754.000 piezas de contenido, de las cuales el 94,6% se detectó de forma proactiva.
En cuanto a nuestra política de productos regulados que prohíbe la venta ilegal de armas de fuego y drogas, las inversión continuada en nuestros sistemas de detección proactiva y los avances en nuestras técnicas de aplicación de la ley nos han permitido seguir avanzando a partir de los progresos realizados en el último informe.
En Facebook:
- En el tercer trimestre de 2019, eliminamos alrededor de 4,4 millones de piezas de contenido de venta de drogas, de las cuales el 97,6% se detectó de forma proactiva, un aumento con respecto al primer trimestre de 2019, cuando eliminamos alrededor de 841.000 piezas de contenido de venta de drogas, de las cuales el 84,4% se detectó de forma proactiva.
- También en el tercer trimestre de 2019, eliminamos alrededor de 2,3 millones de piezas de contenido de ventas de armas de fuego, de las cuales el 93,8% se detectó de forma proactiva, un aumento con respecto al primer trimestre de 2019, cuando eliminamos alrededor de 609.000 piezas de contenido de ventas de armas de fuego, de las cuales el 69,9% se detectó de forma proactiva.
En Instagram:
- En el tercer trimestre de 2019, eliminamos alrededor de 1,5 millones de piezas de contenido de venta de drogas, de las cuales el 95,3% se detectó de forma proactiva.
- En el tercer trimestre de 2019, eliminamos alrededor de 58.600 piezas de contenido de ventas de armas de fuego, de las cuales detectamos proactivamente el 91,3%.
Nuevas tácticas para combatir el discurso de odio
En los últimos dos años, hemos invertido en la detección proactiva del discurso de odio, de modo que podamos detectar este contenido nocivo antes de que la gente lo denuncie, a veces incluso antes de que alguien lo vea. Nuestras técnicas de detección incluyen la concordancia entre texto e imágenes, lo que significa que estamos identificando imágenes y cadenas de texto idénticas que han sido eliminadas previamente como discurso de odio, y también incluyen clasificadores de aprendizaje automático que observan aspectos como el lenguaje o las reacciones y comentarios a una determinada publicación, para evaluar si se ajusta a frases comunes, patrones y ataques que hayamos visto anteriormente en contenidos que violan nuestras políticas contra el odio.
En un principio, utilizábamos estos sistemas para detectar de forma proactiva posibles violaciones del discurso de odio y enviarlos a nuestros equipos de revisión de contenido, ya que cuando se trata de evaluar el contexto, las personas pueden hacerlo mejor que la Inteligencia Artificial. A partir del segundo trimestre de 2019, y gracias a los continuos avances en la capacidad de nuestros sistemas para detectar correctamente las infracciones, hemos comenzado a eliminar algunos mensajes automáticamente, pero sólo en determinados casos en los que el contenido es idéntico o casi idéntico al que nuestro equipo de revisión de contenido había eliminado anteriormente por violar nuestra política, o en casos en los que el contenido se ajusta muy estrechamente a los ataques comunes que violan nuestra política. Solo hacemos esto en ejemplos seleccionados, y solo es posible porque nuestros sistemas automáticos han sido entrenados con cientos de miles -millones incluso- de ejemplos de contenidos diferentes que violaban las normas y de ataques comunes. En todos los demás casos en los que nuestros sistemas detectan de forma proactiva la posible incitación al odio, el contenido se envía a nuestros equipos de revisión para tomar la decisión final. Con esta evolución en nuestros sistemas de detección, nuestra tasa de identificación de contenidos de forma proactiva ha aumentado del 68% en nuestro último informe al 80%, y hemos aumentado la cantidad de contenido que encontramos y eliminamos por violar nuestra política de discurso de odio.
Aunque estamos contentos con este progreso, estas tecnologías no son perfectas y sabemos que aún puede haber errores. Por eso continuaremos invirtiendo tanto en sistemas que nos permitan mejorar nuestra precisión en la eliminación del contenido que infringe nuestras políticas, al mismo tiempo que salvaguardamos el contenido que pretende informar o condenar el discurso de odio. Al igual que revisamos las decisiones tomadas por nuestro equipo de revisión de contenidos para asegurar la precisión de nuestras decisiones, nuestros equipos revisan rutinariamente las eliminaciones realizadas por nuestros sistemas automatizados, para asegurarnos de que estamos aplicando nuestras políticas correctamente. También volvemos a revisar de nuevo ciertos contenidos, cuando una persona apela y nos informa de que cometimos un error al eliminar su mensaje.
Actualización en las métricas
Desde nuestro último informe realizado este verano y tras identificar un problema en las métricas, hemos mejorado la forma en que medimos la cantidad de contenido sobre el que tomamos acción. En este nuevo informe, por tanto, hemos actualizado todas las métricas que compartimos anteriormente sobre contenido en el que hemos tomado medidas, tasa proactiva, contenido apelado y contenido restaurado, correspondientes a los períodos del tercer trimestre de 2018 al primer trimestre de 2019.
No obstante, durante estos trimestres, el problema en nuestro proceso de contabilidad no afectó a la forma en que aplicamos nuestras políticas ni a cómo informamos a la gente sobre esas acciones; sólo afectó la forma en que contabilizamos las acciones que tomamos. Por ejemplo, si un mensaje que contiene una foto viola nuestras políticas, queremos que nuestra métrica refleje que tomamos una sola acción en ese contenido como tal – no dos acciones separadas para eliminar la foto por un lado y la publicación por otro. Sin embargo, en julio de 2019, nos dimos cuenta de que los sistemas que registraban y contaban estas acciones no siempre lo hacían de la forma correcta. Esto se debió en gran medida a la necesidad de contabilizar múltiples acciones que tienen lugar en unos pocos milisegundos, intentando al mismo tiempo no pasar por alto, o exagerar, ninguna de las acciones que se tomaron.
Continuaremos perfeccionando los procesos que utilizamos para medir nuestras acciones y construir un sistema robusto, para asegurar que las métricas que proporcionamos sean exactas. Tienes más detalles sobre estos procesos aquí.