Por Guy Rosen, Vicepresidente de Integridad
Hoy publicamos la cuarta edición del Informe de Cumplimiento de nuestras Normas Comunitarias, detallando las acciones del segundo y el tercer trimestre del 2019. Este reporte contempla estadísticas de diez categorías en el caso de Facebook y de cuatro para Instagram.
Los datos incluyen:
- Prevalencia: frecuencia con la que es visto contenido que viola nuestras políticas.
- Acciones sobre el contenido: volumen de contenido sobre el que actuamos por violar nuestras políticas.
- Tasa de proactividad: cantidad de contenido sobre el que actuamos, y que fue detectado por nuestros sistemas antes de que alguien lo reportara.
- Contenido apelado: cantidad de contenido apelado tras la actuación inicial.
- Contenido restaurado: cantidad de contenido restaurado tras la actuación inicial.
También presentamos una nueva página con ejemplos de cómo se aplican nuestras Normas Comunitarias sobre los diferentes tipos de contenido, y el lugar donde trazamos la línea.
Sumamos a Instagram al informe
Por primera vez, incorporamos datos sobre la aplicación de nuestras políticas en Instagram. En este primer informe, proporcionamos estadísticas en cuatro categorías: desnudez infantil, explotación sexual infantil; bienes regulados -específicamente, venta ilícita de armas de fuego y drogas-, suicidio y autolesiones; y propaganda terrorista. En esta ocasión no incluimos datos de apelaciones ni contenido restaurado, ya que el sistema que permite recurrir una decisión en Instagram fue introducido en el segundo trimestre de este año. Esa información será incluida en reportes futuros.
Si bien utilizamos los mismos sistemas de detección proactiva para encontrar y eliminar contenido malicioso en Instagram y Facebook, los datos pueden diferir en ambos servicios. Existen numerosas razones para esto, incluidas diferencias en las funcionalidades de las aplicaciones y cómo son usadas -por caso, Instagram no emplea links, compartir más de una vez en el feed, Páginas o Grupos-, los diferentes tamaños de nuestras comunidades, lugares en donde las personas utilizan una aplicación más que la otra, y dónde hemos tenido más capacidad para usar nuestra tecnología de detección proactiva. Al comparar los datos para identificar nuestro progreso y los lugares donde tenemos que mejorar, recomendamos a las personas analizar cómo cambian las mediciones, trimestre a trimestre, en las categorías individuales dentro de una misma aplicación.
Otras Novedades de la Cuarta Edición del Reporte
Datos sobre suicidio y autolesiones: en este informe comenzamos a detallar la forma en que actuamos sobre el contenido vinculado a suicidios y autolesiones. Esta es un área es sensible y compleja, y trabajamos con especialistas para garantizar que la seguridad de todos sea considerada. Eliminamos el contenido que representa o fomenta el suicidio o la autolesión, incluidas ciertas imágenes y representaciones en tiempo real que, según expertos, podrían llevar a otros a comportarse de manera similar. Colocamos una pantalla sobre el contenido que no viola nuestras políticas, pero que puede ser delicado para algunas personas, como cortes ya sanados u otros elementos no gráficos acerca de la recuperación de ese tipo de lesiones. Recientemente, también fortalecimos nuestras políticas sobre autolesiones y optimizamos nuestra tecnología para encontrar y eliminar contenido violatorio de nuestras normas.
- En Facebook actuamos sobre aproximadamente 2 millones de piezas de contenido en el segundo trimestre del 2019, de las cuales el 96,1% fue detectado proactivamente. Registramos un progreso mayor en el tercer trimestre, donde eliminamos 2,5 millones de piezas y detectamos de manera proactiva al 97,1%.
- En Instagram, eliminamos aproximadamente 835.000 piezas en el segundo trimestre del 2019, de las cuales el 77,8% fue detectada proactivamente, y en el tercer trimestre del 2019, removimos aproximadamente 845.000 piezas, de las cuales el 79,1% fue detectado proactivamente.
Ampliación de datos sobre propaganda terrorista: nuestra Política sobre Individuos y Organizaciones Peligrosas prohíbe la presencia de grupos terroristas en nuestros servicios. A la fecha, hemos logrado identificar un amplio espectro de organizaciones terroristas en base a su comportamiento. Los reportes anteriores solo incluían nuestro trabajo sobre Al Qaeda, ISIS y sus afiliados, porque enfocamos nuestros esfuerzos de medición en aquellos grupos que representaban la mayor amenaza global. Ahora, ampliamos el reporte para incluir las acciones contra todas las organizaciones terroristas. Detectamos y eliminamos más del 99% del contenido en Facebook asociado con Al Qaeda, ISIS y sus afiliados. La tasa de detección proactiva de contenido asociado a cualquier organización terrorista en Facebook es del 98,5%, y en Instagram, del 92,2%. Continuaremos invirtiendo en técnicas automatizadas para combatir este tipo de contenido y para mejorar nuestras tácticas, porque sabemos que los actores maliciosos continuarán modificando las suyas.
Estimación de la prevalencia de contenido vinculado al suicidio, las autolesiones y los bienes regulados: en este reporte, agregamos por primera vez estadísticas de prevalencia para contenido que viola nuestras políticas sobre suicidio, autolesiones y bienes regulados (venta ilícita de armas de fuego y drogas). Nuestro principal foco es la frecuencia con la que las personas pueden ver contenido violatorio de nuestras políticas, y es por eso que medimos la prevalencia o la frecuencia de exposición a este tipo de contenido. En lo que respecta a las categorías más severas – desnudez infantil y explotación sexual de niños, bienes regulados, suicidio y autolesiones, y propaganda terrorista – la probabilidad de que las personas vean contenido es muy baja, y eliminamos la mayor parte de ese material mucho antes de que las personas lo vean. Como resultado, cuando analizamos una muestra de contenido para medir la tasa de prevalencia de estas categorías no encontramos suficientes datos, y en ocasiones ni siquiera eso, para construir una estimación confiable. En cambio, sí podemos estimar el límite máximo de la frecuencia con la que alguien verá contenido de esas categorías. En el tercer trimestre del 2019, ese valor máximo fue de 0,04%. Esto significa que para cada una de estas categorías, de cada 10.000 visualizaciones en Facebook o Instagram registradas durante ese período, no más de 4 eran piezas que violaban nuestras políticas.
- También es importante tener en cuenta que cuando la prevalencia es tan baja, que solo nos permite establecer límites máximos, ese tope puede cambiar en algunas centésimas de un punto porcentual entre los períodos. Pero esos cambios son muy pequeños como para marcar una diferencia real en la prevalencia de ese tipo de contenido en la plataforma.
Nuestros avances para ayudar a mantener a las personas seguras
Seguimos fortaleciendo nuestros esfuerzos para aplicar nuestras políticas y brindar una mayor transparencia en todas las categorías más nocivas. Este progreso se refleja en las categorías de suicidio y autolesiones, propaganda terrorista, desnudez infantil y explotación sexual de niños, y de bienes regulados. Las inversiones que realizamos en inteligencia artificial a lo largo de los últimos cinco años continúan siendo un factor clave para abordar estos problemas. De hecho, los avances recientes en esta tecnología han ayudado a detectar y eliminar contenido violatorio de nuestras normas.
En materia de desnudez infantil y explotación sexual de niños, hemos mejorado nuestros procesos mediante los cuales agregamos distintas violaciones a nuestra base de datos interna con el fin de detectar y eliminar instancias adicionales del mismo contenido compartido en Facebook e Instagram, lo que nos permite identificar y remover más contenido no permitido.
En Facebook:
- En el tercer trimestre del 2019, eliminamos aproximadamente 11,6 millones de piezas de contenido, en comparación con el primer trimestre de ese mismo año, cuando removimos aproximadamente 5,8 millones. Durante los últimos cuatro trimestres, detectamos proactivamente más del 99% del contenido que eliminamos por violar esta política.
Si bien incluimos datos de Instagram por primera vez, en estas categorías hemos aumentado tanto nuestras acciones como la tasa de proactividad en los últimos dos trimestres:
- En el segundo trimestre del 2019, eliminamos unas 512.000 piezas, de las cuales el 92,5% fueron detectadas proactivamente.
- En el tercer trimestre, registramos un mayor progreso y eliminamos 754.000 piezas, con el 94,6% detectadas proactivamente.
Para nuestra política sobre bienes regulados, que prohíbe la venta ilícita de armas de fuego y drogas, la constante inversión en sistemas de detección proactiva y los avances en nuestras técnicas de aplicación nos han permitido progresar desde el informe anterior.
En Facebook:
- En el tercer trimestre del 2019, eliminamos cerca de 4,4 millones de piezas ligadas a la venta de drogas, con una tasa de detección proactiva del 97,6%, por encima de las cerca de 841.000 piezas removidas en el primer trimestre del año, con una tasa del 84,4% de detección proactiva.
- También en el tercer trimestre del 2019 eliminamos aproximadamente 2,3 millones de piezas sobre ventas de armas de fuego, con una tasa de detección proactiva del 97,3%, superando las 609.000 piezas del primer trimestre de ese mismo año, con una tasa de detección proactiva del 69,9%.
En Instagram:
- En el tercer trimestre de 2019, eliminamos aproximadamente 1,5 millones de piezas asociadas a la venta de drogas, con una tasa de detección proactiva del 95,6%.
- En el tercer trimestre de 2019, removimos unas 58.600 piezas sobre ventas de armas de fuego, con una tasa de detección proactiva del 91,3%.
Nuevas tácticas para combatir el discurso del odio
En los últimos dos años, invertimos en la detección proactiva del discurso de odio para poder identificar este contenido antes de que sea reportado, o incluso antes de que alguien lo vea. Nuestras técnicas de detección incluyen matching de texto e imagen, lo que nos permite identificar imágenes y cadenas idénticas de texto que ya han sido eliminadas por contenter discurso de odio; y clasificadores de aprendizaje automático que analizan el lenguaje, o las reacciones y comentarios a una publicación, para evaluar qué tanto coinciden con frases, patrones y ataques comunes que ya hemos identificado en el pasado.
Inicialmente, utilizamos estos sistemas para detectar proactivamente posible discurso de odio y enviarlo a nuestros equipos de revisión de contenido, ya que las personas pueden interpretar el contexto de una publicación con más precisión que la inteligencia artificial. A partir del segundo trimestre del 2019, gracias al progreso de nuestros sistemas, comenzamos a eliminar textos o imágenes en forma automática en casos donde el contenido es idéntico, o casi idéntico, a uno ya eliminado previamente por nuestro equipo de revisión humana. Solo usamos esta práctica en casos específicos, gracias a que nuestros sistemas automatizados han sido entrenados con cientos de miles, sino millones, de diferentes ejemplos de contenido violatorio y ataques comunes. En todos los demás casos, cuando nuestros sistemas detectan posible discurso de odio, el contenido aún es cursado a nuestros equipos de revisión para una decisión final. Con estas mejoras, nuestra tasa de proactividad ha aumentado al 80% (desde el 68% del último informe) y hemos aumentado la cantidad de volumen de contenido que encontramos y eliminamos por violar nuestras políticas contra el discurso de odio.
Si bien estamos satisfechos con este progreso, este tipo de tecnología no es perfecta y pueden producirse errores. Es por eso que continuaremos invirtiendo en sistemas que nos permitan mejorar nuestra precisión en la remoción de contenido que viole nuestras políticas y salvaguardar el contenido que debate o condena el discurso de odio. De manera similar a como examinamos las decisiones tomadas por nuestros equipos de revisión de contenido para asegurar la precisión de nuestras decisiones, también analizamos rutinariamente los contenidos eliminados por nuestros sistemas automatizados. También seguimos revisando contenido cuando nuestras decisiones son apeladas y nos comunican que cometimos un error al eliminar su publicación.
Actualizamos nuestras estadísticas
Desde nuestro último informe, hemos mejorado la forma en que medimos la cantidad de contenido sobre el que actuamos después de identificar un problema en nuestras mediciones. En esta ocasión, estamos actualizando los números previos del contenido sobre el que actuamos, la tasa de proactividad, el contenido que fue apelado, y el que fue restaurado, para el período entre el tercer trimestre del 2018 y el primer trimestre del 2019.
Durante esos trimestres, el problema con nuestros procesos contables no afectó la forma en que aplicamos nuestras políticas o cómo informamos a las personas sobre esas acciones; solo impactó en cómo contamos nuestras intervenciones. Por ejemplo, si descubrimos que una publicación que contiene una foto viola nuestras políticas, queremos que nuestra medición refleje que actuamos sobre una pieza de contenido, y no dos acciones diferentes para eliminar la foto y la publicación. Sin embargo, en julio del 2019, descubrimos que los sistemas que registran y cuentan estas acciones no las contabilizaron correctamente, debido en gran medida a la necesidad de contar varias acciones que ocurren en unos pocos milisegundos y no omitir, ni exagerar, ninguna de las acciones individuales tomadas.
Continuaremos refinando los procesos para construir un sistema robusto que garantice estadísticas precisas. Compartimos más detalles sobre estos procesos aquí.
Información adicional sobre estadísticas de remoción de contenido ligadas al ataque en Christchurch aquí