Cuando empezamos a revisar contenido en Facebook, hace ya más de una década, nuestro sistema se basaba en los reportes que hacían las personas de cosas que veían y consideraban inapropiadas. Luego, nuestros equipos revisaban y removían piezas de contenido de forma individual, en caso de que estas violaran nuestras políticas. Mucho ha cambiado desde entonces.
Hemos desarrollado reglas más transparentes y estamos estableciendo un Consejo Asesor que pronto empezará a revisar algunas de nuestras decisiones de contenido más difíciles. Pero el mayor cambio ha sido el rol de la tecnología en la moderación de contenido. Como lo muestra el Informe de cumplimiento de Normas Comunitarias, nuestra tecnología para detectar violaciones de las políticas está mejorando y jugando un papel cada vez más importante en la revisión de contenido. Nuestra tecnología nos ayuda en tres áreas principales:
- Detección proactiva: La Inteligencia Artificial (IA) ha mejorado al punto que puede detectar violaciones en diferentes áreas sin depender de los reportes de contenido de los usuarios de Facebook, la mayoría de las veces con más precisión que los reportes hechos por los usuarios. Esto nos ayuda a detectar contenido dañino y evitar que sea visto por cientos o miles de personas.
- Automatización: La IA también ayuda a escalar el trabajo de nuestros revisores de contenido. Nuestros sistemas de IA automatizan las decisiones para ciertas áreas en donde es muy probable que el contenido sea violatorio. Esto nos ayuda a escalar las decisiones de contenido sin sacrificar la precisión, lo que permite a nuestros revisores de contenido enfocarse en decisiones que requieren de mayor especialización para entender el contexto y los factores de una situación particular. La automatización también facilita que se tomen acciones en reportes idénticos, para que nuestros equipos no inviertan tiempo revisando el mismo contenido varias veces. Estos sistemas se volvieron aún más importantes durante la pandemia por COVID-19 con una fuerza laboral de revisores de contenido trabajando mayoritariamente desde casa.
- Priorización: En lugar de simplemente revisar el contenido en orden cronológico, nuestra IA prioriza el contenido más crítico para que sea revisado, ya sea aquel que nos reportan o el que detectan nuestros sistemas de forma proactiva. Este sistema prioriza el contenido que es más dañino para los usuarios, basado en múltiples factores como viralidad, severidad de daño y probabilidad de violación. En un caso en el que nuestros sistemas detectan que hay una probabilidad alta de que el contenido infringe nuestras normas, es posible que lo eliminen. En casos en donde hay menor certeza, los sistemas priorizan el contenido para que sea revisado por los equipos.
Juntos, estos tres aspectos de la tecnología han transformado nuestro proceso de revisión de contenido y mejorado ampliamente nuestra habilidad para moderar contenido a escala. Sin embargo, sigue habiendo áreas en donde es crítico que haya personas a cargo de la revisión. Por ejemplo, discernir si alguien es víctima de acoso depende en gran medida del contexto y de muchos otros factores. Adicionalmente, la IA se basa en una gran cantidad de datos de entrenamiento de las revisiones realizadas por nuestros equipos para identificar patrones de comportamiento significativos e identificar contenido potencialmente violatorio.
Por ello, nuestro sistema de revisión de contenido necesita tanto de las personas como de la tecnología para ser exitoso. Nuestros equipos se concentran en casos en donde es esencial que haya personas revisando y aprovechamos la tecnología para escalar nuestros esfuerzos en áreas en donde puede ser más efectivo.
Usando más la tecnología
Para revisar violaciones como el spam hemos usado con éxito la automatización durante años. De cara al futuro, usaremos nuestros sistemas de automatización para revisar más contenido en todo tipo de violaciones. Esto significa que nuestros sistemas detectarán y removerán proactivamente más contenido cuando haya una probabilidad extremadamente alta de que haya una infracción y podremos priorizar mejor el trabajo de mayor impacto para nuestros equipos de revisión. Con este cambio, será menos probable que nuestros equipos revisen reportes de menor severidad que no están siendo vistos ni compartidos por un gran número de personas en nuestras plataformas, y más importante aún, dedicarán más tiempo revisando las apelaciones de los usuarios y entrenando y midiendo la calidad de nuestros sistemas automáticos. Esto nos ayudará a identificar nuevas tendencias y responder a las personas que están intentado publicar contenido violatorio de forma adversativa.
Continuaremos trabajando para hacer que nuestra plataforma sea lo más segura posible, combinando las fortalezas de las personas y la tecnología para detectar y remover contenido violatorio de forma más rápida.