Por Guy Rosen, vice-presidente de Gerenciamento de Produto
Existem duas maneiras de tirar conteúdos impróprios, como vídeos terroristas, discurso de ódio, pornografia ou violência, do Facebook: retirar quando alguém faz uma denúncia, ou proativamente usando tecnologia. Ambas são importantes. Mas os avanços na tecnologia, incluindo inteligência artificial, machine learning e visão computacional, significam que agora podemos:
- Remover conteúdos impróprios com mais rapidez, pois nem sempre temos que esperar que eles sejam denunciados. No caso do suicídio, isso pode significar a diferença entre a vida e a morte. Porque, assim que nossa tecnologia identifica que alguém expressou pensamentos sobre suicídio, podemos oferecer ajuda ou trabalhar com socorristas, o que já fizemos em milhares de casos.
- Obter mais conteúdo, mais uma vez, porque não precisamos esperar que outra pessoa o encontre. Como anunciamos há duas semanas, durante o primeiro trimestre de 2018, por exemplo, removemos proativamente quase dois milhões de conteúdos do Estado Islâmico e da al-Qaeda – 99% dos quais foram removidos antes que alguém fizesse uma denúncia no Facebook.
- Aumentar a capacidade de nossa equipe de revisão para trabalhar em casos nos quais expertise humana é necessária para entender o contexto ou as nuances de uma situação específica. Por exemplo; alguém está fazendo um relato sobre o próprio vício em drogas? Ou está encorajando outras pessoas a consumir drogas?
Levou tempo para desenvolvermos este software – e estamos constantemente tentando melhorar ele. Fazemos isso ao analisar casos específicos de conteúdos impróprios denunciados e removidos, identificando um padrão de comportamento. Esses padrões podem ser usados para ensinar nosso software de forma que ele encontre proativamente outros casos semelhantes.
- Nudez e violência gráfica: esses são dois tipos muito diferentes de conteúdo, mas estamos usando as melhorias da visão computacional para remover proativamente ambos.
- Discurso de ódio: entender o contexto do discurso normalmente requer uma visão humana – o conteúdo em questão é realmente odioso, ou ele está sendo usado para condenar e aumentar a conscientização sobre o discurso de ódio? Começamos a usar a tecnologia para detectar de forma proativa algo que possa violar nossas políticas, começando com determinados idiomas, como inglês e português. Em seguida, nossas equipes de revisão analisam o conteúdo e o que está dentro das regras continua no ar, como por exemplo alguém que descreve algo odioso com o intuito de aumentar a conscientização sobre o problema.
- Contas falsas: bloqueamos milhões de contas falsas todos os dias quando são criadas, antes que elas possam causar algum dano. Isso é importante na luta contra o spam, notícias falsas, desinformação e anúncios impróprios. Recentemente, começamos a usar inteligência artificial para detectar contas vinculadas a golpes financeiros.
- Spam: a maior parte do nosso trabalho de combate ao spam é feita automaticamente usando padrões reconhecíveis de comportamento problemático. Se uma conta, por exemplo, estiver publicando um mesmo conteúdo várias vezes em um curto período de tempo, esse é um sinal de que algo está errado.
- Propaganda terrorista: a grande maioria de conteúdo deste tipo é removida automaticamente, sem a necessidade de alguém fazer a denúncia.
- Prevenção ao suicídio: conforme explicado acima, identificamos proativamente publicações que podem mostrar que pessoas estão em risco para que obtenham ajuda.
Quando falo de tecnologia como inteligência artificial, visão computacional ou machine learning, as pessoas perguntam por que não estamos progredindo com mais rapidez. E é uma boa pergunta. A inteligência artificial, por exemplo, é muito promissora, mas ainda está longe de ser eficaz para todos os tipos de conteúdos impróprios, uma vez que o contexto é algo tão importante. É por isso que ainda temos pessoas revisando denúncias.
E, de maneira mais geral, a tecnologia precisa de grandes quantidades de dados para ser treinada para reconhecer padrões significativos de comportamento, que muitas vezes não temos em alguns idiomas ou para casos que não são tão denunciados. É por isso que normalmente conseguimos fazer mais em inglês, por ser o maior conjunto de dados que temos no Facebook.
Mas estamos investindo em tecnologia para aumentar nossa precisão em novos idiomas. Por exemplo, o Facebook AI Research (FAIR) está trabalhando em uma área chamada incorporação multi línguas, como uma maneira de endereçar esse desafio da linguagem. E é por isso que às vezes podemos pedir feedback às pessoas sobre se algumas publicações têm determinados tipos de conteúdo, as incentivando a sinalizá-las para revisão. É por isso também que as denúncias das pessoas no Facebook são tão importantes – por isso, continuem denunciando. Porque trabalhando juntos podemos ajudar a tornar o Facebook mais seguro para todos.