Quando começamos a revisar conteúdo no Facebook, há mais de uma década, nosso sistema dependia de pessoas para relatar conteúdo que viam e consideravam inapropriado. Nossas equipes então revisavam e removiam instâncias individuais de conteúdo, caso violassem nossas regras. Muita coisa mudou desde então. Desenvolvemos regras mais transparentes e estamos estabelecendo um Comitê de Supervisão que, em breve, começará a revisar algumas de nossas decisões sobre conteúdo mais difíceis. Mas a maior mudança foi o papel da tecnologia na moderação de conteúdo. Como mostra nosso Relatório de Aplicação dos Padrões da Comunidade, nossa tecnologia para detectar violações de conteúdo está se aprimorando e desempenhando um papel mais importante na revisão de conteúdo. Nossa tecnologia nos ajuda em três áreas principais:
- Detecção Proativa: A inteligência artificial (IA) melhorou a ponto de poder detectar violações em uma ampla variedade de áreas sem depender de usuários para denunciar conteúdo ao Facebook, muitas vezes com maior precisão do que as denúncias de usuários. Isso nos ajuda a detectar conteúdo nocivo e evitar que ele seja visto por centenas ou milhares de pessoas.
- Automação: A IA também ajuda a escalar o trabalho de nossos revisores de conteúdo. Nossos sistemas de IA automatizam as decisões para certas áreas onde o conteúdo tem grande probabilidade de ser violador. Isso ajuda a escalar as decisões de conteúdo sem sacrificar a precisão para que nossos revisores possam se concentrar nas decisões em que é necessária mais perícia para entender o contexto e as nuances de uma situação específica. A automação também facilita a aplicação de medidas em denúncias idênticas, para que nossas equipes não tenham que perder tempo revisando as mesmas coisas várias vezes. Esses sistemas se tornaram ainda mais importantes durante a pandemia do COVID-19, com uma força de trabalho reduzida e amplamente remota para revisão de conteúdo.
- Priorização: Em vez de simplesmente observar o conteúdo denunciado em ordem cronológica, nossa IA prioriza o conteúdo mais crítico a ser revisado, seja ele denunciado ou detectado proativamente por nossos sistemas. Esse sistema de classificação prioriza o conteúdo mais nocivo aos usuários com base em vários fatores, como viralidade, gravidade de dano e probabilidade de violação. Em uma instância onde nossos sistemas têm quase certeza de que o conteúdo está violando nossas regras, eles podem removê-lo. Onde houver menos certeza, os sistemas irão priorizar o conteúdo para que equipes revisem.
Juntos, esses três aspectos da tecnologia transformaram nosso processo de revisão de conteúdo e melhoraram muito nossa capacidade de moderar conteúdo em grande escala. No entanto, ainda existem áreas em que é fundamental que revisores humanos façam a análise. Por exemplo, discernir se alguém é alvo de bullying pode ter muitas nuances e depender de contexto. Adicionalmente, a IA depende de uma grande quantidade de dados treinados por revisões feitas por nossas equipes para identificar padrões de comportamento significativos e encontrar conteúdo potencialmente violador.
É por isso que nosso sistema de revisão de conteúdo precisa de pessoas e tecnologia para ter sucesso. Nossas equipes se concentram em casos nos quais é essencial ter pessoas revisando e usamos a tecnologia para nos ajudar a dimensionar nossos esforços em áreas onde pode ser mais efetiva.
Usando mais a tecnologia
Para revisar violações como spam, usamos há anos uma abordagem que prioriza a automação com sucesso. Mais à frente, usaremos primeiro nossos sistemas automatizados para revisar mais conteúdo em todos os tipos de violação. Isso significa que nossos sistemas irão detectar e remover proativamente mais conteúdo quando houver uma probabilidade extremamente alta de violação e poderemos priorizar melhor o trabalho mais impactante para nossas equipes de revisão. Com essa mudança, nossas equipes ficarão menos propensas a revisar denúncias de menor gravidade que não estão sendo amplamente vistas ou compartilhadas em nossas plataformas, e fundamentalmente, eles também passarão mais tempo analisando apelações de usuários, bem como treinando e medindo a qualidade de nossos sistemas de automação. Isso nos ajudará a identificar novas tendências e responder a pessoas que tentam postar conteúdo violador de maneira adversa.
Continuaremos trabalhando para tornar nossa plataforma o mais segura possível, combinando os pontos fortes de pessoas e tecnologia para encontrar e remover conteúdo violador com mais rapidez.