Por Guy Rosen, VP de Integridade
Hoje estamos publicando a quarta edição do nosso Relatório de Aplicação dos Padrões da Comunidade, detalhando nosso trabalho durante o segundo e terceiro trimestres de 2019. Agora, incluímos métricas de dez políticas do Facebook e de quatro políticas do Instagram.
Essas métricas incluem:
- Prevalência: a frequência com que um conteúdo que viola nossas políticas foi visualizado
- Conteúdo que sofreu sanções: a quantidade de conteúdos que acionamos porque violavam nossas políticas
- Taxa proativa: dos conteúdos que removemos, quanto foi detectado pelos nossos sistemas antes mesmo que alguém fizesse uma denúncia
- Conteúdo contestado: a quantidade de conteúdos para os quais as pessoas fizeram uma apelação depois de termos tomado uma medida
- Conteúdo restaurado: a quantidade de conteúdos restaurados após uma sanção inicial
Também lançamos hoje uma nova página para que as pessoas possam ver exemplos de como nossos Padrões da Comunidade se aplicam a diferentes tipos de conteúdo e onde estabelecemos limites.
Incluindo o Instagram no relatório
Pela primeira vez, estamos compartilhando dados sobre como estamos aplicando nossas políticas no Instagram. Neste primeiro relatório para o Instagram, estamos fornecendo dados de políticas de quatro áreas: nudez infantil e exploração sexual de crianças; produtos controlados – especificamente, venda ilegal de armas de fogo e drogas; automutilação e suicídio; e propaganda terrorista. O relatório não inclui métricas de apelações e restaurações de conteúdo no Instagram, já que o procedimento de apelação no Instagram foi lançado apenas no segundo trimestre deste ano, mas elas serão incluídas em relatórios futuros.
Apesar de usarmos os mesmos sistemas de detecção proativa para encontrar e remover conteúdo nocivo no Instagram e no Facebook, as métricas podem ser diferentes nos dois serviços. Há muitas razões para isso, incluindo as diferenças nas funcionalidades dos aplicativos e como eles são usados – por exemplo, o Instagram não tem links, re-compartilhamentos no feed, Páginas ou Grupos; os diferentes tamanhos de nossas comunidades, os lugares em que as pessoas no mundo usam mais um aplicativo do que outro e onde temos mais capacidade para usar a tecnologia de detecção proativa até o momento. Ao comparar métricas para ver onde foram feitos progressos e onde são necessárias melhorias, incentivamos as pessoas a ver como as métricas têm mudado a cada trimestre em cada uma das áreas das nossas políticas dos aplicativos.
O que mais é novo na quarta edição do relatório
- Dados sobre suicídio e automutilação: agora estamos detalhando como agimos com relação a conteúdos de suicídio e automutilação. Essa área é, ao mesmo tempo, sensível e complexa, e trabalhamos com especialistas para garantir a segurança de todos. Removemos conteúdos que retratam ou incentivam o suicídio ou a automutilação, incluindo certas imagens gráficas e representações em tempo real que os especialistas nos dizem que podem levar outras pessoas a ter comportamentos semelhantes. Colocamos uma tela de sensibilidade sobre o conteúdo que não viola nossas políticas, mas que pode ser perturbador para alguns, incluindo itens como cortes curados ou outras imagens de ferimentos não gráficos em um contexto de recuperação. Recentemente, também reforçamos nossas políticas de auto-mutilação e fizemos melhorias em nossa tecnologia para encontrar e remover mais conteúdos violadores.
- No Facebook, acionamos cerca de 2 milhões de conteúdos no segundo trimestre de 2019, dos quais 96,1% foram detectados proativamente, e vimos um progresso ainda maior no terceiro trimestre ao removermos 2,5 milhões de conteúdos, dos quais 97,1% foram detectados de forma proativa.
- No Instagram, vimos um progresso semelhante e removemos cerca de 835 mil conteúdos no segundo trimestre de 2019, dos quais 77,8% foram detectados proativamente. No terceiro trimestre de 2019, removemos cerca de 845 mil conteúdos, dos quais 79,1% foram detectados de forma proativa.
- Mais dados sobre propaganda terrorista: nossa política sobre Organizações e Indivíduos Perigosos proíbe todas as organizações terroristas de estarem presentes em nossos serviços. Até o momento, identificamos uma ampla gama de grupos, com base em seu comportamento, como organizações terroristas. Relatórios anteriores incluíam apenas nossos esforços especificamente contra a Al Qaeda, o Estado Islâmico e suas afiliadas, pois concentrávamos nossos esforços nos grupos considerados como ameaças globais mais amplas. Agora, expandimos o relatório para incluir as ações que estamos tomando contra todas as organizações terroristas. Enquanto a taxa na qual detectamos e removemos o conteúdo associado à Al Qaeda, o Estado Islâmico e suas afiliadas no Facebook permaneceu acima de 99%, a taxa na qual detectamos proativamente o conteúdo afiliado a qualquer organização terrorista no Facebook é de 98,5% e no Instagram é de 92,2%. Continuaremos a investir em técnicas automatizadas para combater conteúdo terrorista e a replicar nossas táticas, pois sabemos que os maus atores continuarão a mudar as deles.
- Estimando a prevalência de conteúdo de suicídio e automutilação e de produtos regulamentados: neste relatório, estamos adicionando métricas de prevalência para conteúdos que violam nossas políticas de suicídio e automutilação e produtos regulamentados (vendas ilícitas de armas de fogo e drogas) pela primeira vez. Como nos preocupamos mais com a frequência com que as pessoas veem os conteúdos que violam nossas políticas, medimos a prevalência ou a frequência com que as pessoas são expostas a esse conteúdo em nossos serviços. Para as políticas voltadas às preocupações mais graves de segurança – como nudez infantil e exploração sexual de crianças, produtos regulamentados, suicídio e automutilação e atividade terrorista – a probabilidade de as pessoas verem esses conteúdos é muito baixa e removemos os conteúdos muito antes que as pessoas tenham acesso a eles. Como resultado, quando levantamos amostras de visualizações de conteúdos para medir a prevalência para essas políticas, muitas vezes não encontramos exemplos violadores suficientes ou, às vezes, nenhum, para estimar com segurança uma métrica. Em vez disso, podemos estimar um limite máximo de quantas vezes alguém veria conteúdos que violem essas políticas. No terceiro trimestre de 2019, esse limite foi de 0,04%. Isso significa que, para cada uma dessas políticas, a cada 10 mil visualizações no Facebook ou no Instagram no terceiro trimestre de 2019, estimamos que não mais do que 4 visualizações continham conteúdo que violasse essa política.
- Também é importante observar que, quando a prevalência é tão baixa que só podemos fornecer estimativas, esse limite pode mudar alguns centésimos de pontos percentuais entre os períodos do relatório, mas alterações pequenas não significam que haja uma diferença real na prevalência desse conteúdo na plataforma.
Avanços para ajudar a manter as pessoas seguras
Em todos tipos mais nocivos de conteúdos que trabalhamos para combater, continuamos a fortalecer nossos esforços para aplicar nossas políticas e trazer mais transparência ao nosso trabalho. Além dos conteúdos sobre suicídio e automutilação e sobre atividade terrorista, as métricas para nudez infantil e exploração sexual de crianças, bem como produtos regulamentados, demonstram esse progresso. Os investimentos que fizemos em inteligência artificial nos últimos 5 anos continuam sendo um fator-chave no enfrentamento dessas questões. Na verdade, os recentes avanços nessa tecnologia ajudaram na taxa de detecção e remoção de conteúdo violador.
Para a política Nudez infantil e exploração sexual de crianças, aprimoramos nossos processos para adicionar exemplos de violações ao nosso banco de dados interno, a fim de detectar e remover conteúdos similares adicionais do mesmo conteúdo compartilhado no Facebook e Instagram, permitindo identificar e remover mais conteúdos violadores.
No Facebook:
- No terceiro trimestre de 2019, removemos cerca de 11,6 milhões de conteúdos, contra cerca de 5,8 milhões removidos no primeiro trimestre de 2019. Nos últimos quatro trimestres, detectamos proativamente mais de 99% dos conteúdos removidos por violar essa política.
Embora estejamos incluindo os dados de Instagram pela primeira vez, fizemos progressos, aumentando o conteúdo derrubado e a taxa proativa nessa área nos últimos dois trimestres:
- No segundo trimestre de 2019, removemos cerca de 512 mil conteúdos, dos quais 92,5% foram detectadas proativamente.
- No terceiro trimestre, vimos um progresso maior e removemos 754 mil conteúdos, dos quais 94,6% foram detectadas proativamente.
Para a nossa política de Produtos regulamentados, que proíbe a vendas ilícitas de armas de fogo e drogas, investimentos contínuos em nossos sistemas de detecção proativa e avanços em nossas técnicas de execução nos permitiram aprimorar nosso progresso em relação ao último relatório.
No Facebook:
- No terceiro trimestre de 2019, removemos cerca de 4,4 milhões de conteúdos de venda de drogas, dos quais 93,8% detectamos proativamente – um aumento em relação ao primeiro trimestre de 2019 quando removemos cerca de 841 mil conteúdos de venda de drogas, dos quais 84,4% foram detectados de forma proativa.
- Também no terceiro trimestre de 2019, removemos cerca de 2,3 milhões de conteúdos de vendas de armas de fogo, dos quais 97,3% detectamos proativamente – um aumento em relação ao primeiro trimestre de 2019, quando removemos cerca de 609 mil conteúdos de vendas de armas de fogo, sendo que 69,9% foram detectados de forma proativa.
No Instagram:
- No terceiro trimestre de 2019, removemos cerca de 1,5 milhão de conteúdos de venda de drogas, dos quais 95,3% foram detectados proativamente.
- No terceiro trimestre de 2019, removemos cerca de 58,6 mil conteúdos de vendas de armas de fogo, dos quais 91,3% foram detectados proativamente.
Novas táticas para combater o discurso de ódio
Nos últimos dois anos, investimos na detecção proativa de discurso de ódio para que possamos detectar esse tipo de conteúdo nocivo antes que as pessoas denunciem e, às vezes, antes que alguém o veja. Nossas técnicas de detecção incluem combinar texto e imagem, o que significa que estamos identificando imagens e sequências de texto que já tenham sido removidas como discurso de ódio, além de itens identificadores de aprendizagem de máquina que analisam coisas como linguagem, reações e comentários de uma postagem para avaliar a combinação entre frases, padrões e ataques em comum com o que vimos anteriormente em conteúdos que violaram nossas políticas contra o ódio.
Inicialmente, usamos esses sistemas para detectar proativamente possíveis violações de discurso de ódio e enviá-las para nossas equipes de revisão de conteúdo, pois os revisores humanos podem avaliar melhor o contexto do que a inteligência artificial. A partir do segundo trimestre de 2019, graças ao progresso contínuo nas habilidades de nossos sistemas para detectar corretamente violações, começamos a remover algumas publicações automaticamente. Isso ocorre apenas em casos específicos nos quais o conteúdo é idêntico ou quase idêntico a texto ou imagens removidos anteriormente por nossa equipe de revisão de conteúdo por violações ou quando o conteúdo corresponde muito a ataques comuns que violam nossa política. Nós fazemos isso apenas em casos específicos, e só é possível porque nossos sistemas automatizados foram treinados usando centenas de milhares, ou mesmo milhões, de diferentes exemplos de conteúdo violador e ataques comuns. Em todos os outros casos em que nossos sistemas detectam proativamente um discurso de ódio em potencial, o conteúdo ainda é enviado às nossas equipes de revisão para que elas tenham uma decisão final. Com essas evoluções em nossos sistemas de detecção, nossa taxa proativa subiu para 80%, ante 68% em nosso último relatório, e aumentamos o volume de conteúdo que encontramos e removemos por violar nossa política de discurso de ódio.
Embora estejamos felizes com este progresso, essas tecnologias não são perfeitas e nós sabemos que ainda podem ocorrer erros. É por isso que continuaremos a investir em sistemas que nos permitam melhorar a nossa precisão na remoção de conteúdos que violem nossas políticas ao mesmo tempo em que protegemos conteúdos que discutem ou condenam discursos de ódio. Semelhante à maneira como analisamos as decisões tomadas pela nossa equipe de revisão de conteúdo para monitorar a precisão de nossas decisões, nossas equipes revisam rotineiramente as remoções por sistemas automatizados para garantir que estamos aplicando corretamente nossas políticas. Também continuamos a revisar os conteúdos quando as pessoas apelarem nos dizerem que cometemos um erro ao remover sua publicação.
Atualizando nossas métricas
Desde nosso último relatório, aprimoramos a maneira como medimos a quantidade de conteúdos acionados após identificar um problema na medição no meio do ano. Neste relatório, estamos atualizando as métricas que compartilhamos anteriormente para conteúdo acionado, taxa proativa, conteúdo contestado e conteúdo restaurado nos períodos do terceiro trimestre de 2018 ao primeiro trimestre de 2019.
Durante esses trimestres, o problema na forma como nosso sistema contabilizava as ações não afetou como aplicamos nossas políticas ou como informamos às pessoas sobre essas ações; impactou apenas em como contamos as ações que tomamos. Por exemplo, se acharmos que uma publicação contendo uma foto viola nossas políticas, queremos que nossa métrica reflita que realizamos ações em um único conteúdo – e não duas ações separadas, uma para remover a foto e uma para remover a publicação em si. No entanto, em julho de 2019, descobrimos que os sistemas que registravam e contavam essas ações não contabilizavam corretamente as medidas tomadas. Isso ocorreu em grande parte devido à necessidade de contar várias ações que ocorrem dentro de alguns milissegundos e não perder, ou exagerar, nenhuma das medidas individuais tomadas.
Continuaremos refinando os processos que usamos para mensurar nossas ações e construir um sistema robusto para garantir que as métricas que fornecemos sejam precisas. Compartilhamos mais detalhes sobre esses processos aqui.