Por Guy Rosen, Vice-Presidente de Integridade
Nossos corações continuam com as pessoas, famílias e comunidades atingidas pela tragédia na Nova Zelândia. Desde o ataque, temos trabalhado diretamente com a polícia da Nova Zelândia para responder ao ataque e apoiar a investigação. Enquanto isso, as pessoas também estão tentando entender como plataformas online como o Facebook foram usadas para a circulação de vídeos horríveis do ataque terrorista, e nós queremos fornecer informações adicionais sobre a revisão a respeito de como nossos produtos foram usados e como podemos melhorar olhando para frente.
Linha do Tempo
Como divulgamos no começo desta semana, nós removemos o vídeo do atirador minutos depois de termos sido acionados pela polícia de Nova Zelândia. E, desde então, temos times trabalhando diretamente com as autoridades. Nós seguiremos cooperando com eles de todas as maneiras que pudermos. Diante da investigação em curso, a polícia nos pediu para não dividir alguns detalhes. Neste momento, podemos compartilhar as informações abaixo:
- Durante a transmissão ao vivo, as imagens foram vistas menos de 200 vezes.
- Nenhum usuário denunciou o vídeo durante a transmissão ao vivo.
- Incluindo as visualizações durante a transmissão ao vivo, o vídeo foi visto cerca de 4 mil vezes no total até sua remoção pelo Facebook.
- Antes de termos sido alertados sobre o vídeo, um usuário na 8chan postou um link para uma cópia do vídeo em um site de compartilhamento de arquivos.
- O primeiro usuário a denunciar o vídeo original fez isso 29 minutos depois que o vídeo começou a ser transmitido, e 12 minutos depois que a transmissão ao vivo tinha terminado.
- Nas primeiras 24 horas, removemos mais de 1,2 milhão de uploads do vídeo do ataque, evitando que fossem vistos em nossos serviços. Cerca de 300 mil cópias adicionais foram removidas depois de terem sido postadas.
Segurança no Facebook Live
Nós reconhecemos que a instantaneidade do Facebook Live traz desafios únicos, e nos últimos anos temos nos concentrado em permitir que o nosso time de revisores tenha acesso aos vídeos mais importantes rapidamente. Usamos inteligência artificial para detectar e priorizar vídeos que podem ter conteúdos de suicídio ou atos violentos, ampliamos o contexto que fornecemos aos revisores para que eles possam tomar decisões mais informadas e construímos sistemas para ajudar a acionar socorristas o quanto antes para que eles possam atuar nos locais em que pessoas possam estar em perigo. Continuamos desenvolvendo essas ferramentas, nossa tecnologia e políticas para manter a segurança das pessoas durante transmissões ao vivo.
Inteligência Artificial
Muitas pessoas têm perguntado por que a Inteligência Artificial não detectou o vídeo do ataque da semana passada automaticamente. A tecnologia tem apresentado um progresso impressionante ao longo dos anos, o que tem nos permitido detectar proativamente a vasta maioria do conteúdo que removemos. Mas ela não é perfeita.
Os sistemas de Inteligência Artificial são baseados em “treinamento a partir de dados”, o que significa que você pode precisar de milhares de exemplos de conteúdo para treinar um sistema que possa detectar certos tipos de texto, imagem ou vídeo. Essa abordagem tem funcionado muito bem em áreas como nudez, propaganda terrorista e também violência gráfica quando há um grande número de exemplos que podemos usar para treinar nossos sistemas. Contudo, este vídeo em particular não acionou a detecção automática de nossos sistemas. Para isso acontecer, teremos que aperfeiçoar nossos sistemas com grandes volumes de dados deste tipo específico de conteúdo, algo que é difícil porque eventos dessa natureza são, ainda bem, raros. Outro desafio é automaticamente diferenciar conteúdo visualmente similar, inócuo – por exemplo, se milhares de vídeos de transmissões ao vivo de games forem levantadas por nossos sistemas, nossos revisores poderiam perder situações reais de vídeos de situações de perigo em que socorristas poderiam ser alertados para fornecer ajuda.
A Inteligência Artificial é uma parte incrivelmente importante da luta contra conteúdo terrorista nas nossas plataformas, e ainda que sua efetividade continue melhorando, ela nunca será perfeita. As pessoas continuarão a ser parte da equação, sejam as pessoas do nosso time de revisores de conteúdo ou as pessoas que usam nossos serviços e denunciam conteúdos para nós. É por isso que no ano passado nós mais do que dobramos a quantidade de pessoas em nossos times de segurança para mais de 30 mil, incluindo cerca de 15 mil revisores de conteúdo, e é por isso que encorajamos as pessoas a denunciar conteúdos que elas considerem nocivos.
Denúncias
Durante toda a transmissão ao vivo, não recebemos nenhuma denúncia de usuário. Isso é importante porque as denúncias que acontecem enquanto um vídeo está sendo transmitido ao vivo são priorizadas para uma revisão acelerada do conteúdo. Fazemos isso porque quando um vídeo ainda está ao vivo, se há chance de danos reais a pessoas, nós temos uma chance maior de alertar socorristas e ajudar a fazer com que a ajuda chegue àqueles que precisam.
No ano passado, expandimos esta lógica de revisão acelerada para cobrir vídeos que tiveram sua transmissão ao vivo encerrada num intervalo de algumas horas. Devido ao nosso foco em prevenção de suicídio, até hoje nós aplicávamos a lógica de revisão acelerada a vídeos denunciados por conteúdo suicida.
No caso de sexta-feira passada, a primeira denúncia de usuário aconteceu 29 minutos depois que a transmissão ao vivo tinha começado, e 12 minutos após a transmissão ao vivo ter terminado. Nessa denúncia, e em outras denúncias em seguida, o vídeo foi reportado por razões diferentes de suicídio, e como tal foi gerenciada com base em protocolos distintos. Com o aprendizado agora, estamos revendo nossa lógica de revisão acelerada e processos tanto para transmissões ao vivo quanto para transmissões recentemente encerradas, para ampliar as categorias que terão uma revisão acelerada.
Circulação do Vídeo
O vídeo original teve menos de 200 visualizações enquanto estava ao vivo, e foi visto cerca de 4 mil vezes antes de ser removido do Facebook. Durante esse período, um ou mais usuários capturaram o vídeo e começaram a circular as imagens. Ao menos um deles era usuário da 8chan, e postou um link para uma cópia do vídeo em um site de compartilhamento de arquivos, e nós acreditamos que dali o material começou a circular mais amplamente. Identificadores forênsicos de muitos dos vídeos que circularam posteriormente, como marcadores de barras de ferramentas visíveis em uma tela de gravação, são compatíveis com o conteúdo postado na 8chan.
Esta não é a primeira vez que vídeos de violência gráfica, sejam eles transmitidos ao vivo ou não, se tornam virais em várias plataformas online. Assim como em ocasiões anteriores, acreditamos que a ampla circulação foi resultado de uma série de diferentes fatores:
- Tem ocorrido um trabalho coordenado de pessoas mal intencionadas para distribuir cópias de videos para o maior número possível de pessoas através de redes sociais, sites de compartilhamento de vídeos, sites de compartilhamento de arquivos e outros.
- Muitos veículos na mídia, incluindo canais de notícias na TV e sites, exibiram o vídeo. Reconhecemos que é difícil encontrar o equilíbrio entre cobrir uma tragédia como esta sem amplificar a mensagem de ódio de pessoas mal intencionadas
- Pessoas ao redor do mundo então recompartilharam cópias que eles receberam através de diferentes aplicativos e serviços, por exemplo filmando transmissões na TV, capturando vídeos de sites, filmando telas de computadores com seus celulares, ou apenas recompartilhando conteúdos que tinham recebido. Pessoas compartilharam o vídeo por diferentes razões. Alguns queriam promover as ações do atirador, enquanto outros estavam curiosos e outros queriam trazer luz sobre o ataque e denunciar a violência. A distribuição ganhou uma dimensão maior pela ampla divulgação sobre a existência do vídeo, o que pode ter motivado pessoas a buscar o conteúdo e então compartilhá-lo ainda mais com seus amigos.
Bloqueando o Vídeo
Imediatamente após o ataque, nós o classificamos como um ataque terrorista. Isso significa que qualquer mensagem de suporte violaria nossos Padrões da Comunidade e não seria permitido no Facebook. Dada a natureza do vídeo, nós proibimos sua distribuição mesmo quando compartilhado para gerar conscientização sobre o ocorrido, ou mesmo se apenas uma parte dele tenha sido compartilhada como parte de uma reportagem.
Nas primeiras 24 horas, removemos mais de 1,2 milhão de vídeos do ataque quando estavam sendo carregados, o que significa que evitamos que pessoas vissem o conteúdo nos nossos serviços. Cerca de 300 mil cópias adicionais foram removidas depois de terem sido publicadas.
Temos recebido perguntas de por que nossa tecnologia de detecção de imagens e vídeo, que tem sido tão efetiva para previnir a propagação de propaganda de organizações terroristas, não conseguiu encontrar as cópias adicionais que chegaram a ser postadas. O que desafiou nossa abordagem foi a proliferação de muitas variantes do vídeo, devido à quantidade e diversidade de maneiras que ele foi compartilhado pelas pessoas:
Primeiro, vimos um grupo de pessoas mal intencionadas trabalhando juntas para continuamente recarregar versões editadas do vídeo com objetivo de enganar nossa detecção.
Segundo, um grande número de pessoas distribuiu o vídeo e, sem se dar conta, dificultaram o trabalho para detecção de cópias. Algumas pessoas podem ter visto o vídeo no computador, filmado com um celular e então enviado para um amigo. Outros podem ter visto o vídeo no computador, gravado a imagem com o próprio computador e passado adiante. Sites e Páginas, buscando atenção das pessoas que poderiam querer ver o vídeo, fizeram cortes no material e regravaram o vídeo em vários formatos.
No total, encontramos e bloqueamos mais de 800 variações distintas do vídeo que estavam circulando. Isso é diferente de propaganda oficial terrorista de organizações como o Estado Islâmico, distribuída para um grupo restrito de pessoas e que não é redistribuída pela grande imprensa e nem amplamente recompartilhada por indivíduos.
Estamos aprendendo para melhor entender técnicas que podemos usar em casos como este, com tantas variantes de um vídeo original. Por exemplo, como parte de nossos esforços, usamos uma tecnologia de comparação de áudio para detectar vídeos que visualmente tinham passado pelo nosso sistema, mas que tinham o mesmo áudio.
Próximos Passos
Nossas maiores prioridades agora são apoiar a polícia de Nova Zelândia de todas as formas que podemos, e continuar a entender como nossos sistemas e outras plataformas online foram usadas como parte destes eventos, para que possamos identificar técnicas e políticas mais efetivas. Isso inclui:
- Em primeiro lugar, aperfeiçoar nossa tecnologia de detecção de conteúdos, para que possamos parar a disseminação de vídeos virais desta natureza, independentemente de como eles tenham sido produzidos originalmente. Por exemplo, como parte de nossa resposta ao ocorrido na última sexta-feira, aplicamos uma tecnologia experimental de áudio que vínhamos desenvolvendo para identificar variantes do vídeo.
- Segundo, reagir mais rápido a este tipo de conteúdo em uma transmissão ao vivo. Isso inclui explorar como e se a Inteligência Artificial pode ser usada em casos assim, e como ter acesso a denúncias de usuários mais rapidamente. Alguns têm perguntado se deveríamos ter um atraso entre o início da transmissão ao vivo e o momento em que ela aparece no Facebook, similar ao que acontece em algumas emissoras de TV. Há milhões de transmissões ao vivo todos os dias, o que significa que atrasar a transmissão não ajudaria a endereçar o problema dado o grande número de vídeos. Mais importante, dada a importância das denúncias dos usuários, um atraso na transmissão apenas faria com que aumentasse o tempo para que os usuários pudessem denunciar os vídeos, fossem revisados e que socorristas fossem alertados para ajudar pessoas em risco.
- Terceiro, continuar a combater o discurso de ódio de todos os tipos na nossa plataforma. Nossos Padrões da Comunidade proíbem terrorismo e discurso de ódio de todos os tipo. Isso inclui mais de 200 organizações de supremacia branca globalmente, cujos conteúdos estão sendo removidos proativamente com tecnologia de detecção.
- Quarto, ampliando a colaboração da indústria através do Fórum Global de Internet de Combate ao Terrorismo. Estamos compartilhando URLs sistematicamente ao invés de apenas hashes de conteúdo, trabalhando para responder a diferentes terroristas e extremistas operando online, e queremos refinar e aperfeiçoar nossa habilidade de colaborar em uma crise.
O que aconteceu na Nova Zelândia foi terrível. Nossos corações estão com as vítimas, as famílias e as comunidades atingidas por esse terrível ataque.
Continuaremos a compartilhar atualizações à medida que aprendermos mais.