By 모니카 비컷 글로벌 정책 총괄, 브라이언 피시맨 대테러 정책 총괄

최근 테러 사건이 연달아 발생하며, IT 기업이 온라인 공간에서 테러리즘에 적절히 대처하고 있는지에 대해 많은 사람들이 의문을 제기하고 있습니다. Facebook은 소셜 미디어가 테러리스트들이 목소리를 낼 수 있는 공간이 돼서는 안 된다는 의견에 전적으로 동의합니다. Facebook 커뮤니티를 안전한 공간으로 가꾸어나가는 것은 Facebook의 사명에 있어 매우 중요한 과제이기 때문입니다.

이 글을 통해, Facebook이 테러 관련 콘텐츠에 실제로 어떻게 대응하고 있는지, 특히 인공지능 기술을 어떻게 활용하고 있는지에 대해 처음으로 공개적인 설명을 드리고자 합니다. Facebook에는 커리어 전반에 걸쳐 관련 경험을 쌓아 온 직원들을 포함한 전문 인력이 대테러 업무를 담당하고 있습니다. Facebook은 또한, 더욱 효과적인 테러 방지를 위해 타 기업들과 협력을 진행하고 있습니다.

Facebook의 입장은 분명합니다. Facebook은 어떤 경우에도 테러리즘 활동을 허용하지 않습니다. Facebook은 테러리스트의 계정과 테러를 지지하는 게시물을 발견 즉시 삭제하며, 테러 관련 신고를 신속하고 꼼꼼하게 검토하기 위해 노력하고 있습니다. 아울러, 드물기는 하나 목전의 테러를 예고하는 게시물을 발견하는 경우 신속하게 당국에 보고해 필요한 조치가 취해지도록 하고 있습니다. ISIS, 알 카에다 등 과격 단체 회원의 급진화는 주로 오프라인에서 발생한다는 연구 결과가 있지만, Facebook은 이러한 상황에 인터넷이 사용되고 있다는 것을 인지하고 있으며, Facebook이 테러 활동에 이용되는 것을 결코 원치 않습니다.

Facebook은 IT 기술, 그리고 Facebook 플랫폼이 이러한 문제 해결에 도움이 될 수 있다고 생각합니다.

물론, 기술로 간단하게 모든 문제를 해결할 수 있지 않다는 것을 잘 알기에, Facebook은 매우 신중하게 관련 내용에 접근하고 있습니다. Facebook은 매달 전 세계 20억 명 이상의 사람들이 80개 이상의 언어로 활동하고 있는 플랫폼입니다. 이러한 커뮤니티를 안전하게 지키는 것은 매우 어려운 과제입니다. 이 글을 통해 Facebook이 테러 관련 게시물에 어떻게 대응하고 있는지 설명 드리는 이유는, 여러분의 피드백을 경청하고 더욱 나은 플랫폼으로 발전하는 것이 Facebook의 목표이기 때문입니다.

 

인공지능

Facebook의 과제 중 하나는 테러 관련 게시물이 게시됐을 때, 사용자들이 발견하기 전에 신속하게 해당 게시물을 찾아내는 것입니다. 실제로 Facebook이 현재까지 삭제 조치한 테러 관련 계정의 대부분은 신고가 접수되기 전에 Facebook이 먼저 발견한 계정입니다. 그러나 Facebook은 인공지능을 비롯한 다양한 기술을 적절히 활용함으로써 테러 관련 콘텐츠의 확산을 더욱 효과적으로 막을 수 있다는 것을 잘 알고 있습니다. Facebook이 이러한 목적으로 인공지능을 사용하게 된 것은 비교적 최근의 일이지만, 테러리스트의 선전물과 계정을 차단하는 방식에 많은 개선 효과가 나타나고 있습니다. 현재 Facebook은 ISIS, 알 카에다 및 관련 단체의 테러 관련 게시물에 대처하는 일에 최첨단 기술을 활용하고 있으며, 적절한 시기에 그 외 단체에 대응하는 일에도 확대 도입할 계획입니다. Facebook은 꾸준히 기술적 해결 방법을 업데이트하고 있으며, 그 중 현재 사용 중인 기술의 일부를 아래로 소개해 드립니다.

• 이미지 매칭: Facebook은 이미지 매칭 기술을 활용해, 사용자가 게시하고자 하는 사진 또는 동영상이 기존에 보고된 테러 관련 콘텐츠와 일치하는지 지동으로 확인합니다. 예를 들어, 기존에 Facebook이 삭제한 바 있는 ISIS의 선전 동영상은 계정을 불문하고 Facebook에 게시될 수 없습니다. 실제로 해당 기술을 통해 Facebook용으로 제작된 많은 테러 관련 콘텐츠가 Facebook 플랫폼에 게시될 수 없게 됐습니다.
• 언어 이해: 최근에는 인공지능을 이용해 테러를 옹호하는 게시물을 탐지할 수 있는 기술을 실험하고 있습니다. 기존에 Facebook에서 삭제 조치된 ISIS, 알 카에다 등의 테러 단체 지지글을 바탕으로 테러 지지글을 판별할 수 있는 일종의 텍스트 기반 신호를 분석 확인하는 기술입니다. 이러한 분석은 유사 게시물 감지 방법을 학습하는 알고리즘으로 진행되며, 이러한 머신러닝 알고리즘은 피드백 루프를 통해 시간이 지날수록 더욱 발전합니다.
• 테러리스트 집단 제거: 각종 연구 결과에 따르면, 테러 단체들은 집단으로 활동하는 것을 선호합니다. 이러한 경향성은 온라인에서도 발견되며, 따라서 Facebook은 테러와 관련된 다수의 계정 혹은 게시물을 한 번에 파악할 수 있는 알고리즘을 기반으로 더욱 효율적인 대처를 진행하고 있습니다. Facebook은 각 계정이 테러 관련 사유로 중지된 계정을 몇 개나 친구로 두고 ��는지, 또는 중지된 계정과 어떤 동일한 속성을 공유하는지 등을 신호로 이용합니다.
• 상습적 범행: Facebook은 상습적으로 허위 계정을 생성하는 사람들의 계정을 더욱 신속히 파악하기 위해 기술을 활용하고 있으며, 이를 통해 테러 상습범이 Facebook을 사용할 수 있는 여지를 크게 줄일 수 있었습니다. 또한, 이러한 시스템을 우회하려는 테러리스트 세력의 꾸준한 시도를 지속적으로 파악하고 그에 따라 전략을 갱신하고 있습니다.
• 플랫폼간 협업: Facebook은 왓츠앱, 인스타그램 등 Facebook 제품군 어디에서도 테러와 관련된 활동을 허용하지 않습니다. 이를 위해 Facebook은 플랫폼 전반에 걸쳐 테러리스트 계정에 대해 조치를 취할 수 있도록 하는 시스템 구축 작업을 진행 중입니다. 한편, 각 앱이 서비스 제공 과정에서 수집하는 정보가 제한적이라는 것을 감안할 때, 모든 플랫폼을 안전하게 유지하기 위해서는 제품군 내 정보 공유가 불가피하다는 점 또한 말씀 드리고 싶습니다.

 

전문 인력

Facebook에서는 전문가로 구성된 팀이 직접 테러 관련 게시물 대처에 나서고 있습니다. 인공지능만으로 모든 테러 관련 게시물을 파악하는 것은 아직은 불가능하며, 사람만이 이해할 수 있는 미묘한 맥락을 지닌 게시물도 다수 존재하기 때문입니다. 예를 들어, 무장한 채 ISIS 깃발을 흔들고 있는 사람의 사진은 ISIS 선전물이거나 신병 모집 게시물일 수도, ISIS 관련 기사의 사진자료일 수도 있습니다. 이러한 미묘한 차이를 감지하기 위해서는 전문 인력의 개입이 반드시 필요합니다.

• 신고 검토: Facebook 커뮤니티, 즉 Facebook 사용자들은 Facebook 규정 위반 가능성이 있는 계정과 게시물을 신고함으로써 Facebook을 안전한 공간으로 꾸려나가는 일에 많은 도움을 주고 있습니다. Facebook의 커뮤니티 운영(Community Operations)팀은 수십 개의 언어로 된 신고 내용을 검토하고 각 맥락을 파악해 규정 위반 여부를 결정하는 역할을 담당하는 팀으로, 세계 각지에서 24시간 운영되고 있습니다. Facebook은 정기적인 교육과 현장 상담 등을 해당 팀의 숙련도를 최상으로 유지하기 위한 노력을 지속하고 있으며, 내년까지 3,000명의 인력을 추가 고용할 계획입니다.
• 테러 및 안전 전문가: Facebook은 작년 한 해 동안, 대테러 전문가 팀을 크게 강화했습니다. Facebook에서는 학계, 정부기관, 애널리스트, 엔지니어 등 다양한 배경을 지닌 150명 이상의 대테러 전문가들이 테러 방지 업무를 주 업무로 담당하고 있으며, 해당 팀은 총 30개에 달하는 언어를 구사할 수 있습니다.
• 실제 위협에 대한 대처: 테러 관련 게시물에 대한 조치에 인공지능 기술이 더욱 많은 역할을 담당하고 있지만, 사법당국�� 조치가 필요한 신빙성 있는 위험 요소를 파악하는 데에는 실제 인력의 개입이 필요합니다. 이를 위해 Facebook은 당국으로부터의 긴급 요청사항에 즉각 대응하는 일을 담당하는 글로벌 팀을 운영하고 있습니다.

 

파트너십

테러리스트들은 여러 플랫폼을 옮겨 다니며 활동하는 성향을 가지고 있어, Facebook상 테러 관련 콘텐츠에 대처하는 것만으로는 충분히 안전한 환경을 구축할 수 없습니다. 이에 Facebook은 다양한 기업, 시민 단체, 연구자 및 정부와 파트너십을 구축하고 테러 방지에 힘을 모으고 있습니다.

• 업계 협력: Facebook은 6개월 전 테러 관련 콘텐츠를 더욱 신속히 식별하고 확산을 방지하기 위한 노력의 일환으로, 마이크로소프트, 트위터 및 유튜브와 함께 테러 관련 사진과 동영상에 대한 ‘해시’(사진과 동영상의 지문에 해당하는 고유 정보)를 공유하는 데이터베이스를 구축한 바 있습니다. 해시 데이터베이스를 공유함으로써 Facebook은 실제로 큰 효과를 경험했으며, 앞으로 더욱 많은 기업과 협력하는 것을 목표로 하고 있습니다.
• 정부: 정부 및 정부기관은 사기업이 독자적으로 확보할 수 없는 전문 지식을 제공하는 주요한 역할을 담당하고 있습니다. Facebook은 세계 각국 정부기관의 브리핑을 기반으로 ISIS와 알 카에다의 선전 메커니즘에 대해 많은 것을 배운 바 있습니다. 또한, EU 인터넷 포럼, 영국 이민국 등 관련 단체와 업계의 협력에 참여하고 있으며, 실제로 많은 도움을 받았습니다.
  • 암호화: 테러리스트들이 때때로 암호화된 메시지를 사용해 서로 통신합니다. 암호화 기술은 온라인 뱅킹 보안 등 다양한 합법적인 용도로 사용되는 기술이며, 기자, 비정부기구 직원, 인권 운동가 등 테러 단체의 암호화된 메시지를 파악해야 하는 사람들에게도 중요한 기술입니다. Facebook은 당국으로부터의 타당한 요청이 있을 시, 엔드투엔드 방식으로 암호화된 플랫폼상 정보를 법률 및 정책에 따라 Facebook이 제공할 수 있는 범위 안에서 제공합니다.
• 카운터 스피치 트레이닝: Facebook은 온라인 공간에서 극단주의에 반대하는 목소리를 내는 행동이 실제 오프라인에 존재하는 극단주의에 대응하기 위한 주요한 방법 중 하나라는 것을 믿어 의심치 않습니다. 이러한 카운터 스피치의 핵심은, 사람들이 증오로 가득한 폭력적인 삶을 추구하지 않도록 설득하려는 노력일 것입니다. 많은 사람들에게 신뢰받는 사람으로부터의 카운터 스피치는 더욱 효과적이기에, Facebook은 NGO 및 각종 공동체 단체와의 협력을 통해, 이러한 사람들이 더욱 효과적으로 테러에 반대하는 목소리를 낼 수 있도록 지원하고 있습니다.
• 파트너 프로그램: Facebook은 다양한 카운터 스피치 프로그램에 협력하고 있습니다. 예를 들어, 작년 영국의 싱크탱크인 전략대화연구소(Institute for Strategic Dialogue)와의 협력을 통해 유럽 전역 100 개 이상의 반증오∙반극단주의 단체와 함께 ‘온라인 시민 용기 프로그램(Online Civil Courage Initiative)’을 주최했습니다. 또한, 아피니스 랩스(Affinis Lab)와 협력해 마닐라, 다카 및 자카르타 등의 커뮤니티 지도자 및 IT 기업가들이 힘을 합쳐 온라인상의 극단주의와 증오에 맞서는 혁신적 솔루션을 개발하는 해커톤을 주최했습니다. Facebook은 또한 학생대회의 일종인 P2P: Facebook 글로벌 디지털 챌린지(P2P: Facebook Global Digital Challenge)를 통해 글로벌한 성과르르 거둘 수 있었습니다. 2 년이 안 되는 기간 동안, 68 개국 5,500 명 이상의 대학생이 만든 500 개 이상의 반증오∙반극단주의 캠페인은 전 세계 5,600만 명이 넘는 사람들에게 도달한 바 있습니다.

 

Facebook은 테러리스트에게 적대적인 환경을 구축하는 것을 목표로 삼고 있습니다. 테러의 조기 신호를 감지하고 신속히 대처하는 것은 Facebook을 비롯한 온라인 커뮤니티에게 주어진 매우 중요한 과제라고 할 수 있습니다. Facebook은 안전한 환경 구축을 위해 최선을 다하고 있으며, 앞으로도 꾸준히 사용자 분들께 Facebook의 이러한 노력에 대한 내용을 공유하겠습니다.