커뮤니티 규정 집행 보고서, 2019년 11월

5 년 ago

가이 로젠(Guy Rosen), Integrity 부사장

오늘 Facebook은 2019년 2분기 및 3분기의 규정 시행 현황을 담은 제4차 커뮤니티 규정 집행 보고서를 공개했습니다. 이번 보고서에는 Facebook의 10개 규정과 Instagram의 4개 규정을 포함한 다음과 같은 새로운 지표들이 담겨있습니다.

콘텐츠 확산 정도: Facebook 규정에 위반되는 콘텐츠가 조회된 빈도
조치 콘텐츠: 규정 위반으로 조치가 취해진 콘텐츠 수
사전 감지율: 조치된 콘텐츠 중 신고 이전에 감지된 콘텐츠의 비율
이의 신청 콘텐츠: 조치가 취해진 후 이의 신청이 들어온 콘텐츠 수
복원 콘텐츠: 처음 조치가 취해진 후 복원된 콘텐츠 수

또한, 여러 유형의 콘텐츠에 커뮤니티 규정이 어떻게 적용되며, 또 어떠한 기준으로 적용되는지 이용자들이 쉽게 확인할 수 있는 새로운 페이지를 마련했습니다.

Instagram 정보 새롭게 추가

이번 보고서에는 Instagram에서 각 규정이 어떻게 시행되고 있는지에 대한 데이터가 처음으로 포함되었습니다. 보고서는 4가지 규정 영역 – 아동의 나체 이미지 및 아동에 대한 성 착취, 규제 품목(특히 불법 무기 및 의약품 거래), 자살 및 자해, 테러 선동 – 에 대한 데이터를 담고 있습니다. Instagram의 경우, 이의 신청 기능이 올해 2분기에 도입되었기 때문에, 이의 신청 및 복원 콘텐츠 수치는 보고서에 포함되지 않았음을 알려드립니다. 해당 데이터는 향후 발표될 보고서에 포함될 예정입니다.

Instagram과 Facebook 전반에서 유해 콘텐츠를 발견하고, 또 삭제하기 위해 동일한 사전 감지 시스템을 사용하지만 적용되는 지표는 서로 다를 수 있습니다. 그 이유에는 여러가지가 있는데, 먼저, 앱의 기능과 서비스 사용방법이 다르기 때문입니다. 예를 들어, Instagram에는 링크, 페이지 또는 그룹이 없고, 피드가 재공유되지 않습니다. 또한 커뮤니티의 크기, 지역별 선호 앱, 그리고 사전 감지 기술이 사용되는 역량의 측면에서도 차이가 있습니다. 어느 부분에서 진전이 있었고, 어느 부분을 더 개선할 필요가 있는지 확인하기 위해서는 해당 앱에서 각 규정 영역의 지표들이 분기별로 어떻게 변화했는지 살펴보는 것을 권장드립니다.

그 외 4차 보고서 관련 새로워진 사항

자살 및 자해에 대한 데이터: 자살과 자해 관련 콘텐츠에 대해 어떤 조치가 취해지는지 세부적인 설명이 새롭게 포함됩니다. 이러한 주제는 민감하고 복잡한 영역에 속하기 때문에, 모든 이용자들의 안전을 고려해 해당 분야의 전문가들과 협력하고 있습니다. 전문가 의견을 기반으로 유사한 행위를 조장할 수 있는 그래픽 이미지나 생생한 묘사를 포함해, 자살이나 자해를 묘사 또는 선동하는 콘텐츠는 삭제됩니다. 자해 상처 흉터나 자극적이지 않은 자해 이미지와 같이 규정에 위반되지는 않지만 보는 사람에게 불쾌감을 줄 수 있는 콘텐츠는 모자이크 처리됩니다. 또한, 최근에는 자해와 관련된 규정을 강화하고, 위반 콘텐츠를 더 많이 발견해 삭제할 수 있도록 기술을 향상시켰습니다.
- Facebook: 2019년 2분기에 약 200만 개의 콘텐츠에 대해 조치를 취했으며, 그 중 96.1%는 사전에 삭제조치 되었습니다. 3분기에는 약 250만 개의 콘텐츠를 삭제했고, 그 중 97.3%를 사전에 감지하는 성과를 보였습니다.
- Instagram: 2019년 2분기에 약 835,000개의 콘텐츠를 삭제하고, 그 중 77.8%를 사전에 감지했습니다. 3분기에는 이보다 많은 약 845,000개의 콘텐츠를 삭제하고, 그 중 79.1%를 사전에 삭제조치했습니다.
테러 선동 관련 데이터 범위 확장: 위험 인물 및 조직에 대한 규정은 모든 테러 조직의 서비스 이용을 금지하고 있습니다. 최근까지 저희는 행동에 기반한 광범위한 단체를 테러 조직으로 파악해왔습니다. 가장 광범위하게 전 세계를 위협하는 조직을 측정하는 것에 주력했기 때문에, 기존 보고서에는 알카에다, ISIS 및 연계 조직들에 대한 데이터만 포함되었습니다. 이제는 그 범위가 확장되어 모든 테러 조직에 관련 조치들이 취해집니다. Facebook에서 알카에다, ISIS 및 연계 조직들과 관련된 콘텐츠를 사전 감지 및 삭제하는 비율은 99% 이상으로 계속 유지되어 왔습니다. 테러 조직 관련 콘텐츠의 사전 감지율은 Facebook의 경우 98.5%, Instagram은 92.2%에 달합니다. 앞으로도 페이스북은 이러한 콘텐츠에 맞서 싸우고, 더욱 진화하는 악성 행위자들의 전략과 행동에 따라 적절하게 대응할 수 있도록 자동화 기술에 지속적으로 투자할 계획입니다.
자살 및 자해, 규제 품목에 대한 콘텐츠 확산 정도 추정: 이번 보고서에는 자살, 자해 및 규제 품목(불법 무기 및 의약품 거래)에 대한 규정을 위반하는 콘텐츠에 대한 확산 정도 지표가 처음으로 추가되었습니다. 해당 지표는 규정에 위반되는 콘텐츠를 이용자들이 얼마나 자주 조회하는지를 우선순위에 두고, 이용자들이 콘텐츠를 조회하는 빈도 또는 콘텐츠의 확산정도를 측정합니다. 가장 심각한 안전 문제인 아동 노출 이미지 및 아동에 대한 성착취, 규제 품목, 자살 및 자해, 테러 선동 영역의 경우, 이용자들이 규정을 위반하는 콘텐츠를 조회할 가능성은 대단히 낮으며, 조회가 되기도 전에 보통 선제적으로 삭제가 됩니다. 그렇기 때문에 이러한 영역의 콘텐츠 확산 정도를 측정하기 위해 콘텐츠 조회 수를 샘플링할 때, 지표를 추정하기 위해 필요한 양의 위반 샘플을 발견하지 못하거나 전혀 발견하지 못하는 경우가 많습니다. 대신, 규정 위반 콘텐츠를 보게 될 빈도의 상한을 추정할 수 있습니다. 2019년 3분기에, 그 상한은 0.04%였습니다. 이는 2019년 3분기 각 규정 별로, Facebook 또는 Instagram의 콘텐츠 조회 10,000건 당 규정에 위반된 콘텐츠의 조회 횟수는 4회 미만으로 추정이 됩니다.
- 콘텐츠 확산정도가 너무 낮아 상한선만 제공할 수 있다는 사실을 말씀드리고자 합니다. 이러한 한도는 보고 기간 간에 몇 백분의 1% 수준에서 변경이 될 수 있지만, 그런 정도의 미미한 수치는 플랫폼에서 이러한 콘텐츠의 확산 정도에 실질적인 차이를 만들지는 않습니다.

이용자의 안전을 위한 진전

Facebook과 Instagram은 가장 유해한 콘텐츠 전반에서 규정 집행을 강화하고, 이러한 과정에서 투명성을 더욱 높이기 위한 노력을 지속적으로 전개해 오고 있습니다. 자살 및 자해 콘텐츠와 테러 선동 콘텐츠 외에도, 아동 노출 이미지와 아동에 대한 성착취 지표, 규제 품목 영역 모두에서 유의미한 성과를 보이고 있습니다. AI에 대한 지난 5년간의 투자가 이러한 이슈들에 대처하는데 핵심 요인으로 작용해왔습니다. 실제로, 최근 관련 기술의 발전은 위반 콘텐츠의 감지 및 삭제율을 높이는데 도움을 주었습니다.

아동 노출 이미지와 아동에 대한 성착취 영역의 경우, Facebook과 Instagram에서 동일한 콘텐츠가 공유되는 사례를 추가적으로 감지하고 또 삭제하기 위해 내부 데이터베이스에 위반 사항을 추가하여 더 많은 위반 콘텐츠를 발견 및 삭제할 수 있게 되었습니다.

관련 인스타그램 내용:

2019년 3분기에 삭제된 150만 개의 의약품 거래 콘텐츠 중, 95.3%가 사전에 감지되었습니다.
2019년 2분기에 삭제된 58,600개의 무기 거래 콘텐츠 중, 91.3%는 사전에 감지되었습니다.

혐오 발언에 맞서는 새로운 방법

Facebook과 Instagram은 이용자가 신고하기 전 혹은 이용자가 게시물을 확인하기 전에 혐오 발언을 감지할 수 있도록 지난 2년 동안 사전 감지 기능에 투자해왔습니다. 사용되는 감지 기법에는 혐오 발언으로 이미 삭제된 텍스트와 동일한 문자열과 이미지를 식별해내는 텍스트 및 이미지 매칭이 포함됩니다. 머신러닝 식별 기능(classifiers)은 게시물에 대한 반응과 댓글은 물론, 언어 등의 요소들을 살핌으로써 혐오발언 방지 규정을 위반한 콘텐츠에서 보여지는 공통적인 문구, 패턴, 공격과 이들이 얼마나 근접한가를 평가합니다.

초기에는 이러한 시스템을 사용해 잠재적인 혐오발언 위반을 감지하고 발견된 사항을 콘텐츠 검토팀에 전달했습니다. AI가 할 수 없는 문맥 평가를 사람들이 보다 효과적으로 할 수 있기 때문입니다. 위반 사항을 보다 정확하게 감지하는 시스템은 지속적으로 향상되어, 2019년 2분기부터는 일부 게시물을 자동으로 삭제할 수 있게 되었습니다. 그러나 이는 콘텐츠 검토 팀이 이전에 규정 위반으로 삭제한 텍스트나 이미지와 동일하거나 거의 동일한 경우, 또는 콘텐츠가 규정을 위반하는 공통적인 공격과 매우 밀접하게 매치되는 경우에만 해당됩니다. 이는 일부 사례에만 적용되며, 자동 시스템이 수십만 개 내지 수백만 개의 위반 콘텐츠와 공통적인 공격 샘플로 충분한 테스팅을 거쳤기 때문에 가능한 일입니다. 시스템이 잠재적인 혐오 발언을 사전에 감지하는 모든 다른 경우에서, 콘텐츠는 최종 검토를 위해 검토팀으로 보내집니다. 보다 향상된 감지 시스템을 통해 사전 감지율은 지난 보고서의 68%보다 높은 80%를 기록했습니다. 또한, 혐오발언 규정 위반으로 감지 및 삭제되는 콘텐츠의 수도 늘었습니다.

이러한 진전이 있었다는 사실은 매우 긍정적이지만, 아직 기술은 완전하지 않기 때문에 때로 실수가 발생할 수 있습니다. Facebook과 Instagram이 규정 위반 콘텐츠를 보다 정확하게 삭제할 수 있도록 돕는 시스템에 지속적으로 투자를 하며, 혐오 발언에 대해 토론을 하거나 비난하는 콘텐츠를 보호하는 것도 이러한 이유 때문입니다. Facebook의 결정이 정확한지 모니터링하기 위해 콘텐츠 검토팀이 내린 ��정을 재검토하는 것은 물론, 규정이 올바르게 집행되고 있는지 확인하기 위해 자동 시스템으로 삭제된 콘텐츠를 정기적으로 검토합니다. 또한 앞으로도 계속 이용자가 게시물 삭제에 대해 이의를 제기할 경우, 콘텐츠를 재검토할 것입니다.

지표 업데이트

지난 보고서 이후, 올 여름 통계치에서 이슈가 발견된 후 조치를 내린 콘텐츠를 측정하는 방법을 개선했습니다. 이번 보고서에서는 2018년 3분기부터 2019년 1분기 사이 조치가 취해진 콘텐츠, 사전 감지율, 콘텐츠 이의 신청 및 콘텐츠 복원 지표의 기존 공개 수치들을 업데이트했습니다.

계산 절차상의 문제는 이 기간 동안 규정의 집행 방식이나 조치에 대해 이용자들에게 공지하는 방식에는 영향을 주지 않았으며, 취해진 조치를 합산하는 방법에만 영향을 미쳤습니다. 예를 들어, 규정을 위반하는 사진 1개가 포함된 게시물 1개를 발견하면, 사진과 게시물을 제거하는 2건의 조치가 취해진 것이 아니라 콘텐츠 1건에 대한 조치가 취해진 것을 지표에 반영하고자 했습니다. 그러나 2019년 7월, 시스템 기록과 계산이 취해진 조치를 올바르게 기록하지 않는다는 사실을 발견했습니다. 이는 주로 몇 밀리초 내에 취해지는 다수의 조치를 누락이나 과장 없이 계산에 포함시켜야 했다는 것에서 기인합니다.

Facebook은 정확한 지표가 제공될 수 있도록, 취해진 조치를 측정하는데 사용하는 절차를 지속적으로 조율해 더욱 견고한 시스템을 구축해나갈 것입니다. 이 절차에 대한 자세한 정보는 여기를 클릭하십시오.