成果を適切に測定することは、組織が数少ない事例や勘だけに頼ることなく、賢明な判断を下すうえで大切です。有名経営コンサルタントのピーター・ドラッカー流に言えば、「計測できるものは改善できる」ということです。これはFacebookでの安全とセキュリティについて、私たちが信条としていることでもあります。
Facebookでは、利用者がさまざまなアイデアについて自由に話し合えるプラットフォームを作ってきました。これは、人によって問題だと思うアイデアや不快に感じる可能性がある内容を排除するものではありません。しかし同時に、Facebookでは誰もが安全に利用できるサービスを提供したいと考えており、これらの二つの側面のバランスをとるのが困難になることもあります。
弊社は先月、弊社のレビューチームがFacebookに掲載を認めるもの、削除すべきものの判断基準として使っているガイドラインを初公開しました。そして本日は、これらの基準がどれほど効果的に適用できているかを測定する社内のデータを公開します。弊社はより良い方法を常に模索しながらこの問題に取り組んでおり、優先すべき事項や有効性が証明された対策に基づき、測定手法を今後も変更、改善してまいります。
本日公開するレポートでは、社内での対応プロセスやデータ測定手法を詳しく説明しています。これは、弊社がFacebookのサイトにおける悪質コンテンツをどのように削除しているかを公開することで、本件に関する取り組みについて皆さまにご理解、ご判断いただくものです。また、研究者や政策担当者、コミュニティグループから今後の改善に活かせるフィードバックをより活発にいただけるよう意図しています。
ヘイトスピーチ、テロリストによるプロパガンダ、児童の搾取が含まれる画像といった悪質コンテンツをFacebookに投稿しようとする人々を完全に阻止することはできません。しかし、コミュニティ規定に違反するコンテンツが利用者の目に触れる回数を減らす努力はできます。私はデータ分析チームの統括責任者として、Facebookがポリシー遵守の実現にどれほど効果的に対処できているかを明らかにすることに取り組んでいます。
総合影響度
私たちが最も重視する指標は影響度であり、悪質コンテンツがFacebook上に投稿された場合にもたらす害の大きさを示すものです。これはごく単純な概念式で求めることができます。問題のコンテンツが表示された回数(ビュー数)と、1回表示されるごとにそれを見た人と周囲のコミュニティが受ける悪影響の深刻度を測定したうえで、次のように算出します。
総合影響度＝違反コンテンツのビュー数×1ビューあたりの影響度
Total impact = views of violating content x impact of violating content per view
ビュー数の測定は容易です。そのコンテンツが表示された回数を数えるだけで済みます。しかし影響度を正確に測るのはそれよりはるかに困難です。例えば、ヘイトスピーチを見た場合と、過度な暴力描写を見た場合では、どちらの悪影響が大きいのでしょうか。その差は何パーセントでしょうか。テロリストによるプロパガンダと児童の性的搾取画像の影響度を比べるにはどうしたらいいのでしょうか。
いずれもこれらの影響度を数字で比べることはできません。しかし、分類してカテゴリーごとに優先順位を付けることはできます。おそらくここで多くの方が想像されるとおり、この手法の実施には主観的な要素が関わってきます。しかし、最も緊急性の高い危険コンテンツに迅速に対処するために、優先順位を付けることは有用です。
例えば、誰かがFacebookにヌード写真を投稿したとします。これは規定違反なので、私たちはその写真を削除します。弊社の自動検出システムはこのようなコンテンツを効率的に見つけることができます。では、恋人にふられた男性が腹いせに元恋人のプライベートなヌード写真を投稿した場合はどうでしょう。これは悪影響の深刻度がより高いと考えられるので、私たちは削除待ちリストでの優先順位を引き上げます。救急医療におけるトリアージと同様のアプローチです。つまり、どの患者の命も大切ですが、治療は最も緊急性の高い患者を優先します。
Here’s an example. Suppose someone posts a naked image on Facebook. That’s against our policies and we would work to remove it. In fact, our nudity filters are very effective now. But suppose that image was posted by a man seeking revenge on the woman who broke up with him? We would consider that to have a greater negative impact and we would escalate it in our removals queue – somewhat like triage in an emergency room. Every patient matters. But the most critical cases go first.
Facebookに表示される悪質コンテンツの割合
How Often is Bad Content Seen on Facebook?
偽アカウント、ヘイトスピーチ、ヌードといった規定違反カテゴリーの中で私たちが最も重視するのは、Facebookの全コンテンツの表示回数に対して、規定違反コンテンツが何回表示されたかです。私たちはこれを「プレヴァレンス(普及度)」と呼んでいます。Facebook上にどれくらいの期間削除されず残っていたかではなく、人の目に何回触れたかを測るのです。10分で削除された100万回表示されたヘイトスピーチは、30分残っていたが10回しか表示されていないものよりはるかに害が大きいといえます。
Within each specific category of abuse – whether it is fake accounts, hate speech, nudity, etc. – we care most about how often content that violates our standards is actually seen relative to the total amount of times any content is seen on Facebook. This is what we call prevalence. It’s a measure of how often something is seen, not how long something stays up on Facebook. If a piece of hate speech is seen a million times in 10 minutes, that’s far worse than a piece seen 10 times in 30 minutes.
これはFacebookからコンテンツの一部をサンプルとして抽出し、その中に本来表示されるべきではないコンテンツがどれだけ混じっていたかを調べることで測定します。詳しくはデータの読み方ガイドで解説していますので、そちらをご覧ください。私たちがプレヴァレンスに注目するのは、個々の規約違反の深刻度より、違反コンテンツが目に触れる回数を減らすことに注力するためです。ある意味で、私たちはすべてのコンテンツを平等には扱いません。100万回表示されたコンテンツはサンプリングの対象となる可能性がそれだけ高くなります。これは良いことだと考えます。
We calculate this metric by selecting a sample of content from Facebook and then labeling how much of it shouldn’t be there. You can read about this in more depth in our guide to this data. We’re looking for prevalence so we focus on how much content is seen, not how much sheer content violates our rules. In other words, we don’t treat all content equally: this means that a post seen one million times is one million times more likely to be sampled, and that’s a good thing.
「Facebookは規定に違反した投稿や画像などのコンテンツが削除されるまでにかかった時間を公表すべきだ」というご意見があることは承知しております。しかし、規定違反対策の有効性を測るうえで、時間は最適な指標とはいえません。ときには誤った判断をくだすこともあり、コミュニティ規定違反にあたらないコンテンツを削除してしまうこと（誤判定）もあります。 逆に、削除すべきコンテンツを削除していないこともあります。弊社はこのような誤りが実害につながりかねないことを認識しており、誤判定を減らすよう尽力しています。
We understand that some people believe we should publish metrics about how long it takes Facebook to remove content like posts or images which violate our standards. But we don’t believe time is the best metric for effectively policing our service. It’s also important to remember that we do make mistakes. Sometimes it’s because we removed content that didn’t actually violate our Community Standards (we call these false positives). Other times it’s because we didn’t remove content that we should have. Any mistake can hurt real people, and that motivates us to do better.
Facebookは現在、報告されたコンテンツの確認作業にあたるスタッフを大幅に増員しているところです。加えて、2週間前にGuy Rosenがご説明したとおり、機械学習、コンピュータービジョン、人工知能などの新しいテクノロジーの活用により、人力よりもはるかに速く、はるかに大規模に悪質コンテンツを発見できるようになりました。事実、人工知能によりFacebook上の悪質コンテンツを報告される前に削除できるようになっています。そのため現在では、報告される前に検出された悪質コンテンツの件数も測定しています。この人工知能による自動検出率を上げることは、悪質コンテンツがFacebook利用者に及ぼす悪影響を減らすことに直結しますので、非常に重要な指標となります。
Facebook is investing heavily in more people to review content that is flagged. But as Guy Rosen explained two weeks ago, new technology like machine learning, computer vision and artificial intelligence helps us find more bad content, more quickly – far more quickly, and at a far greater scale, than people ever can. In fact, artificial intelligence means we can get bad content off Facebook before it’s even reported. It’s why we now measure how often Facebook flags content before it’s reported. Improving this rate over time is critical because it’s about directly reducing the negative impact bad content has on people who use Facebook.
今後の向上のために
Finding the Good
私はゲイコミュニティの一員として、Facebookのサービスとそれを利用する人たちの良いところも悪いところも身をもって経験してきました。周囲に理解者がおらず孤独を感じていたときに、Facebookのおかげで仲間を見つけることができました。カミングアウトの際には、プライバシー設定を通じて共有範囲を自分で決めたうえで、友達にシェアすることができました。しかし、Facebook社内の立場とともに世間での地名度が高まってくると、怒濤のような誹謗中傷にさらされることにもなりました。そのことで気分が落ち込んだり、恐怖を感じたりしたこともあります。
As a gay man, I have experienced some of the best and worst of what our service and the people using it can offer. Facebook helped me find a community when I felt alone and isolated. And our privacy settings helped me share with friends and still control how broadly I came out. At the same time, though, as I have become more public and given my role at Facebook, it has exposed me to torrents of abuse that have sometimes left me feeling depressed and scared.
こうした個人的な経験があるからこそ、私たちはすべての人にとってFacebookでの体験がポジティブなものになるようにしたいと願っています。そのために注いできた努力が、このたび公開したレポート、ブログ、ガイドを通じて皆さまに伝わり、今後の改善のためにご意見をお寄せいただくきっかけとなれば幸いです。なぜなら、測定できるものは、改善できるからです。
These kinds of personal experiences make us all want to ensure that people’s experiences on Facebook are positive. I hope this report, blog and guide show you how we’re trying to do that and open up a conversation on how we can do it better. Because what you measure, you can improve.