内容安全是社区、ugc平台的生命线。面对每天产生的大量的ugc内容，内容审核人员必须迅速响应，时刻严防不良信息内容的传播，保障产品内容安全。
内容安全架构师kevin lee和jeff sakasegawa在内容审核方面有着丰富的经验，他们分享了有关内容审核方面的实践。
1. 什么是内容审核？
kevinlee：内容审核就是审核你的平台上用户产生的原创内容（ugc）。假如是yelp，那就意味着审核用户的评分和评论；假如是facebook，则意味着要审核用户网站上发布的任何内容。
2.哪些类型的平台需要内容审核人员？
jeffsakasegawa：所有包含ugc模块的平台。
3.有哪些内容审核是主动的，有哪些是被动的？
kevinlee：大多数公司都缺少相关的工具来主动审核不良内容。因为大部分公司在搭建ugc平台时不愿意在内容审核系统上投入太多成本。
像facebook、yelp和google这样的大公司采取了两种更主动的方式：第一种方法是使用机器学习，并让用户能够标记有问题的内容。第二种方法仍然是被动的，因为它依赖于用户上报不良内容，但它更积极主动，因为内容管理系统可以利用上报的内容在未来剔除类似的内容。
4.在遇到有争议的内容时，内容审核人员如何保证准确率和工作效率？
jeffsakasegawa：内容审核时，彻底清除不良内容，同时又不误删，是非常困难的。这个问题会受审查人员本身存在倾向的影响，假设某人在网站上发布了一个提问的帖子。现在许多网站都可以利用第三方信息来了解这个用户的很多信息，这些信息可能表明该用户是一个十分令人讨厌的人。一旦内容审核人员知道了用户的背景，他们就可能会去推断用户的意图，让自己带着有色眼镜去审核这个用户的帖子。
对于内容审核人员来说，根据制定的政策和程序进行判断可能非常困难。他们必须专注于服务条款，并将他们对用户的主观感受与现有的规则区分开来。
5.人工内容审核有哪些局限性和缺点？
kevinlee：三个主要的限制：规模、灵活性和响应时间。
规模：随着平台的发展，雇用和培训人员的速度很难跟上平台发展的步伐。
灵活性：举个例子，如果你想把业务拓展到保加利亚，那么你必须快速找到可以用保加利亚语审核内容的人员。
响应时间：网站上的内容可以在一天中的任何时间发布，这意味着审核人员必须二十四小时不间断地工作，尽管他们已经很疲劳了。机器学习可以解决这三个限制。
jeffsakasegawa：规模是最重要的。不良内容是活的，它可以被截图并共享，甚至可能会进入新闻界，这会严重损害公司的形象和利润。即使你拥有一个强大的内容审核团队，他们快速响应这些内容的能力也是有限的，他们也很难无偏见的进行审查。这正是机器学习充分发挥作用的时候，它没有这样那样的限制，它会随着业务的发展而发展。
6.公司风险团队是否要将内容审核纳入到公司战略规划中？
kevinlee：存在ugc模块的公司必须要具备内容审核的能力——在技术路线图增加内容审核功能，或者允许用户主动标记不良的内容。
jeffsakasegawa：ugc平台如果一开始没有把内容审核考虑进去，那么到后面就一定会遇到各种问题。业务发展的初期就必须要考虑内容审核，并思考如何使用机器学习系统进行自动化审核，这是非常重要。如果你提前将内容审核纳入到公司战略中，那你就可以更好地扩大业务运营。
本文由网易易盾组织翻译。
相关阅读：