网易工程师高洪亮:测试时不要急于判定审核能力 效果是需要磨合的-至尊全讯大全官网

作者:网易易盾企业安全高级至尊全讯大全官网的解决方案工程师高洪亮

我是一名至尊全讯大全官网的解决方案工程师,与企业用户的交流是我工作中重要的组成部分。在内容安全领域,我与许多不同类型的企业用户沟通、交流过,以下是个人对于内容安全体系建设的一些认知和思考。

1.是否引入第三方专业的内容安全服务?

在这个问题上,可以按照内容数据量的规模大小,将内容平台划分为小规模、中等规模、超大规模三个级别。不同的平台面临的问题不同,需要评估的因素优先级也不同,这里从平台规模来分别说明一下,到底是自建,还是接入第三方内容服务。

1.1 小规模平台

例如一个发展初期的电商平台,每天要审核的用户评论可能只有几千条或者几万条,大部分内容是没有问题的。这种情况下,内容审核工作的成本因素优先级较高,对于可能存在的灌水、谩骂、无意义评论,用户可以选择投入1-2名运营人员进行人工审核,基本可以满足对保障效果和低成本的要求。

1.2 中等规模平台

平台发展到中等规模时,每天产生百万甚至千万量级的数据。 这种情况下,对于审核的需求,效果和效率优先级最高,成本因素优先级下降。

自建审核体系,没有长时间的数据、人员经验积累,审核效果很难保障,而且需要投入大量的人力和硬件设备,成本要达到百万甚至千万级别。并且平台发展到中等规模时会面临更多的问题,可能有恶意竞争对手在平台发布灌水、恶意引流信息,也有黑灰产在平台发布黄赌毒等违法违规的信息……

这种情况下,引入第三方服务商的内容安全服务,来保障审核效果并提高审核效率,而企业自身专注于业务层面,这种选择符合公司快速稳定发展的战略。

1.3 超大规模平台 

以较大的视频平台为例,在业务量超大的情况下,成本因素降为最低,因为不论是引入第三方服务,还是自建审核体系,成本投入都非常之高。

另外发展到超大规模的企业,肩负的社会责任较大,在审核标准上,除了一些必要的违规违法内容需要审核,还有一些负面的,会造成不良引导的内容需要审核。例如:未婚已孕的低龄少女妈妈直播,这类内容需要审核人员介入,依靠自动检测平台与审核人员的主观判断能力,共同保障审核效果。

从公开渠道信息可以了解到,一些视频业务为主的公司,人工审核团队已经达到了上万人,团队主要分布在二三线城市。除了有成本、效果、效率因素的考虑,还会有数据敏感性、公司战略发展等因素的影响,所以综合来看超大规模平台引入第三方服务的概率很小。

2. 用户对于内容服务审核的需求分析

如果一个用户已经确定了要使用第三方专业的内容安全服务,在综合评选合适的至尊全讯大全官网的合作伙伴时,有多个评选因素,排除掉商务关系,按照优先级分为:审核效果、价格、其他因素(公司实力、 服务体验、业内口碑等)。 因为价格和公司实力等因素非常容易比对,就不做过多的阐述,这里重点阐述下对于审核效果上评比的一些心得。

2.1 对于审核效果认知的误区

用户在不同的阶段会用不同的认知和误区。刚刚接触到内容审核业务的用户,会比较看重各个内容安全服务商对于审核效果的宣传数字。

如果一家公司宣传的准确率99.9%,可能高于其他人0.1个百分点,用户会觉着数字越高越好。但是当实际测试对比马上就会发现,这个数字只是一个实验室环境的数据,可是能针对某一个样本级的测试数据,不代表用户的业务审核准确率也能达到这个数字。

另外这个数字也是比较笼统的,因为不同类型的数据、不同的审核标准下的准确率也是各不相同的,所以不要过于迷信准确率的数字,需要结合实际的业务数据测试来看效果。

在测试阶段,会出现没有达到用户预期的检测效果。这种情况下不要急于判定审核服务能力差,因为审核效果是可以提升的,是需要经过“磨合”。 这里的“磨合”,可以是运营人员策略上的调整,也可以是算法团队对于模型的调优,需要用户与服务方运营人员充分沟通,双方共同努力来提升审核效果。

这里也需要用户了解两个概念:准确率与召回率。准确率是指对数据判断正确的比例,而召回率是指找出问题数据的比例,两者有互斥的关系,高召回率可能会降低准确率,所以对于业务上使用的策略也会影响到检测效果,这个要结合用户业务性质与检测时期来决定策略上的调整。

2.2 效果保障——快捷高效的运营机制

服务方的运营人员主要职责在于调整审核规则,收集问题并快速解决,所以沟通方式一定要快捷有效。易盾在服务上采用im群为主要的沟通方式,并以邮件、电话、工单等方式辅助,让用户能够有快速反馈的渠道。同时在人员配备上,采用轮班等形式,形成7*24小时的全天候服务,达到快速响应的效果。而且在易盾内部,运营团队与算法团队有良好的配合机制,这样当用户遇到问题时,无论是策略还是算法层面的问题,用户能够快到找到运营人员进行统一协调快速解决问题。

2.3 效果保障——人工审核服务

目前第三方内容安全的服务,主要是以saas形式提供自动化审核服务。我们需要知道的是纯自动化审核是没有办法鉴别出全部的内容问题。易盾在机器检测服务之外,还提供全天候的人工审核服务,对于用户来说有更多的选择,可以是自己的运营团队来做,也可以是交给易盾完成整个审核流程。

易盾的审核团队人员经验较为丰富,对于政策相关的敏感内容能够做到严格把控,人员的高审核素质加上易盾成熟的人工审核系统,可以为用户提供高效的、可靠的人工审核。


网站地图