在内容安全领域，黑产用户的行为、关系网都有鲜明的特点。本文讲述了在强对抗背景下针对零用户样本和稀缺用户信息的难题，如何玩转大数据和图计算，捕获黑产用户在内容、行为、设备等方面深层次的鲁棒性特征。我们抛开了内容层面繁杂的细节，从一个新的角度为保障内容安全和构建用户风控体系提供了一种切实可行的技术路线。
01 用户关系图谱设计的背景
在虚拟网络中存在部分黑产用户，这部分用户多以色情或其他低俗内容为噱头，在成功吸引用户关注后，通过引流、分流等方式，将用户拉入私人聊天空间或其他平台，分步实施黄赌毒、诈骗、甚至枪支贩卖等严重的犯罪行为，同时达到宣传推广获利的目的。
当前工业界与学术界的许多组织推出了基于图像、文字、语音、视频等内容方面的检测api以及至尊全讯大全官网的解决方案，而本文则是介绍了基于用户层面上的解决方法。为什么需要在这一层面解决内容安全问题呢？原因有二：
其一，恶意账号是网络黑产的源头，大多数违规内容是非正常用户发布的，在账号层面对网络黑产用户进行挖掘可以对黑产的源头进行精准地打击，从账号、ip、设备等源头控制内容违规风险。
其二，账号行为对抗门槛高，用户的行为习惯以及关系网络是很难在短期内作出改变的，而针对单一的黑产内容可以通过多种方式避免被现有的算法所感知，仅内容检测手段极易落入疲于应对的局面。
举个例子，黑灰产通过图片扭曲、特征掩盖、牛皮癣干扰等简单的对抗手段即可成为图像检测的疑难杂症，增加算法成本。文本方面，同音词、象形词、拆字、干扰词等形式带来的隐晦有害内容也一直屡禁不止，如附骨之疽一般，难以根治。
02 用户关系图谱技术方案
考虑到内容发布场景中存在大量的文本、图像、行为、设备等多模态数据，每个模态的数据中都包含大量的信息，且不同模态数据之间存在一定的关联性，融合不同模态数据的特征集并联合学习潜在的共享信息，有助于解决单模态数据存在的信息不完整性问题。
为了应对黑产行为的对抗性，我们从关联关系的角度入手，以账号为主线，融合文本、行为、设备等多模态数据，从内容相似性、行为协同性、设备聚集性等方面刻画黑产行为背后的鲁棒性特征，构建以用户为节点的关系图谱，一方面利用社区发现算法，找到了尽可能多的高质量黑产用户样本，另一方面结合 graph embedding 算法学习用户的关系向量，在少量标签信息监督的情况下，鉴别用户是否有内容违规风险。我们设计的内容安全用户风控技术方案如图1所示。
由图1可见，图计算技术基本贯穿了整个技术方案的主线。这是因为，图具备天然的优势，比如它可以描述黑产团伙作案的聚集性和关联性，与黑产作案特点相符合；图特征对新的攻击方式对抗性较高，黑产难以察觉，因此具有很强的鲁棒性。
图1 | 内容安全用户风控技术方案
2.1 用户关系网构建
关系的构建包括显式和隐式两类。
显式关系，比如用户间的好友、互动、im 往来等社交关系，这一类数据囿于客户对于用户隐私的保护，在内容安全 saas 服务中一般不大可能获得，因此可用的显式关系仅局限于以 ip 和设备为桥梁的账号资源共用关系。
隐式关系是通过间接关联得到的关系，比如通过某个维度信息使用某种相似度计算得到的用户相关性。此类关系在用户关系图谱构建中占主导，这主要是从对抗性的角度来考虑，相比 ip 可变换、设备可篡改，黑产用户之间潜在的隐式关联是无法掩饰和伪造的。
2.1.1 内容相似关系
在内容发布环节，黑产往往使用自动化工具，操纵多个平台账号，批量发布同质违规内容，以此达到提高曝光量、恶意引流的目的。因此，内容相似性是建立用户关系的最基础特征。
两个用户之间的内容相似性定义为：选取最近一段时间窗口内（e.g.近 n 小时）的内容发布数据，用户 a、b 发布内容的集合分别构成文档 doca、docb。我们选用了基于 topk-ngram-tfidf 的余弦距离来度量 doca 和 docb 的相似性。
具体来说，首先对用户文档生成字符级 ngram 集合，同时计算对应 tfidf 权重，并从中截取 topk 的 ngram 关键短语块，构成文档特征向量。则用户 a、b 关系边的权重计算为 doca 向量和 docb 向量的余弦相似度。
文本相似度是个很古老的话题了，计算方法非常多，之所以采取上述方法，是从内容安全的特殊场景来考虑的：
首先，黑产发布的内容往往具有一定的文本变种、特殊符号等特点，故首先排除所有基于分词的相似性算法，因为如果出现分词不当或无法识别的词语，这种具有区分性的特征就会丢失，因此这里采用字符级 ngram；
其次，文本表征需具备局部敏感性，在文本噪音充斥的情况下（如图2所示），稳定的文本表征有助于发现变种文本之间的语法联系，因此这里通过截取 topk 来过滤长尾 ngram，节省计算开销同时对噪声词鲁棒；
然后，出于实时计算性能的考虑，采用文档粒度的特征向量，而不是句子粒度，前者仅需一次相似度计算，而后者需两两比对，引发笛卡尔积计算。
图2 | 广告变种内容样例
2.1.2 行为协同关系
两个用户之间的行为协同性是指：特定业务场景的代表性行为，表现出节奏和步调一致的规律，或在时间和频次维度上体现同步性。比如论坛或app社区上，用户 a 和 b 的发帖行为集中于相同的某一时段，而其余时段的行为量都非常稀疏；或者，最近一段时间窗口内，a 和 b 频繁在几近相同的时间间隔内进行了发帖行为，若非通过同一种自动化工具，正常用户之间一般难以达到如此高度一致的步调。
基于以上观察，我们从两个维度来量化用户之间的行为协同性。一是，以小时为单位，以周为时间窗口，统计用户发布内容的频率，构成行为特征vector1=24∗7=168维的向量，过滤掉整个时间窗口内频率分布较为均匀且稠密的数据；二是，选取最近一段时间窗口内（e.g.近 n 小时）的最近k条内容发布数据，计算相邻行为时间之差并以分钟为单位离散化后，按时序拼接构成行为δt序列，作为行为特征 vector2=k 维的向量。则用户整体的行为特征模式表示为 [vector1, vector2]，用户之间的行为协同关系计算为该向量的余弦相似度。
2.1.3 设备/ip聚集性
黑产攻击离不开ip、手机号、设备、身份证信息、银行卡等资源的支持。为降低攻击成本，黑产团伙通常会共用硬件设备资源。从部分客户的内容安全过检日志中，我们可以直接获取到用户发布内容所使用的设备和ip。如果用户 a、b 出现共用设备、ip 等资源，则认为用户 a 和用户 b 存在关联关系。综合一段时间窗口内的行为日志，我们可以获取到 a、b 使用过的资源列表，两者求jaccard相似度作为用户之间的相关性权重。
2.2 黑产团伙挖掘
至此我们已经构建了三种以用户为节点的关系网，在此之上分别应用 fast-unfolding、graph-cut、fraudar 等社区发现算法进行黑产团伙挖掘是风控业界的共识做法。在用户风险画像从0到1构建初期，我们也遵循该路线，取得了不错的业务效果。图3展示了某客户产品线上真实的团伙案例，结合内容本身的有害性（e.g.广告、色情、违禁）、内容跨用户的协同性（e.g. 使用相似话术、同一600全讯开户送白菜的联系方式或类似的变种模式）、以及个体用户本身的行为批量性，可验证这些子图均为非法利益驱动下的内容违规团伙。为避开易盾内容安全系统的内容检测模型、专家规则等，他们交替使用了同音词、象形词、拆字、干扰词等形式，构成极其隐晦的引流信息；而通过用户行为、关系大数据分析手段，这批黑产用户在活跃初期被识别出团伙协同后，会近实时写入用户标签库并生效在线检测，则中后期不管再出现何种变种模式，都能成功拦截，大大降低了攻防压力。
团伙挖掘成果一方面作为高精度用户风控模型独立应用于有害内容的在线拦截，另一方面是在业务发展初期作为一种无监督学习方式，可以在无标注样本和无人工介入的前提下自主挖掘并沉淀一批高质量的黑产用户样本库，为后续的模型进阶打下样本基础。
图3 | 某客户产品上黑产团伙案例（不同颜色代表不同的团伙子图）
2.3 用户关系向量学习
从业务安全的视角来看，内容违规风险只是全链路业务风控中的一环，多种风险类型往往是组合交织在一块的。上述三类关系网能够反映黑产行为的成团聚集的拓扑结构，而通过社区发现由于需结合人工经验阈值只能挖掘出其中的冰山一角，即最典型最严重的部分，且不具备泛化能力。如何以点带面牵引出更多的黑灰产账号，在通过以上无监督学习方法积累了尽可能多的坏样本之后，我们开始尝试基于有监督学习的扩展方案。
为进一步扩大黑产用户召回，全面推广用户风险画像在内容安全业务线的应用，我们融合多模态数据，将内容相似性、行为协同性、设备聚集性三网合一构成用户相关性图谱，并利用黑产团伙挖掘的产出作为种子节点，通过有监督学习的节点分类任务进行黑标签扩散，识别具有相似图谱结构特征的黑产用户。算法流程如图4所示。
图4 | 基于用户关系向量的风险标签预测流程
这里采用了 node2vec 图嵌入算法进行用户关系网向量化表征学习，使得用户节点之间的潜在关系可以进一步通过节点向量的相似度计算获得。graph embedding 的相关算法非常多，采用 node2vec 主要是从两方面因素考虑：
一方面，关系网络的“同质性”：距离相近节点的 embedding 应尽量近似（比如上图的节点 u 和节点 v1~v4），即已知黑产用户的邻居也是黑产的概率很大。
另一方面，关系网络的“同构性”：结构上相似的节点 embedding 应尽量近似，比如上图的节点 u 和节点 v6，虽然距离较远，但都是各自局部网络的中介节点，其 embedding 表征也应该近似，若用户 x 和某已知黑产用户处于同一种密集连接的局部结构，则 x 为黑产的可能性也较大。
如图4-step1所示，在 node2vec 算法中可以灵活调节随机游走 bfs 和 dfs 的倾向性来同时捕获这两种黑产关系特征。我们甚至可以把偏向“同质性”的 embedding 结果和偏向“同构性”的 embedding 结果共同输入后续的分类器，以保留用户的不同图特征信息。
图5 | 用户关系向量可视化（左图为 t-sne降维，右图为umap降维）
图5是通过 t-sne、umap 等降维算法将测试集样本的 embedding 向量投影到三维空间进行可视化，从而直观地验证 embedding 向量的效果。可以清晰地看到，黑产用户和正常用户具有明显的分类平面。于是我们利用此向量，构建用户风险识别分类任务来鉴别这两类群体。node2vec 的同质性和同构性假设保障了在关系网中距离近邻的、结构相似的用户节点具有相同的或相近的标签和预测概率分。
03 应用效果
目前用户风险识别模型已在数十家客户上独立生效在线拦截，覆盖了社交娱乐、直播、游戏、app社区、教育等行业线，以及广告、色情、违禁等垃圾类别；在黑灰产活跃期，有害内容拦截量相比纯内容检测手段提升显著，图6为多个客户产品上不同观测日期的线上实际净拦截量。客观上讲，该拦截量变化受两方面因素影响，一是该产品受黑产入侵的严重程度，二是不同日期/时段的黑产用户活跃度。从该拦截量曲线，可明显看到黑产在内容违规风险上呈明显的“弱--强--弱”周期性
图6 | 用户风险识别模型(含团伙挖掘)在线净拦截量（不同颜色代表不同客户产品）
04 结语
世界上没有完美的犯罪，只要作案了，总会留下蛛丝马迹。针对内容安全领域强对抗场景，本文抛开了内容层面繁杂的细节，站在更高的维度将“用户在什么时间通过什么 ip 或设备进行了内容发布行为”抽象成一张关系网，并综合应用团伙挖掘、多模态数据融合、graph embedding 用户关系向量化等大数据 图计算方法，从关系网中深度挖掘内容违规风险用户背后隐藏的“蛛丝马迹”，强化黑产攻防对抗能力，降低与黑产对抗的成本。
后续，我们将持续优化用户相关性图谱的构建工作，包括扩展到更多类型的数据源和应用场景，以及全链路跨场景的关联建模，全面掌控每个可能影响内容风控的业务环节，从全局视角来提升内容违规用户识别的准确率和召回率。