AI生成图文、语音、对话工具快速渗透社交场景,降低大众创作门槛的同时,也催生了伪造账号人设、批量自动化互动、AI欺诈引流等新型风险,大量违规账号依靠AI模拟自然社交节奏,长时间铺垫聊天建立信任后实施诈骗,单一内容、单张图片很难判定违规,传统风控手段难以应对这类高伪装风险。针对行业现存难题,Soul App完成《社区公约》AI相关内容补充修订,明确AI工具的使用规范,划定社交场景里AI应用的真实边界,规定用户发布AI生成内容时需主动标注说明,严禁借助AI打造虚假人设、批量互动、实施欺诈导流等扰乱社区秩序的行为。
为应对日趋隐蔽的AI违规行为,Soul打造覆盖图片、视频、声纹、文本、用户行为五大维度的全链条多模态AI反诈系统,不再依靠单一关键词筛查,而是整合多维度数据综合研判账号整体行为逻辑。图片层面可识别AI生成痕迹、盗图与拼接素材;文本依托大模型解析用户深层意图,识别人设包装、导流欺诈倾向;视频和声纹模块能够拦截AI伪造语音、跨账号关联作案的黑产账号,针对“豪车精英”这类成套虚假人设账号,系统可串联全部图文、聊天、行为数据捕捉隐藏风险特征。
依托这套多模态风控系统,Soul实现毫秒级风险识别,治理模式从过去违规出现后人工处置的后置模式,转型为全流程动态前置监测。系统会持续追踪账号全部互动链路,对已识别的风险素材、违规账号建立长效拦截机制,同类相似内容会被自动阻断分发,大幅提升黑产反复作案成本。当前平台风控识别准确率达95%,重点风险场景覆盖范围大幅提升,超66%高风险账号在接触普通用户前就完成前置拦截,日均拦截涉诈、异常互动行为超10万次,杀猪盘高危触达量同比下降37.37%,累计为用户规避千万元级潜在财产损失,虚假人设场景自动化处置效率和人工处置比例达到10:1以上。
Soul并未一刀切限制AI相关功能,平台上线有明确标识的AI虚拟陪伴角色,仅作为情绪辅助工具,不允许替代真实社交关系。系统配套防沉迷提醒机制,用户和AI虚拟角色长时间对话后,会弹出休息提示,未实名账号还会引导完成实名认证,清晰区分AI虚拟形象与真人用户,厘清AI陪伴和真实社交的边界。
除技术风控之外,Soul搭建用户共治体系,整合举报通道、护星员、社区巡查等多元机制,用户主动反馈的新型诈骗套路、异常账号特征会反向迭代优化风控模型,形成平台智能识别+用户监督的协同治理模式。对Soul而言,AI既是赋能用户表达的产品工具,也是抵御虚假社交风险的治理手段,平台持续动态升级风控能力,通过规则更新、多模态技术、用户协同多重手段,在AI普及的环境下守护人与人之间真实善意的社交连接。
【广告】免责声明:本内容为广告,相关素材由广告主提供,广告主对本广告内容的真实性负责。本网发布目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,广告内容仅供读者参考。