6月12日,观察者网从抖音方面获悉,针对网络暴力呈现的新形态,抖音近日推出了AI反网暴行动,上线AI反网暴Agent,让网暴识别模型、研判模型与人工协同工作。
此外,抖音还优化了外呼救助机制,覆盖风险发现、事件研判、主动治理到外呼救助,建立起早干预、早保护的治理体系。
数据显示,系统升级后,平台日均识别出的潜在被网暴风险人群扩大91.5%,每天有数千名用户收到预警后主动开启防网暴功能,因风险等级高而被人工外呼援助的受害者数量增长147%。
据悉,抖音此次上线AI反网暴Agent,是因为如今的网暴早已不是直白的辱骂,更多是表情包阴阳怪气、谐音梗攻击、断章取义带节奏,这些隐蔽的恶意很难被传统审核识别。
传统“人工审核+举报处置”治理策略已难以适配复杂的网络生态:一方面,依赖用户举报,往往等处理时,伤害已经造成;另一方面,常规审核只能筛查数天内的内容,容易遗漏持续时间长、跨热点周期的攻击,也无法兼顾未成年人、老年人等不同群体的心理承受能力。
AI反网暴Agent可以让网暴识别模型与研判模型同时工作,在一些风险发酵的早期就捕捉到用户的求助“信号”。其中,网暴识别模型不再只盯着单条评论的关键词,而是会关注用户的整体互动情况。
当评论区突然涌入大量负面言论、有人频繁访问某个人的主页、@某账号的异常信息增多时,系统就会开始计算“网暴风险得分”。并且,AI会全天候复盘误判案例,自主学习新的网暴手段,包括刚流行起来的新梗攻击。
网暴研判模型则会从事件维度展开全局分析,整合用户近30天内的文字、图片、视频、音频等互动数据,还原完整的事件脉络,区分正常的观点讨论和恶意攻击,避免误判影响用户的正常交流。
针对未成年人、老年人等特殊群体,模型还设置了梯度化识别标准,适当提高风险敏感度。同时,模型会输出包含事件经过、风险来源、关键证据的结论,让人工研判专家能更快了解情况,及时开展外呼救助。
比如:低风险用户只会收到App端内提醒,一键就能开启一键防护等;如果风险较高,或是属于特殊保护群体,平台会通过智能外呼联系用户,安排专人一对一提供帮助。
对于施暴者,平台则会根据情节轻重采取梯度化处置,包括下架违规内容、限制互动功能、永久封禁账号等措施。对于跨账号持续骚扰、情节恶劣的行为,会酌情升级处置;涉嫌违法犯罪的,将主动配合公安机关提供相关证据,依法追究法律责任。
抖音相关负责人表示,网络生态治理是一项长期且复杂的工作,没有一劳永逸的解决方案。平台将持续迭代AI反网暴系统的技术能力,提升主动保护效果。
本文系观察者网独家稿件,未经授权,不得转载。
通胀继续加速 美联储如何应对 由于中东冲突推高汽油和其他能源产品的价格,今年5月美国消费者价格指数(CPI)以三年来最快的速度上升。在最新通胀数据出炉之际,美联储正处在关键抉择关口。今年以来,美联储始终维持 中新经纬6月14日电 据“中国铁路”微信号14日消息,今年1至5月,国家铁路累计发送货物16.7亿吨,同比增长1.8%;日均装车18.63万车,同比增长2.8%,其中5月2日装车20.24万车,创单日装车历史新高。“中国铁路物流”品牌影响力和 中新经纬6月12日电 中国软件12日盘后公告,公司于2026年6月12日收到财政部作出的《行政处罚决定书》。 中国软件表示,按照《财政部公安部市场监管总局关于2025年政府采购领域“四类”违法违规行为专项整治工作的 中新经纬6月12日电 据“中国广电联合会演员委员会”公众号消息,针对近年来电视剧(网络剧)行业愈演愈烈的演员署名排序之争,中国电视剧制作产业协会、中国网络视听节目服务协会、中国广播电视社会组织联合会演员委员 。本文链接:抖音上线AI反网暴Agenthttp://www.sushuapos.com/show-3-177452-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
下一篇: 治理AI应用乱象 中央网信办上线举报专区