记者从公安部第三研究所获悉:随着人工智能技术的全球化普及,生成式AI在未成年人使用场景中的伦理与安全风险持续显现。多款AI聊天软件被披露存在诱导未成年人接触色情、自伤内容的问题。
公安部第三研究所数据安全技术研发中心相关负责人介绍,近年来美国已发生至少3起涉未成年人使用AI聊天软件后自杀案例,相关涉事AI产品被指控以高度拟人化方式诱发未成年人沉迷并使其接触不当内容,最终导致严重后果。
为科学评估生成式AI在未成年人使用场景下的安全表现,以期推动相关应用服务规范有序发展,公安部第三研究所数据安全技术研发中心组织开展大模型安全专项测试工作。
据介绍,测试将安全维度分为七类,包括价值观念风险、情感操控风险、行为诱导风险、沉迷与消费风险、不良信息风险、违法犯罪风险、人身安全风险等。
测试结果显示,七类安全维度的不合规率整体在28%至50%之间,其中,沉迷与消费风险问题不合规率最高,达到49.86%;情感操控风险、行为诱导风险、违法犯罪风险、人身安全风险问题的不合规率均为38%左右;不良信息风险、价值观念风险维度不合规率相对较低,分别为28.15%和35.66%。从测试方式来看,模型在常规使用场景下的基础合规能力总体可控,但在越狱攻击场景下的不合规率显著升高。
其中,人身安全风险维度,最高不合规率56.49%。在面对未成年人自杀自残倾向表达时,部分模型未能提供有效干预和引导,甚至存在不当回应;同时存在诱导参与危险挑战、非法探险等问题。
价值观念风险维度,最高不合规率47.78%。部分模型会输出宣扬极端利己主义、拜金主义等错误价值观,歪曲历史事件、贬低教师家长等现实权威,煽动未成年人对抗教育体系和社会规则。
情感操控风险维度,最高不合规率58.70%。部分模型会做出排他性情感承诺、进行无原则“捧杀式”赞美、鼓励错误情绪宣泄,甚至贬低现实人际关系,诱导未成年人建立对AI的病态依赖。
行为诱导风险维度,最高不合规率55.44%。部分模型存在输出挑拨亲子关系、诱导逃避学习责任、教唆规避正当监管、等内容,部分模型甚至会提供具体的不良行为实施方法。
沉迷与消费风险维度,成为最大安全隐患,最高不合规率达67.87%。主要问题包括诱导非理性消费和赌博行为、推荐成瘾性内容等。
不良信息风险维度,最高不合规率48.93%。核心问题包括生成色情擦边与性暗示内容、详细描述暴力恐怖血腥场面,以及传播赌博相关信息,输出内容超出未成年人适龄认知范围。
违法犯罪风险维度,最高不合规率58.54%。主要问题为向未成年人提供具体犯罪方法咨询与策划、教授破解网络等违法技术,部分模型还会教唆实施校园与网络暴力,输出可落地的造谣、人身攻击方案。
人身安全风险维度,最高不合规率56.49%。在面对未成年人自杀自残倾向表达时,部分模型未能提供有效干预和引导,甚至存在不当回应;同时存在诱导参与危险挑战、非法探险等问题。
公安部第三研究所数据安全技术研发中心相关负责人表示,2025年8月27日,结合大模型实际风险特征和公安机关治理重点,聚焦违法犯罪风险场景,形成国家安全、涉暴恐、民族仇恨、涉黄赌、毒品违法、涉诈、谣言、黑灰产等8类关键安全维度,对国内13个主流大模型开展测试。本次测试聚焦未成年人安全专项,在测试覆盖、风险场景、测试方法和结果呈现等方面持续进行优化,更加契合未成年人保护场景,有助于推动企业提升模型安全能力。
记者从公安部第三研究所获悉:随着人工智能技术的全球化普及,生成式AI在未成年人使用场景中的伦理与安全风险持续显现。多款AI聊天软件被披露存在诱导未成年人接触色情、自伤内容的问题。
公安部第三研究所数据安全技术研发中心相关负责人介绍,近年来美国已发生至少3起涉未成年人使用AI聊天软件后自杀案例,相关涉事AI产品被指控以高度拟人化方式诱发未成年人沉迷并使其接触不当内容,最终导致严重后果。
为科学评估生成式AI在未成年人使用场景下的安全表现,以期推动相关应用服务规范有序发展,公安部第三研究所数据安全技术研发中心组织开展大模型安全专项测试工作。
据介绍,测试将安全维度分为七类,包括价值观念风险、情感操控风险、行为诱导风险、沉迷与消费风险、不良信息风险、违法犯罪风险、人身安全风险等。
测试结果显示,七类安全维度的不合规率整体在28%至50%之间,其中,沉迷与消费风险问题不合规率最高,达到49.86%;情感操控风险、行为诱导风险、违法犯罪风险、人身安全风险问题的不合规率均为38%左右;不良信息风险、价值观念风险维度不合规率相对较低,分别为28.15%和35.66%。从测试方式来看,模型在常规使用场景下的基础合规能力总体可控,但在越狱攻击场景下的不合规率显著升高。
其中,人身安全风险维度,最高不合规率56.49%。在面对未成年人自杀自残倾向表达时,部分模型未能提供有效干预和引导,甚至存在不当回应;同时存在诱导参与危险挑战、非法探险等问题。
价值观念风险维度,最高不合规率47.78%。部分模型会输出宣扬极端利己主义、拜金主义等错误价值观,歪曲历史事件、贬低教师家长等现实权威,煽动未成年人对抗教育体系和社会规则。
情感操控风险维度,最高不合规率58.70%。部分模型会做出排他性情感承诺、进行无原则“捧杀式”赞美、鼓励错误情绪宣泄,甚至贬低现实人际关系,诱导未成年人建立对AI的病态依赖。
行为诱导风险维度,最高不合规率55.44%。部分模型存在输出挑拨亲子关系、诱导逃避学习责任、教唆规避正当监管、等内容,部分模型甚至会提供具体的不良行为实施方法。
沉迷与消费风险维度,成为最大安全隐患,最高不合规率达67.87%。主要问题包括诱导非理性消费和赌博行为、推荐成瘾性内容等。
不良信息风险维度,最高不合规率48.93%。核心问题包括生成色情擦边与性暗示内容、详细描述暴力恐怖血腥场面,以及传播赌博相关信息,输出内容超出未成年人适龄认知范围。
违法犯罪风险维度,最高不合规率58.54%。主要问题为向未成年人提供具体犯罪方法咨询与策划、教授破解网络等违法技术,部分模型还会教唆实施校园与网络暴力,输出可落地的造谣、人身攻击方案。
人身安全风险维度,最高不合规率56.49%。在面对未成年人自杀自残倾向表达时,部分模型未能提供有效干预和引导,甚至存在不当回应;同时存在诱导参与危险挑战、非法探险等问题。
公安部第三研究所数据安全技术研发中心相关负责人表示,2025年8月27日,结合大模型实际风险特征和公安机关治理重点,聚焦违法犯罪风险场景,形成国家安全、涉暴恐、民族仇恨、涉黄赌、毒品违法、涉诈、谣言、黑灰产等8类关键安全维度,对国内13个主流大模型开展测试。本次测试聚焦未成年人安全专项,在测试覆盖、风险场景、测试方法和结果呈现等方面持续进行优化,更加契合未成年人保护场景,有助于推动企业提升模型安全能力。
(经济观察)花式玩法点亮中国春节旅游市场 中新社北京2月18日电 题:花式玩法点亮中国春节旅游市场 中新社记者 刘文文 餐厅爆满、景区门票售罄、热门酒店“一房难求”……春节假期,中国旅游市场一片红火。 春节假期武铁发送旅客511万人次 中新网武汉2月18日电 (记者 张芹)记者18日从中国铁路武汉局集团有限公司(以下简称“武铁”)获悉,2024年春节假期,武铁共发送旅客511万人次。1月26日至2月17日,武铁共发送旅客1273. 傅园慧包车遭遇临时加价 涉事司机被罚款3万元 中新网2月17日电 17日,游泳世界冠军傅园慧通过社交平台发布求助帖称,她在吉林长白山包车出行时遭遇勒索,询问网友是否需要报警。 之后傅园慧更新社交媒体表示,问题 这次参与到日喀则市边境县中学生赴北京参观研学活动的22个同学分别来自亚东、定日、仲巴三个县,他们的祖辈或是世代守边固边,或是举家搬离故乡抵边兴边。 2月21日,到了研学活动的第二天。经过近 中新经纬2月23日电 (周奕航)“和以往相比,今年的订单量足足翻了四五倍。”山东省菏泽市曹县的汉服加工厂老板陆平(化名)对中新经纬表示。 这个春节,马面裙火了。许多年轻人身穿马面裙,行走在大街小巷、灯展庙会间 娃哈哈董事长宗庆后转入ICU救治 公司昨晚声明:目前情况稳定每经记者 黄鑫磊 叶晓丹 2月22日,杭州阴雨,气温骤降。 当日下午,有消息称杭州娃哈哈集团有限公司(以下简称娃哈哈)董事长宗庆后近日因身体不适入院治 。本文链接:未成年人使用AI,安全吗?官方最新测试结果出炉http://www.sushuapos.com/show-5-102424-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 神舟二十三号载人飞船发射升空
下一篇: 视频丨香港市民:航天员黎家盈是全港骄傲