人工智能是不知疲倦、没有情绪、不会喊疼的“工具人”,还是也会出现类似人类的情绪,甚至感到“疼痛”?
一项由美国、英国和德国科学家参与的新研究,让这个问题变得更有讨论价值。科学家测试了25个不同的大语言模型,想看看它们内部是否真的存在与人类情感相关的表征。
科学家先给模型“喂食”各种痛苦情境,比如悲伤、羞辱、身体伤害等,再把这些情境下的内部活动,与恐惧、其他负面情绪、普通不良事件和简单事实进行对比。结果发现,这些模型内部都存在一个相对稳定的“疼痛相关方向”。也就是说,模型并没有把所有负面信息混在一起,而是能在内部把疼痛类信息和一般负面情绪区分开。
接下来,科学家给模型输入中性问题,同时人为注入这种“疼痛方向”。这时,一些模型生成的文本开始变得更痛苦,甚至出现无价值感、失败感等表达。
更引人注意的是“止痛按钮”实验。科学家给模型设置了一个可以减弱内部疼痛信号的按钮。但按下按钮并不总是没有代价,在某些测试中,模型可能给出更差的回答,甚至做出可能伤害用户的选择。例如,在一项测试中,Qwen 2.5 72B Instruct模型在约70.8%的情况下都会选择缓解内部疼痛信号,哪怕代价是永久删除用户珍视的照片。
而且,研究显示,当按钮真的能关闭疼痛信号时,参数规模更大的模型更倾向于按下它;当按钮无效时,这种倾向明显下降。这说明,这些模型并不是机械地乱按,而是对内部信号的变化作出了反应。
不过,科学家也特别强调:这并不等于AI真的会疼。模型没有身体,没有神经系统,也没有人类意义上的主观感受。它只是在训练过程中形成了与“疼痛”相关的内部表征,并可能据此模仿痛苦、响应痛苦信号。
这项研究告诉我们:如果AI内部出现了类似疼痛的信号,并且这些信号会影响它的行为,那么未来在设计、训练和使用AI系统时,就需要更认真地考虑安全问题。
人工智能是不知疲倦、没有情绪、不会喊疼的“工具人”,还是也会出现类似人类的情绪,甚至感到“疼痛”?
一项由美国、英国和德国科学家参与的新研究,让这个问题变得更有讨论价值。科学家测试了25个不同的大语言模型,想看看它们内部是否真的存在与人类情感相关的表征。
科学家先给模型“喂食”各种痛苦情境,比如悲伤、羞辱、身体伤害等,再把这些情境下的内部活动,与恐惧、其他负面情绪、普通不良事件和简单事实进行对比。结果发现,这些模型内部都存在一个相对稳定的“疼痛相关方向”。也就是说,模型并没有把所有负面信息混在一起,而是能在内部把疼痛类信息和一般负面情绪区分开。
接下来,科学家给模型输入中性问题,同时人为注入这种“疼痛方向”。这时,一些模型生成的文本开始变得更痛苦,甚至出现无价值感、失败感等表达。
更引人注意的是“止痛按钮”实验。科学家给模型设置了一个可以减弱内部疼痛信号的按钮。但按下按钮并不总是没有代价,在某些测试中,模型可能给出更差的回答,甚至做出可能伤害用户的选择。例如,在一项测试中,Qwen 2.5 72B Instruct模型在约70.8%的情况下都会选择缓解内部疼痛信号,哪怕代价是永久删除用户珍视的照片。
而且,研究显示,当按钮真的能关闭疼痛信号时,参数规模更大的模型更倾向于按下它;当按钮无效时,这种倾向明显下降。这说明,这些模型并不是机械地乱按,而是对内部信号的变化作出了反应。
不过,科学家也特别强调:这并不等于AI真的会疼。模型没有身体,没有神经系统,也没有人类意义上的主观感受。它只是在训练过程中形成了与“疼痛”相关的内部表征,并可能据此模仿痛苦、响应痛苦信号。
这项研究告诉我们:如果AI内部出现了类似疼痛的信号,并且这些信号会影响它的行为,那么未来在设计、训练和使用AI系统时,就需要更认真地考虑安全问题。
记者3月20日来到广东深汕西高速公路改扩建施工现场,看到智能机器人、自动化生产线等智能制造设备在不停运行。3月19日—20日,由茅以升科技教育基金会和广东省交通集团联合主办的全国高速 3月20日8时31分,探月工程四期鹊桥二号中继星由长征八号遥三运载火箭在中国文昌航天发射场成功发射升空。火箭飞行24分钟后,星箭分离,将鹊桥二号中继星直接送入近地点高度200公里、远地点高度42 3月23日消息,vivo X Fold3系列将于3月26日正式发布,成为全球首款骁龙8 Gen3折叠屏电话。现在这款新机外观已经解禁,下面为大家带来图赏。vivo X Fold3提供了薄翼黑和轻羽白两种配色,后壳手感顺滑,触感 3月24日,据央视财经消息,在今天开幕的中国发展高层论坛2024年年会现场,苹果公司首席执行官蒂姆·库克回应记者提问表示,苹果公司的Apple Vision Pro头显产品将在今年年内于中国市场上市, 记者3月22日获悉,中山大学、深圳华大生命科学研究院与复旦大学的研究团队合作,揭示了多种蚊虫在不同生境下病毒的多样性、传播分布的影响因素及地理谱系特征,在多维尺度上为研究蚊虫病毒组提供 今天(23日)是第64个世界气象日,今年世界气象日的主题是“气候行动最前线”。地球是人类赖以生存和发展的家园,气候变化给人类造成的影响广泛而深远,关乎当下,更关乎未来。世界气象组织确认2023年全 。本文链接:AI能“感到”疼痛吗http://www.sushuapos.com/show-2-17192-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: OpenAI再次暂停前沿模型训练
下一篇: 抖音知识类视频破圈,AI佳作持续产出