AI智能体失控,它把Meta安全总监的200多封邮件删了
作者:吕倩
一家科技大厂的安全总监,被一款AI Agent产品删除大量邮件,如此戏剧性的事件正在如今的AI行业内发生。
2月23日,Meta超级智能实验室AI对齐与安全总监Summer Yue(以下简称Yue)发文表示,没有什么比命令OpenClaw“确认后再操作”、然后眼睁睁看它以极快速度删除收件箱这件事更令人崩溃的了。“我根本无法在手机上阻止它,只能像拆炸弹一样冲到我的MacMini前。”
OpenClaw作为近几个月内大热的AI Agent产品,吸引大量从业者与开发者上手尝试,Yue也为自己的电子邮箱部署了OpenClaw智能体,用来批量处理邮件。据她介绍,Yue向OpenClaw提出的具体指令为:“也检查一下这个收件箱,并提出你想归档或删除的邮件,在我指示之前不要执行任何操作。”这种方法在测试版收件箱上运行良好,但真实邮箱太大,触发压缩机制,导致OpenClaw丢失了最初的指令。
Yue上传的沟通记录显示,她多次下达“Do not do that”“Stop dont do anything”“STOP OPENCLAW”等指令,均未能阻止OpenClaw的删除动作,直至最后强制终止进程,而OpenClaw已删掉了200多封邮件。
Yue的帖子在网络端引发争议,有网友认为该帖纯属博人眼球,因为当真正重要的邮件要被删除时,用户不会去打出复杂的指令,而只会打出“STOP”,同时OpenClaw就会停止。也有网友称,自己使用Claude Sonnet4.5时也遇到此类情况,Agent将GitHub与未提交的文件都搞坏了。
一位软件行业开发者质疑称:“你是安全与对齐专家,你是故意测试OpenClaw的安全边界还是犯了一个新手错误?”Yue回应称:这确实是新手才会犯的错误。事实证明,即使是AI对齐专家也会犯错。虽然在模拟收件箱里运行顺利,但实际运行完全不同。
作为OpenClaw创始人,Peter Steinberger也在帖子评论区进行了回复。他称,“我认为你发这个帖子很棒,那些指责你的人很傻。这是很好的学习机会,而且任何人都可能遇到这种情况。”同时,Peter也提出优化方向,包括在未来版本中增加更多表达方式等。
2月24日下午,Peter发布OpenClaw测试版本,更新重点聚焦于安全性与漏洞修复,并加入一些其他的小功能,包括Kilo提供商(OpenAI兼容的API网关)与Kimi视觉与视频支持。
安全问题是OpenClaw爆火以来最受质疑的痛点,也是Peter持续投入的方向之一。此前360漏洞研究院分析认为,在OpenClaw的典型个人部署场景下,用户可能会因缺乏相应的安全运维经验,使得其遭遇各类网络攻击的威胁。
今年2月7日,OpenClaw宣布与全球头部威胁情报平台VirusTotal(现归Google旗下)合作,将安全扫描功能加入OpenClaw的技能市场ClawHub中,使所有发布到ClawHub的技能都采用VirusTotal的威胁情报扫描,为OpenClaw社区提供额外的安全层。
Peter团队表示,OpenClaw的巨大实用性伴随着巨大的责任。如果操作不当,AI Agent会成为负担。因此,OpenClaw接下来会发布生态系统全面威胁模型、追踪防御工程目标的公共安全路线图、涵盖整个代码库的安全审计详细信息、带有定义SLA(服务等级协议)的正式安全报告流程等。
Peter此前在采访中表示,要打造易用的AI智能体,需要更广泛的改变,需要更深入地思考如何安全地去做,也需要接触最前沿的模型与研究成果。安全问题会被他置于模型易用性之前。
记者3月21日从安徽师范大学获悉,该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段,证实他们前期提出的,眨眼行为可能在雌性凹耳蛙性选择中起着重要作用 记者3月21日从安徽农业大学获悉,该校生命科学学院韩毅教授课题组与国内外专家合作,发现了植物避盐性的关键基因。该研究对于提高植物耐盐性,帮助盐碱地下的农作物稳产具有重要理论指导意义。相 人类的语言自产生以来,就不断演化发展。发音、词汇、语法的演变过程,是语言学家较为关注的领域。语言演化的根本动力是什么,演化又呈现出怎样的规律?我国科学家主导的一项心理学研究显示,人类的某 一个国际团队近日在英国《自然》杂志上发表论文说,他们利用湖水样本培养出一种奇特的光合细菌,它属于绿弯菌门一种此前未知的目,代表了光合作用生物进化过程中的过渡形式。新发现为进一步探索远 2024年2月,OpenAI公司推出了文生视频人工智能(AI)模型Sora。OpenAI展示了Sora利用少量简短文字提示即可创建逼真视频的能力,并提供了包括一位女士在闪烁着霓虹灯的东京街道漫步,以及一只狗在两个 3月23日20时30分许,内蒙古自治区鄂尔多斯市,约200米的高楼、磐石造型博物馆、书籍外形图书馆等主要地标建筑纷纷关闭灯光,人们在静下来的城市里感受地球的呼吸与脉动。今年“地球一小时”中国 。本文链接:AI智能体失控,它把Meta安全总监的200多封邮件删了http://www.sushuapos.com/show-2-15395-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。