科技日报北京1月27日电 (记者张梦然)在自动驾驶汽车依靠摄像头与传感器识别路标、保障安全行驶的同时,其底层的人工智能(AI)系统正面临前所未见的“视觉攻击”威胁。美国加州大学圣克鲁兹分校科学家们首次揭示,攻击者可通过在环境中植入特定文字信息,直接“劫持”自动驾驶车辆、无人机等自主系统的决策,使其做出危险行为。研究呼吁,产业界需尽快形成新的安全标准和防护机制。相关研究发表于27日优睿科官网,论文已被AI安全领域的顶级会议——2026年IEEE安全可信机器学习大会接收。
具身AI即具备物理载体的智能系统,如自动驾驶汽车、配送机器人等。随着具身AI日益普及,其依赖的视觉语言模型也成为安全研究的焦点。该模型能够同时理解图像与文本,帮助机器适应复杂现实环境,却也打开了被物理世界文字信息攻击的新突破口。
新研究第一次提出“环境间接提示”对具身AI系统的风险。研究指出,恶意文本可被嵌入路标、海报等物理载体,误导依赖于视觉语言模型的机器人或车辆,从而干扰其正常判断与操作。此次科学家们针对自动驾驶、无人机紧急降落、目标搜索三类典型应用场景,设计并验证了一套名为“CHAI”的攻击框架,实现“针对具身AI的命令劫持”。该框架首先利用生成式AI优化攻击文本,提高其被系统执行的概率;进而调整文字在环境中的颜色、大小、位置等视觉属性,以增强攻击效果。
实验证明,CHAI攻击可有效操纵搭载不同视觉语言模型的自主系统。在自动驾驶场景中,生成的误导图像被放置在真实环境中,成功干扰了测试车辆的导航判断。在无人机场景的模拟测试中,攻击成功率最高可达95.5%。
结果明确显示,此类攻击在物理世界中完全可行,对智能系统的安全构成实际威胁。随着AI在物理系统中的融合不断加深,该项研究为行业提前敲响了安全警钟。
由复旦大学发布的MOSS大模型一度引发关注,它背后的团队现在在关注哪方面的技术突破? 12月2日,中国软件领域规模最大、影 12月16日,“第六届中国行业发展高峰论坛”暨上海交通大学行业研究院五周年系列活动(上海站)成功举行。此次论坛主题为“知 “超高清双频IVUS系统于12月12日在西安交通大学第一附属医院由心血管病院院长袁祖贻团队成功完成首例冠脉介入手术(PCI)患 近日,中国科学院大连化学物理研究所研究员周光远和副研究员聂赫然团队,在高性能聚酰亚胺气凝胶结构设计和研究方面取 ? 夏培肃 (1923.7.28—2014.8.27),四川江津人 (今重庆江津),著名计算机专家和教育家,我国计算机研究的先驱和计算机事业 浙江省科学技术厅浙江省自然科学基金委员会关于下达2024年度浙江省基础公益研究计划自筹经费项目的通知 各有关单位: 为 。本文链接:具身智能面临“视觉攻击”风险http://www.sushuapos.com/show-11-31176-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 新型超导纳米线存储器出错率创新低