中新经纬2月18日电 (孙庆阳)“人工智能的安全与可用性面临全链条、多维度交织的复杂风险挑战，需通过国际合作、技术创新和标准制定来应对。”近日，中国信息通信研究院人工智能研究所高级业务主管呼娜英在巴黎人工智能(AI)行动峰会后接受中新经纬专访时表示，未来五到十年，人工智能技术将持续深化，增强语言大模型能力是重点方向。同时，多模态模型有望加速突破，提升图文理解和跨模态交互能力。
呼娜英 受访者供图
网络和框架是AI系统安全的根基
在最近的巴黎人工智能(AI)行动峰会上，AI安全性和可用性成为了全球AI产业人士的共同关注焦点。呼娜英指出，当前AI在安全性和可用性方面面临的是全链条、多维度相互交织的复杂风险挑战。随着人工智能模型复杂度和规模的不断提升，其训练、部署、应用等关键环节中面临的数据安全、网络安全、框架安全、模型算法安全以及应用平台安全问题日益突出。
在基础设施方面，网络安全和框架安全关乎整个AI系统的稳定运行根基。以DeepSeek为例，R1模型在刚刚上线提供服务后，便遭到大规模DDoS(分布式阻断服务)攻击，导致服务中断，用户无法正常访问。在数据方面，训练数据被“投毒”(通过恶意注入虚假或误导性的数据来污染模型的训练数据集)，以及训练使用敏感行业数据、个人隐私数据等，一旦数据被“投毒”，训练出的模型将产生偏差，做出错误决策，而敏感数据的不当使用则可能引发严重的法律风险和社会信任危机。
在模型算法层面，以大模型为代表的生成式模型面临严峻的越狱攻击、提示词注入攻击等威胁，模型容易在用户恶意操作下输出违法有害或侵害权益的信息。
此外，模型的“幻觉”(模型生成的不真实、编造或与上下文不一致的内容)问题突出，也成为了制约人工智能产业化落地的重要因素。在应用层面，人工智能技术容易被滥用和误用，比如利用图像生成技术伪造虚假新闻图片误导公众，或在自动化决策系统中因算法偏见导致对特定群体的不公平对待，这些行为严重扰乱了正常的社会秩序与市场环境。
如何显著提升AI系统安全性？
呼娜英强调，全球均在探索风险管理的可行路径，针对人工智能风险开展有效的“识别、评估、应对”方案一定程度上成为共识。其中，最重要的一环是对于安全问题的检测技术和防护手段。在检测方面，一是形成对于开源框架、源代码以及网络等软硬件基础设施的漏洞挖掘技术，精准定位潜在隐患。特别是开源框架、代码中存在的未被发现的漏洞，极易被利用实施大规模的攻击和勒索。如去年年初，人工智能开源框架Ray被发现存在漏洞，并被攻击人员利用攻击数百个集群。
二是形成数据“投毒”检测技术，用于守护训练数据的纯净性，防范通过训练的方式，在模型中埋入后门。
三是建立大模型等模型算法漏洞自动化测试技术，扫描算法中的薄弱环节，快速生成测试报告。
四是基于现有的自动化渗透技术能力，形成面向人脸识别、智能体等人工智能典型应用的自动化渗透技术产品，模拟黑客攻击，全方位探测应用平台的安全漏洞，充分发掘人工智能各方面的安全风险。
呼娜英还指出，在防护层面，需要探索软硬件基础设施的漏洞自动化修复技术，自动修复受损代码，降低安全风险。此外，还可以探索实践模型漏洞自动化微调和加固技术，对模型进行自动化优化，增强其抵御攻击的能力，保障人工智能系统稳定、安全地运行。
中国智慧引领未来AI治理新格局
呼娜英认为，推动人工智能安全治理合作依然是势不可挡的，也是确有必要的。人工智能的开发、部署和使用具有全球化特征，人工智能技术的应用与影响并非局限于某一地区或国家，而是深刻影响全球社会、经济和政治秩序。为人类共同未来建立务实可行的国际对话与合作机制，需要多方努力。未来，国际社会应在联合国框架下凝聚各方共识，依托国际标准化组织深化技术标准协同，务实推进人工智能安全治理工作。
一直以来，中国在全球人工智能治理领域积极作为并推动加强国际合作。例如，中国信通院积极参与国际标准制定，发起《人工智能安全承诺》促进行业自律，下一步将依托工业和信息化部人工智能技术标准委员会，持续完善国内标准体系，推动安全测试、风险评估、可信要求等技术规范转化为国际共识，促进技术标准和指引的深入实践与应用。
呼娜英预测，未来五到十年内，人工智能技术将持续深化演进。一方面，增强语言大模型能力仍是技术升级的重点方向之一，推理或将获得更多关注和资源投入。另一方面，多模态模型有望加速突破，从以语言大模型为骨干的多模态模型，向原生多模态模型演变，提升图文理解和跨模态交互能力。
呼娜英认为，在安全与可用性方面，以下趋势值得关注：在风险识别方面，随着人工智能技术日益融入经济社会发展各领域全过程，其安全风险面不断扩大，对人工智能安全风险识别方法论的研究将不断完善，从而催生更加敏捷、精准的安全风险识别机制。在风险应对方面，对算法模型毒性、鲁棒性、公平性等方面的评测技术工具研究将不断加强，将人工智能基础设施、算法模型、上层应用以及产业链等方面作为评估重点，并在机制方案上动态迭代、技术能力上持续提升，从而有效防范和应对治理风险。(中新经纬APP)
中新经纬版权所有，未经授权，不得转载或以其他方式使用。
责任编辑：张芷菡
中新经纬1月11日电 据高检网11日消息，国家开发银行原党委委员、副行长王用生涉嫌受贿一案，由国家监察委员会调查终结，移送检察机关审查起诉。日前，经最高人民检察院指定管辖，吉林省人民检察院依法以涉嫌受贿罪对王用生 外媒关注中国春节新变化：年味更浓、消费强劲、旅游更热 中新网2月18日电(魏晨曦)2024年春节是农历新年被确定为联合国假日的第一个春节，浓浓的年味，丰富的美食，消费的热潮……中国人把春节过出了新高度，中国经济的 傅园慧包车遭遇临时加价 涉事司机被罚款3万元 中新网2月17日电 17日，游泳世界冠军傅园慧通过社交平台发布求助帖称，她在吉林长白山包车出行时遭遇勒索，询问网友是否需要报警。 之后傅园慧更新社交媒体表示，问题 商务部新闻发言人2月22日表示，春节期间，消费市场年味浓、活力足、人气旺，销售较快增长，实现良好开局。预计一季度消费市场将呈现平稳增长态势。春节期间，消费活动丰富多彩。商务部举办全国网上年 新华社记者付敏、姚雨璘在寸土寸金的厦门岛市区，面积约3公顷的骑马山片区保护区隐匿在林立的高楼大厦中。该保护区设置于2011年，是厦门五缘湾栗喉蜂虎市级自然保护区的重要组成部分——一种 中国经济导报 中国发展网讯 春风送暖促就业、精准服务助发展。2月21日，甘肃礼县举行2024年春风行动·东西部劳务协作招聘会暨“礼贤妹”“礼贤大嫂”赴京务工欢送仪式，来自省内外26家人力资源服 。本文链接：专访呼娜英：AI安全“隐形战场”上，如何破解全链条风险？http://www.sushuapos.com/show-5-46596-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。