设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

大语言模型强化学习与推理可靠性研究获进展

发布时间: 来源: 中国科学院

近日,中国科学院合肥物质科学研究院等在大语言模型强化学习与推理可靠性方面取得两项成果,从因果信息论角度严格证明过程奖励模型(PRM)相比于结果奖励模型(ORM)的优势,并提出大模型强化评测基准体系——棱镜基准OPG-D3。两项成果从类脑信息处理与认知控制的角度,为理解模型推理行为的可靠性提供了新的理论框架和评测范式。GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在基于结果奖励的强化学习下,模型会天然地偏好学习训练数据中的表面统计相关性,而非真正的因果推理链。这一现象与人类认知中的“启发式捷径”相似——大脑在面对复杂问题时,也倾向于调用低能耗的联想记忆而非费力的逻辑推演。受此启发,团队将过程奖励模型类比为前额叶皮层对推理步骤的在线监控机制。通过逐步骤的稀疏奖励信号,过程奖励模型能够像认知控制一样,对每一步推理施加约束,抑制“走捷径”倾向,引导模型逐步构建更稳健的因果链条。研究证实,单纯扩大同质数据规模无法从根本上消除这一脆弱性,唯有对推理过程施加结构化监督,才能实现从“答案匹配”到“因果掌握”的质变。GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队剖析了当前强化学习评测基准的固有局限,提出了OPG指标——衡量模型在训练集上训练与直接在测试集上训练的性能差异。实验显示,在主流基准上,强化学习模型的OPG近乎为零,表明当前训练—测试划分可能低估了模型的泛化失败风险。以难度测试、泛化测试和反事实扰动测试为核心的基准框架OPG-D3,能够针对性衡量当前模型在跨分布、规则突变等场景下性能表现、陌生情境下的泛化能力。该成果为构建面向真实世界“认知压力”的下一代世界模型评测基准,提供了可操作的设计原则和诊断工具。GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

两项研究共同构成了大模型训练推理和评测创新体系——模型推理的可靠性不仅取决于数据量和参数规模,更依赖于学习目标与认知控制结构的匹配程度。团队将强化学习中的结果—过程矛盾上升为计算理论层面的一般性问题,并提出因果信息论边界的棱镜基准OPG-D3,为后续世界模型评测提供了可验证、可比较的理论参照系。GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

相关成果被国际自然语言处理领域顶级会议ACL 2026接收发表。GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

论文链接:1、2GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

结果奖励诱导捷径与过程监督纠正机制示意图GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

当前大语言模型强化学习评测基准局限性示意图GW6速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

石油、冶金、食品、制药等工业生产过程会产生大量的含油废水。其中,乳化剂稳定的油水乳液在后续处理时最为棘手。如何高 记者10日从昆明理工大学冶金与能源工程学院获悉,该院华一新教授团队近日在低共熔溶剂回收废旧锂离子电池领域取得重要研   2024年世界职业技术教育发展大会将于11月20日—22日在天津举行。11月14日,教育部召开新闻发布会介绍本次大会以及中国职业教育开展国际合作的有关情况。  记者从新闻发布会上获悉,近年来,职业教育作为新时代教育对   11月6日,教育部党组书记、部长怀进鹏调研中国石油大学(北京)、中央财经大学,了解学校服务国家战略、培养拔尖创新人才、科学研究、学科建设、国际交流合作等情况。他强调,高校要瞄准国家重大战略发展需求,提升人才自主 全国巾帼家政服务职业技能大赛4日在安徽省合肥市开幕,国务委员、全国妇联主席谌贻琴出席开幕式并宣布开幕。举办全国巾帼家政服务职业技能大赛是深入贯彻习近平总书记重要指示精神的具体举措, “天”与“地”是中国传统文化中至关重要的一对意象,在崇敬天的同时,古人也深深敬畏大地。古人对石的崇拜和对土地的祭祀,便是这种敬畏之心的具体表现。 石崇拜遍布中华大地古人认为,天无柱,天塌; 。

本文链接:大语言模型强化学习与推理可靠性研究获进展http://www.sushuapos.com/show-12-4455-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 研究人员提出面向多模态推荐的解耦与蒸馏动态集成框架

下一篇: 超低阈值二维半导体激光器研究取得进展

热门资讯

推荐资讯

  • 日榜
  • 周榜
  • 月榜