“强化学习之父”萨顿认为,对世界模型的定义存在误区。
7月19日,在2026年世界人工智能大会(WAIC)的“思想者论坛”上,图灵奖得主、阿尔伯塔大学计算机科学教授理查德·萨顿(Richard Sutton)发表了题为《基于强化学习从经验中培育超级智能》的主题演讲。萨顿认为,真正的超级智能必须彻底脱离人类的先验偏见,并全面介绍了自己最新提出的“OaK(Options and Knowledge,选项与知识)”架构。
近年来,萨顿时常对大语言模型的发展路线持批评态度。在演讲中,萨顿重申了他著名的AI研究文章《苦涩的教训》(The Bitter Lesson)。他直言道,AI研究者总是希望把“人类的知识”硬编码给AI,但从长远来看,这种做法反而阻碍AI的演进。
萨顿表示:“我们应该去寻找智能的底层基本原理,而不是被我们自身心智在特定世界中所产生的具体细节所误导。我们应该寻找基本原理,而不是具体的内容和细节......我们不应该试图把人类已经发现的规律构建进去,而应该让智能体自己去发现。”
在这个基础上,萨顿对“大世界”视角进行了定义。在萨顿看来,人类世界所熟知的“三维空间”或“物理学规律”,只是这个特定世界的内容。真正的AGI应当在“运行期(Runtime)”像婴儿一样自主摸索,仅依靠行动(Actions)、观察(Observations)和奖励(Reward)进化。
基于这种“大世界视角”,萨顿批评了当前行业将世界模型做成“低级物理模拟器”的误区,称这种理解“极其狭隘”,人类的转移模型(Transition Model)“不应该像低级物理学那样琐碎,而应该承载高阶的世界知识”。
萨顿解释道:“在我的理论体系中,我绝对不会把一个单纯的神经网络称为‘模型’,这是对这个词的滥用。我将‘模型’一词专留给转移模型,它应当包含人类对世界的所有高级知识。比如,‘如果我接受了这份工作,我会幸福吗’,这才是模型应该回答的问题。”
这就意味着,模型需要掌握“抽象能力”,即构建越来越宏大的行动与状态认知的能力。为了实现这种高级抽象,萨顿提出了OaK架构。其核心在于通过时间抽象(选项)与状态抽象(知识),让AI能够实现“跳跃式”的宏观规划。
在萨顿的OaK架构中,对于每一个与人类生活相关的状态特征,智能体都要学会一种去“控制和达成该特征”的技能。也就是说,智能体构建自身心智的核心手段,就是不断提出子问题,并通过“选项”去解决它,“把定义子问题的权力彻底移交给智能体”。
尽管OaK架构已经能够在理论上实现闭环,但萨顿坦言,目前还无法立即实现它,AGI的降临或许还需要5年、10年甚至20年。
值得一提的是,就在本周,萨顿宣布与阿尔伯塔大学博士研究员Khurram Javed共同创立新公司Oak Lab,志在打破当前深度学习方式,用全新的理念构建AGI,开发能够通过自身第一人称经验独立、持续学习的AI智能体。
原标题《“强化学习之父”理查德·萨顿:世界模型不应是低级物理模拟器,AI要像婴儿般自主进化》
面对以大模型通用人工智能为代表的新技术,以及由此带来的工业界、产业界的新发展新模式,MBA人才教育何去何从? 12月1日,在清 12月16~17日,“第一届集成芯片和芯粒大会”在上海举行。 在会上,国家自然科学基金委领导介绍了“集成芯片前沿技术 近日,北京市政府办公厅发布了《北京市关于推动科技企业孵化器创新发展的指导意见》(以下简称《指导意见》)。12月19日, 科技日报讯 (记者张佳欣)大量蛋白质对于治疗疾病至关重要,然而要将其制成口服药,几十年来一直难以取得突破。这些蛋白质 2023年12月28日,陕西省审计厅在官网发布《2023年第9号审计结果公告》,其中西北大学2019年度预算执行及财务收支情况审计 2023年12月中旬以来,受冷空气持续影响,我国天气形势复杂,集中出现寒潮、雨雪、低温、冰冻等灾害性天气。 近日,中国科学院 。本文链接:图灵奖得主理查德·萨顿:AI要像婴儿般自主进化http://www.sushuapos.com/show-11-36619-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。