设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

科学家找到提升元学习泛化性能新方法

发布时间: 2024-08-19 07:34:52 来源: 中国科学报

 KJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

近日,中国科学院软件研究所天基综合信息系统全国重点实验室研究团队的一项研究成果,聚焦元学习的学习机制与任务采样,有助于模型泛化与迁移性能的提升,被被人工智能领域顶级国际会议IJCAI接收。KJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

元学习旨在从有限的数据中构建多样化的训练任务来学习一般知识,然后迁移到新的任务中。传统观点认为,训练任务越多样,模型的泛化能力越好。然而,研究团队通过结构因果模型实验发现,在元学习机制下的任务最佳分类器不仅是利用因果因子进行决策,同时还会受到非因果因子的干预,即元学习中特定任务的因果因子和标签之间有虚假相关性,这些任务混杂因子会引起任务负迁移,从而影响泛化性能。KJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

基于上述发现,研究团队提出了一种元学习因果表示学习器MetaCRL,用来消除任务混杂因子。MetaCRL由两个模块组成:解耦模块和因果模块。解耦模块首先通过学习语义矩阵获得整个生成因子,然后使用分组函数获取与每个任务相关的生成因子子集,旨在获得所有与任务相关的生成因子以及与单个任务相关的特定任务生成因子;因果模块则负责确保生成因子的真实因果关系,即基于因果不变性定理以及同一模型可以在不同分布中学习因果相关性,一方面是对表现出分布变化的多个训练数据集强制执行不变性,另一方面是通过简单的双层优化来保证解耦模块获得的语义矩阵和分组函数得到的生成因子具有真实因果关系。KJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

MetaCRL能应用于各种元学习框架,通过交替优化MetaCRL与元学习模型,使元学习基于真实因果因子学习各种任务的通用知识,从而消除任务混杂因子。研究团队进一步在各种下游任务上进行了分类、回归、预测等广泛实验。结果表明,引入MetaCRL的各种元学习基线方法都获得了稳定的性能提升。此外,在多个基准数据集的知识迁移实验中进一步证明了MetaCRL消除任务混杂的有效性。KJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

该论文共同第一作者为硕士生王婧瑶、副研究员任懿,通讯作者为特别研究助理强文文。KJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

相关论文信息:https://arxiv.org/abs/2312.05771KJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

代码地址:https://github.com/WangJingyao07/MetaCRLKJM速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

近日,网红考研名师张雪峰在直播中称“所有文科都叫服务业”,总结起来就是“舔”,引发坊间热议;之后,他在致歉回应中称“ 12月16日,首届多尺度材料计算模拟国际研讨会在北京召开,来自国内外100多位专家学者共同探讨材料计算领域的研究成果和 12月16日,纪念姜维壮教授诞辰百年学术研讨会暨中国财税史研究院2023年年会在中央财经大学召开。在会上,与会者深切缅怀我 “这些小胶质细胞在tau蛋白病变有效地扩散到下一个细胞之前就开始吸收并降解tau蛋白。没有tau病理学,就不会有神经退 科技日报讯 (记者张佳星)我国的临床资源十分丰富,但原创医学科研成果质量和规模与临床资源却不相匹配。如何进一步提升 上海海事大学近日召开干部大会,宣读市委决定:初北平同志任上海海事大学党委副书记、校长。上海海事大学官网 图 2024年1 。

本文链接:科学家找到提升元学习泛化性能新方法http://www.sushuapos.com/show-11-10089-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 新研究揭示太平洋俯冲板片与上地幔变形特征

下一篇: 香港特区政府医卫局局长:积极考虑建设香港第三所医学院

热门资讯

推荐资讯

  • 日榜
  • 周榜
  • 月榜