近日，中国科学院软件研究所天基综合信息系统全国重点实验室研究团队的一项研究成果，聚焦元学习的学习机制与任务采样，有助于模型泛化与迁移性能的提升，被被人工智能领域顶级国际会议IJCAI接收。
元学习旨在从有限的数据中构建多样化的训练任务来学习一般知识，然后迁移到新的任务中。传统观点认为，训练任务越多样，模型的泛化能力越好。然而，研究团队通过结构因果模型实验发现，在元学习机制下的任务最佳分类器不仅是利用因果因子进行决策，同时还会受到非因果因子的干预，即元学习中特定任务的因果因子和标签之间有虚假相关性，这些任务混杂因子会引起任务负迁移，从而影响泛化性能。
基于上述发现，研究团队提出了一种元学习因果表示学习器MetaCRL，用来消除任务混杂因子。MetaCRL由两个模块组成：解耦模块和因果模块。解耦模块首先通过学习语义矩阵获得整个生成因子，然后使用分组函数获取与每个任务相关的生成因子子集，旨在获得所有与任务相关的生成因子以及与单个任务相关的特定任务生成因子；因果模块则负责确保生成因子的真实因果关系，即基于因果不变性定理以及同一模型可以在不同分布中学习因果相关性，一方面是对表现出分布变化的多个训练数据集强制执行不变性，另一方面是通过简单的双层优化来保证解耦模块获得的语义矩阵和分组函数得到的生成因子具有真实因果关系。
MetaCRL能应用于各种元学习框架，通过交替优化MetaCRL与元学习模型，使元学习基于真实因果因子学习各种任务的通用知识，从而消除任务混杂因子。研究团队进一步在各种下游任务上进行了分类、回归、预测等广泛实验。结果表明，引入MetaCRL的各种元学习基线方法都获得了稳定的性能提升。此外，在多个基准数据集的知识迁移实验中进一步证明了MetaCRL消除任务混杂的有效性。
该论文共同第一作者为硕士生王婧瑶、副研究员任懿，通讯作者为特别研究助理强文文。
相关论文信息：https://arxiv.org/abs/2312.05771
代码地址：https://github.com/WangJingyao07/MetaCRL
未来，人工智能或将帮助科研工作者跳过文献检索、粗读的过程，直接找到需要的文献，大幅提升科研工作者的文献阅读效率。 ·生产中的模型由“安全系统”团队管理。开发中的前沿模型有“准备”团队，该团队会在模型发布之前识别和量化风险 科技日报北京12月18日电 （记者刘霞）据美国趣味科学网站17日报道，美国科学家近日利用水下扬声器与一头名叫吐温的座头鲸 近期，多所高校组织了钓鱼邮件网络安全演练，结果显示部分高校有相当比例的师生“中招”。 例如，太原工业学院微信公众 为纪念中国航空仪表技术与惯性技术的奠基人、北京航空航天大学建校元老林士谔先生110周年诞辰暨北航仪器科学与光电工 ·美国首枚将宇航员送入轨道的商业火箭结束了生命。这枚可重复使用的火箭助推器B1058完成了19次飞行和着陆，在大约 。本文链接：科学家找到提升元学习泛化性能新方法http://www.sushuapos.com/show-11-10089-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 新研究揭示太平洋俯冲板片与上地幔变形特征