如何让模型算法仅利用“少量、低质量的有标注样本”,就能实现或接近“大量、高质量、有标注数据的样本”所能达到的结果,是小样本学习领域的关键问题。为此,之江实验室前沿基础研究中心博士后邵帅为小样本计算研究提出了新思路。
他的思路是,通过利用已有基础模型资源的优势潜力,实现下游任务中小样本测试数据的精准分类。近日,该成果以《面向开放世界小样本学习的基础模型联合协作方法》(Collaborative Consortium of Foundation Models for Open-World Few-Shot Learning)为题,在计算机视觉领域国际顶级会议AAAI上发表。
邵帅认为,直接使用冻结参数的基础模型能够为计算研究节约大量时间和资源。他将那些已经训练好的基础模型比作“一本编纂好的百科全书”,将使用基础模型技术解决小样本学习问题的过程比作“查阅百科全书中与小样本学习相关的部分”。只是,是“从第一页开始慢慢找”还是“通过目录或全文检索”,不同检索方式带来的计算效率天差地别。
为此,邵帅等人提出了基于多种基础模型的协作方法(CO3),探索利用CLIP、GPT-3、DINO 和DALL-E四种基础模型开启智能计算。
基础模型协作方法流程图。图源:论文
在具体操作过程中,他们设计了四类模块分别用于模型间整合衔接。邵帅介绍说,首先将小样本数据输入标签校正块(LC-Block),通过设计原型结构,来对数据进行降噪。随后将校正数据送入数据增强块(DA-Block),增强模型在数据上的泛化性能,以获得更丰富的训练数据。接着,将清理后的原始数据和扩充数据输入特征提取块(FE-Block),得到数据的文本和图像特征。最后将这些特征与特别设计的TeFu-Adapter相融合调优,进一步减轻噪声标签对模型的影响,增强该方法的鲁棒性。
目前,该方法已在多个数据集上进行了大量实验,证明了CO3的可行性,甚至在数据质量越低、可用标签样本越少的情况下表征能力越优秀。如在噪声比例从0.0到1.0的区间范围内,每类只有一个可用标签样本的情况下,CO3在数据表达的准确性上能稳定达到62%以上,兼顾了性能与成本效率的平衡。
“如何弥合小样本学习技术与现实应用的缝隙,是我们下一阶段要攻克的难题。”邵帅表示,在之江实验室智能算力基础设施的支持下,未来他将进一步提高小样本学习算法的泛化能力,探索回应真实世界的需求场景,不断突破智能计算的极限。
注:相关文章发表于The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24),为会议发表论文
广东省科学院生态环境与土壤研究所研究员刘芳华团队在电能微生物和水铁矿促进产氢机制方面取得新进展。近日,相关成果先 2023年12月11日,自然科学基金委信息科学部在北京召开“海洋移动信息网络理论与关键技术”专项项目评审会。自然科学基金 近日,北京市政府办公厅发布了《北京市关于推动科技企业孵化器创新发展的指导意见》(以下简称《指导意见》)。12月19日, 年终岁末,当很多高校教师都忙于年末工作总结时,另一些教师却在为一场场的艺术演出奔忙着——仅在近期,国内就有云南、 ·“这项研究似乎说明,长期生活在食品不安全的状况中所带来的危害是没那么容易逆转的。研究也表明,对于那些因 法国政府近日推出“2030国家生物多样性战略”,包括40项措施和200项行动,旨在保护和恢复生态系统、减少对生物多样性的 。本文链接:新思路!学者使用基础模型化解小样本学习问题http://www.sushuapos.com/show-11-10410-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 我国年轻人肥胖相关癌症发病率急剧上升