近日,中国科学院软件研究所天基综合信息系统全国重点实验室研究团队提出了一种新颖的提示学习方法BayesPrompt,该方法通过探索以去偏方式近似下游任务的完整训练域,为预训练语言模型提供去歧义指导。相关论文被机器学习领域顶级学术会议ICLR 2024接收。
研究人员认为,学习范式长期存在的问题之一是下游域的训练样本中仅包含有限且离散的语义信息,无法较好地支持传统可训练提示获得足够监督,使得生成的提示对预训练语言模型的指导变得微乎其微。这个问题导致了预训练语言模型在下游域,尤其在少样本场景下性能的下降。
为此,研究团队从分布视角重新审视了预训练语言模型下游推理的原理,认为训练样本的有限会使得可训练提示只学习到目标域的有偏分布,而有偏分布仅包含部分信息且与目标域的实际分布不一致,这会引起协变量偏移问题,从而导致预训练语言模型产生知识歧义。
此次新提出的BayesPrompt旨在进行去偏域抽象,利用已知分布来近似下游域的去偏真实分布,再从近似分布中均匀采样代表性特征以生成对预训练语言模型(PLMs)的提示。研究团队通过进一步的理论验证,证明了与基准方法相比,BayesPrompt在预训练语言模型的下游推理上获得了更紧致的分类误差上界。此外,在少样本数据集设置下的实验结果进一步证明了BayesPrompt的有效性。
相关论文信息:https://arxiv.org/abs/2401.14166
代码地址:https://github.com/FF2127/bayesprompt
12月16-17日,北京大学经济学院举办第六届“中国百所大学经济学院院长论坛”暨“首届孙尚清发展知识研究与交流奖颁奖典礼 “老年人肺部感染是推倒老年人体重要机能的第一张‘多米诺骨牌’。预防老年人的呼吸道感染,最重要的一是做好免疫接 12月19日,《自然-计算科学》发表的一项研究描述了一种机器学习方法,能够从不同方面准确预测人类生活,包括早死可能性和 科技日报北京12月19日电 (记者马爱平)19日,记者从中国农业科学院茶叶研究所获悉,该所茶叶质量与风险评估创新团队首创了 四川省科学技术厅关于组织申报2024年第二批中央在川高校院所“聚源兴川”项目的通知 各中央在川高校院所、市(州)科 关于对拟表扬2023年度甘肃省科技统计先进个人名单进行公示的通知 甘科计函〔2024〕15号 为树立典型、表扬先进, 。本文链接:科学家在大模型少样本域适应方面取得进展http://www.sushuapos.com/show-11-10092-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 机器翻译有“偏见”,如何检测发现?