近日，中国科学院软件研究所提出一种以泛化前门准则为基础的干预多模态表示学习方法（IMML），可提升多模态模型在模态不平衡场景下的性能。
在多模态任务中，不同模态对预测结果的贡献往往不平衡，可划分为主模态和辅助模态。现有方法普遍在训练过程中增强辅助模态，以缓解模态贡献不平衡的问题。而此类方法缺乏因果解释，且判别性知识挖掘能力有限。
针对上述问题，研究团队从结构因果模型角度建模多模态表示学习，提出在考虑辅助模态，并捕捉到主模态中判别性知识与真实标签间的因果关系。基于此，团队设计了β—泛化前门校正模块，通过构造非配对模态组合、随机控制不同模态的比例贡献，削弱辅助模态中潜在的噪声干扰。
IMML包含模态判别性知识探索模块，通过构建模态判别性知识网络，为特征维度分配权重，以挖掘对任务真正有用的判别性知识。
团队进一步在多模态数据集上评估IMML的性能。实验结果表明，引入IMML后，在多个评估设置下基准多模态学习方法的性能得到提升。上述结果验证了IMML在提升多模态表征判别能力与噪声鲁棒性方面的有效性。
相关论文被IEEE Transactions on Multimedia录用。
论文链接
方法架构图
11月8日，记者从南方科技大学获悉，该校地球与空间科学系副教授胡佳顺研究团队与南洋理工大学助理教授卢卡·达尔&mid 这是一场深入人心的宣讲，遍及祖国大江南北。 在这支宣讲队伍里，有功勋英雄、时代楷模、两院院士、最美教师……100余名专家组建宣讲团，奔赴全国各地为高校学生讲述革命战争故事、建设发展故事、改革开放故事、奋 本报北京9月26日讯（记者 高毅哲）今天，国务院新闻办公室举行“推动高质量发展”系列主题新闻发布会。教育部部长怀进鹏，教育部副部长王嘉毅、吴岩、王光彦出席发布会并答记者问。以下为发布会问答实录。 【关键词】 实现“教育链、人才链、产业链、创新链”在纵向上内部融通，在横向上相互打通，无疑是今后一段时间内，我国职业教育的主要改革方向 近日，中共中央、国务院印发《关于深化产业工人队伍建设改 中国教育报-中国教育新闻网讯（记者 周洪松 通讯员 李艳 张霄 蒋钰皓）一句句质朴的话语、一个个感人的故事、一段段震撼的人生感悟，不时激起在场学子的阵阵掌声……日前，河北省“劳模工匠进校园” 中国教育报-中国教育新闻网讯（记者 史望颖 通讯员 金挺 陈波）“在一个小时内，我们完成了‘盛世芳华’插花作品，让这个源于‘两山理论’灵感的花艺展示在世界舞台上绽放。”近日，随着宁波城市职业 。本文链接：研究提出干预多模态表示学习方法http://www.sushuapos.com/show-12-4138-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。