近日，中国科学院软件研究所提出一种以泛化前门准则为基础的干预多模态表示学习方法（IMML），可提升多模态模型在模态不平衡场景下的性能。
在多模态任务中，不同模态对预测结果的贡献往往不平衡，可划分为主模态和辅助模态。现有方法普遍在训练过程中增强辅助模态，以缓解模态贡献不平衡的问题。而此类方法缺乏因果解释，且判别性知识挖掘能力有限。
针对上述问题，研究团队从结构因果模型角度建模多模态表示学习，提出在考虑辅助模态，并捕捉到主模态中判别性知识与真实标签间的因果关系。基于此，团队设计了β—泛化前门校正模块，通过构造非配对模态组合、随机控制不同模态的比例贡献，削弱辅助模态中潜在的噪声干扰。
IMML包含模态判别性知识探索模块，通过构建模态判别性知识网络，为特征维度分配权重，以挖掘对任务真正有用的判别性知识。
团队进一步在多模态数据集上评估IMML的性能。实验结果表明，引入IMML后，在多个评估设置下基准多模态学习方法的性能得到提升。上述结果验证了IMML在提升多模态表征判别能力与噪声鲁棒性方面的有效性。
相关论文被IEEE Transactions on Multimedia录用。
论文链接
方法架构图
11月2~3日，2024年中国人类学学会学术年会暨上海人类学学会年会在复旦大学江湾校区举办。年会以“中国式现代化与人类学研 区域简况 湖北鄂州历史悠久，常住人口107万，是古铜镜之乡，也是驰名中外的“武昌鱼”的原产地。近年来，鄂州市全面加强党对教育事业的领导，建设“生本课堂”、建立“一生一导师”，打造“明、 今年以来，该校深入推进“一校一品”建设，以排球运动促进学校“五育”融合发展，通过社团活动、班级联赛等形式，让学生们感受排球运动魅力，培养团队意识和拼搏精神，促进体质健康发展。（中国教育报-中 中国教育报-中国教育新闻网讯（记者 任朝霞）11月12日，上海市黄浦区义务教育教学改革实验区推进大会暨黄浦区第六届小学教学节在上海师范大学附属卢湾实验小学举行，会上解读了黄浦区义务教育教学改 中国教育报-中国教育新闻网讯（记者 苏峰 通讯员 杨柳鑫）近日，黄河流域中药材产教融合共同体成立大会在山西药科职业学院举行，来自黄河流域8个省份39个市的相关行政事业单位、中医药企业、高等院 中国教育报-中国教育新闻网讯（记者 冯丽）近日，2024年世界职业院校技能大赛争夺赛（高职组）短视频创作与运营赛项在陕西职业技术学院落幕。来自全国31个省市的61支参赛队经过激烈角逐，苏州工艺美术职 。本文链接：研究提出干预多模态表示学习方法http://www.sushuapos.com/show-12-4138-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。