近日,第十届开放环境下情感行为分析国际挑战赛(简称10th ABAW)最终成绩正式公布。云知声携手中国科学技术大学於俊副教授团队表现亮眼,在情绪模仿强度估计赛道(Emotional Mimicry Intensity Estimation,EMI)和动作单元检测赛道(Action Unit Detection,AU)中斩获冠军,在表情识别赛道(Expression Recognition,EXPR)中荣获季军,交出两冠一季的优异答卷。依托赛事技术成果,联合团队三篇创新论文也在CVPR2026Workshop正式发表,彰显国内团队在情感计算与多模态理解领域的强劲实力。
CVPR是计算机视觉领域全球知名会议,ABAW作为其核心专题赛事,聚焦开放环境人类情感行为分析,是情感计算领域极具影响力的国际竞赛。本届赛事设置表情识别、动作单元检测、情绪模仿强度估计等六大挑战性任务,吸引了全球各地高校、科研机构与科技企业同台竞技。人类情感行为分析依托视觉、语音、文本等多模态信息解读情绪与行为,是自然人机交互的核心方向,在智能助手、数字人、心理健康评估等领域拥有广阔应用前景。
多模态技术创新突破,攻克真实场景难点
针对开放环境下信号噪声、模态缺失、长时序依赖等行业痛点,联合团队针对不同赛道场景定制创新算法框架,实现技术突破。在情绪模仿强度估计(EMI)赛道,团队提出TAEMI框架,打破传统融合模式,将文本作为稳定语义锚点,通过文本锚定双交叉注意力机制完成视觉、语音信号对齐融合,搭配可学习缺失模态标记与模态随机丢弃策略,大幅提升模型在信号受损、模态缺失场景下的稳定性,该方案在Hume-Vidmimic2数据集上性能远超现有基线。
动作单元检测(AU)赛道方面,团队搭建层次粒度对齐与状态空间建模框架。该框架采用DINOv2、WavLM两大基础模型提取音视频特征,借助层次粒度对齐模块关联局部面部动作与全局语义,并引入Vision-Mamba架构实现线性复杂度的超长时序建模,结合语音引导状态空间机制,深度融合音视频线索,有效解决人脸姿态多变、长时序建模困难等问题。
补齐识别短板,完善技术体系布局
在表情识别(EXPR)赛道,团队聚焦视觉遮挡、模态缺失与样本类别不均衡三大难题,研发双分支Transformer框架。该框架通过双分支结构分别处理视觉、语音特征,利用交叉注意力实现跨模态交互;创新安全注意力机制,保障视觉信号缺失时模型可依托语音正常推理。同时,团队采用焦点损失函数缓解数据长尾问题,并结合滑动窗口软投票策略优化长视频预测效果,有效提升复杂场景下表情识别的准确率与鲁棒性,最终斩获该赛道季军。
长期以来,云知声与中国科大围绕多模态人工智能、情感计算开展深度产学研合作,持续推动技术落地。此次在ABAW赛事取得多项佳绩,既是双方技术积累的集中体现,也为开放环境情感行为分析提供了全新思路。(咸宁新闻网)
新快报讯 2月27日,由佛山市委宣传部、市委网信办联合组织的全省全市高质量发展大会深度报道系列采访活动启动。活动当天,国内重点主流媒体超20位融媒记者深入一线,充分报道多名企业家、科学家基层一线高质量发展的有益 新快报讯 3月1日晚,由中国音乐家协会、广东省文学艺术界联合会、中共中山市委宣传部主办,广东省音乐家协会、中山市文学艺术界联合会承办的唱响“一带一路”放歌伶仃洋——中国音协“金钟之星”艺术团赴中山慰问演出在 为深入学习贯彻党的二十大精神,贯彻落实习近平总书记对深入开展学雷锋活动作出的重要指示精神,大力弘扬雷锋精神和志愿服务精神,在第61个“学雷锋纪念日”即将到来之际,焦作市马村区武王街道开展“学雷锋 当前母婴市场中,新生代生育主体的消费行为正在改变,新生代不仅追求“营养更全面、更高端、更精细”产品品质,新生代育儿理念的不断变化,也不断促使着“渠道+品牌”在产品研发、创新营销的融合发展。为给 随着研究生招生规模的不断扩大,尤其是专业学位硕士研究生人数的快速增长,研究生住宿问题逐渐成为社会关注的焦点。近日,“研究生多到无宿舍可住”的话题冲上微博热搜,引发广大网友热议。针对研究生住宿问题,各高校采取不同 21世纪经济报道记者李德尚玉 实习生郝文琪 北京报道碳中和周报关注“双碳”领域的最新前沿动态,包括碳中和政策、地方动态、企业实践等。我们将通过精选每周碳中和领域的重大事件,并进 。本文链接:CVPR2026 10th ABAW赛事收官,云知声联合中国科大斩获两冠一季http://www.sushuapos.com/show-1-63762-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 《政声直达》2026年7月8日
下一篇: “河北净菜”热销京城