近日,第十届开放环境下情感行为分析国际挑战赛(简称10th ABAW)最终成绩正式公布。云知声携手中国科学技术大学於俊副教授团队表现亮眼,在情绪模仿强度估计赛道(Emotional Mimicry Intensity Estimation,EMI)和动作单元检测赛道(Action Unit Detection,AU)中斩获冠军,在表情识别赛道(Expression Recognition,EXPR)中荣获季军,交出两冠一季的优异答卷。依托赛事技术成果,联合团队三篇创新论文也在CVPR2026Workshop正式发表,彰显国内团队在情感计算与多模态理解领域的强劲实力。
CVPR是计算机视觉领域全球知名会议,ABAW作为其核心专题赛事,聚焦开放环境人类情感行为分析,是情感计算领域极具影响力的国际竞赛。本届赛事设置表情识别、动作单元检测、情绪模仿强度估计等六大挑战性任务,吸引了全球各地高校、科研机构与科技企业同台竞技。人类情感行为分析依托视觉、语音、文本等多模态信息解读情绪与行为,是自然人机交互的核心方向,在智能助手、数字人、心理健康评估等领域拥有广阔应用前景。
多模态技术创新突破,攻克真实场景难点
针对开放环境下信号噪声、模态缺失、长时序依赖等行业痛点,联合团队针对不同赛道场景定制创新算法框架,实现技术突破。在情绪模仿强度估计(EMI)赛道,团队提出TAEMI框架,打破传统融合模式,将文本作为稳定语义锚点,通过文本锚定双交叉注意力机制完成视觉、语音信号对齐融合,搭配可学习缺失模态标记与模态随机丢弃策略,大幅提升模型在信号受损、模态缺失场景下的稳定性,该方案在Hume-Vidmimic2数据集上性能远超现有基线。
动作单元检测(AU)赛道方面,团队搭建层次粒度对齐与状态空间建模框架。该框架采用DINOv2、WavLM两大基础模型提取音视频特征,借助层次粒度对齐模块关联局部面部动作与全局语义,并引入Vision-Mamba架构实现线性复杂度的超长时序建模,结合语音引导状态空间机制,深度融合音视频线索,有效解决人脸姿态多变、长时序建模困难等问题。
补齐识别短板,完善技术体系布局
在表情识别(EXPR)赛道,团队聚焦视觉遮挡、模态缺失与样本类别不均衡三大难题,研发双分支Transformer框架。该框架通过双分支结构分别处理视觉、语音特征,利用交叉注意力实现跨模态交互;创新安全注意力机制,保障视觉信号缺失时模型可依托语音正常推理。同时,团队采用焦点损失函数缓解数据长尾问题,并结合滑动窗口软投票策略优化长视频预测效果,有效提升复杂场景下表情识别的准确率与鲁棒性,最终斩获该赛道季军。
长期以来,云知声与中国科大围绕多模态人工智能、情感计算开展深度产学研合作,持续推动技术落地。此次在ABAW赛事取得多项佳绩,既是双方技术积累的集中体现,也为开放环境情感行为分析提供了全新思路。(咸宁新闻网)
3月5日上午,十四届全国人大二次会议首场“部长通道”在人民大会堂举行,科学技术部部长阴和俊接受采访。 2023年我国研发投入超3.3万亿元 我国科技事业发展出现了一片新的气象。从投入看,去年全年研发投入超过3.3万亿元 作为一名探索大脑奥秘的科研工作者,全国政协委员、中国工程院院士、南方医科大学教授、粤港澳大湾区脑科学与类脑研究中心主任高天明长期从事抑郁症领域的研究。去年,他与前来采访的记者们谈论了如何预防青少年抑郁症 南方财经全媒体见习记者林鹏 实习生 陈聪 张梦琦 广州报道南粤春来早,植树正当时。眼下正是植树造林的黄金时节,广东各地掀起了春季植树的热潮。据统计,今年以来截至2月底,全省乡村绿化 随着信息技术的加速发展,数字经济与实体经济深度融合,科技对经济社会发展和百姓民生的影响范围之大、程度之深前所未有,以科技创新推动产业创新,加快培育和发展新质生产力,成为带动和促进经济转型升级的重 21世纪经济报道 记者郑雪 北京报道保护知识产权就是保护创新。伴随人工智能产业发展如火如荼,知识产权保护越发重要和紧迫。AI训练数据侵权隐忧如何解决?人工智能生成物是否可以版权保 Milk-v Duo 1.05版本固件释放,新增了对于小核(C906@700MHz)的支持。Duo已经完全支持一个核跑Linux,一个核跑RTOS嵌入式操作系统,本次更新如下:添加了对IPV6的支持将cvi_pinmux命令替换为duo-p 。本文链接:CVPR2026 10th ABAW赛事收官,云知声联合中国科大斩获两冠一季http://www.sushuapos.com/show-1-63762-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 《政声直达》2026年7月8日
下一篇: “河北净菜”热销京城