设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

中国科大&云知声联合团队斩获ACM MM 2024竞赛5冠2亚

发布时间: 2024-11-19 12:08:49 来源:

近日,第32届ACM国际多媒体会议在澳大利亚墨尔本圆满落幕。由中国科学技术大学自动化系於俊老师带队的中国科学技术大学与云知声共同组建的USTC-IAT-United团队在不同挑战赛道上累计荣获5项冠军、2项亚军,技术实力再获国际顶会认可。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

ACM MM(ACM International Conference on Multimedia)作为计算机图形学与多媒体领域的顶级国际会议,不仅被中国计算机学会(CCF)评定为A类国际学术会议,更以其卓越的学术影响力和社会认可度而闻名。该会议携手全球领先的学术机构和知名企业,举办了一系列挑战性赛事,成功吸引了全球众多科研团队和创新型企业的踊跃参与。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在这场全球顶尖智慧团队间的激烈角逐中,联合团队表现出色,在多个挑战赛道上夺得5项冠军、2项亚军,其研究成果广泛涉及微动作分析、微表情检测与分析、人机交互与对话、多模态群体行为分析以及视觉空间关系描述和深度伪造检测等前沿领域。具体获奖情况如下:gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

(1)微动作分析挑战 ( MAC: ACM Multimedia 2024 Micro-Action Analysis Challenge )gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

微动作相比于普通动作,更能展现人物在日常交流中的心理情绪,带来更丰富的语义信息,对这些微动作进行精准检测对于多模态理解至关重要。然而,微动作通常持续时间短,且多种微动作可能同时出现,因而检测需要更多画面帧的输入来实现精细捕捉,这将导致巨大的显存负担和训练代价。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为应对这些挑战,团队提出了3D-SENet Adapter,其能够高效聚合时空信息,实现端到端的在线视频特征学习。此外,团队发现结合背景信息可显著提升对小尺度微动作的检测效果,为此,团队开发了交叉注意力聚合检测头,该模块集成特征金字塔中的多尺度特征,显著提升视频帧中微动作的检测精度。该方法相比基线模型极大提升了检测精度,并在两个赛道上分别取得了冠军与亚军的成绩,并且以论文形式在 ACM MM 会议上发表了研究成果。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

(2)微表情挑战 ( Facial Micro-Expression Grand Challenge (MEGC) 2024 (CCS Task) )gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

微表情作为一种面部表情,与宏表情相对应,通常持续时间短,强度较低。同时微表情在现实中有着广泛的应用,如医疗、刑事侦察等。MEGC挑战赛的CCS (Cross-Cultural Spotting)赛道致力于选拔出通用性广泛、稳定性强的微表情识别方法,以推动该领域技术的发展与应用。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

面对CCS赛道提出的挑战,团队选择使用基于光流的方法进行微表情识别,对每个视频抽取其光流特征,进而通过光流特征定位微表情发生的起始时间和结束时间。在生成微表情区间之后,采用边界校准方案,通过判断评估边界的变化程度来决定压缩或延展边界,使得产生的微表情区间边界更加准确。此外,团队采用特定的特征增强方案,主要通过LANet增强特征的表达能力和鲁棒性。最终团队在排行榜上取得了冠军,研究成果也以论文形式于 ACM MM 会议上发表。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

(3)微表情挑战 ( Facial Micro-Expression Grand Challenge (MEGC) 2024 (STR Task) )gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在以往微表情研究中,检测和识别任务相对分离,存在很大的局限性。因此MEGC挑战赛的STR (Spot-then-Recognize)赛道提出了 “先检测后识别”的任务来整合两个环节,进而提升微表情分析的准确性和实用性。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

针对STR赛道提出的挑战,团队整合VideoMAE V2框架、时间信息适配器(TIA)及多尺度特征融合检测头,以提升微表情定位与识别性能。主要采用 VideoMAE V2作为特征提取骨干网络,结合TIA增强视频特征提取能力,尤其是在处理微表情任务时。TIA通过引入时间深度卷积层,捕捉相邻帧的局部时间上下文,丰富当前时间步的表示。同时,构建多尺度图像金字塔,通过分类和回归分支组成的检测头,融合不同尺度的特征,使得模型能够同时捕捉从宽泛动作到细微变化的全范围动态,进而显著提高微表情识别的准确性。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队方案在 STRS(Overall)评分中达到SOTA 的结果,并获得冠军,研究成果在ACM MM会议上进行发表。这一成果不仅验证了团队方法的有效性,也为微表情识别技术的进一步发展提供了方向。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

(4) 多模态群体行为分析挑战 ( MultiMediate: Multi-modal Group Behaviour Analysis for Artificial Mediation )gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

在多人对话和人机交互领域,对人类的参与程度的评估至关重要。MultiMediate挑战赛中的Multi-domain engagment estimation赛道中旨在解决当前人工调解者的能力受限于行为感知和分析方面的进展不足,进而推动和衡量在多领域参与度估计这一关键社会行为感知与分析任务上的进展。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为应对这些挑战,团队深入探索Seq2seq模型在不同时间窗口下的潜力,并提出了一种双流AI-BiLSTM模型,该模型能够对齐并交互对话者特征,以实现更准确的参与度估计。通过从视觉(CLIP)、文本(XLM-RoBERTa)和语音(w2v-bert-2.0)中提取特征,能够更全面地理解和预测对话者的参与度。在建模过程中,团队参考了ALbef和VL-BERT的设计,最终选择了基于AI-BiLSTM的建模方法。在推理时,AI-BiLSTM在多人对话场景中的Concordance Correlation Coefficient (CCC)提升了8%,相较于第二名领先了10%,方案在ACM MM竞赛中得到了验证,并以明显的优势夺得了冠军。不仅展示了团队在人工智能领域的技术实力,也为未来的人机交互和对话系统的发展提供了新的可能性。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

(5)深度伪造检测挑战 ( 1M-Deepfakes Detection Challenge )gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

Deepfakes挑战赛通过视听级检测任务,帮助区分真实视频和深度伪造视频,阻止深度伪造视频在网络上的传播,保护信息的真实性和可靠性。在Deepfakes任务中,细粒度感知和跨模态交互能力的提升至关重要。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为解决Deepfakes提出的挑战,团队提出了一种创新的局部全局交互模块(AV-LG模块),显著增强了模型的检测性能。该模块由局部区域内自我注意、全局区域间自我注意和局部全局交互组成。为了消除视频伪造检测中倾向于将真实样本预测为假样本的偏差,团队适当增加了真实样本的误差权重。此外,团队发现理解视频语义对于视频伪造检测并非必要,因此通过傅里叶变换将采样帧转换为频域,进一步提高了模型性能。通过这些技术的应用,不仅展示了团队在视频伪造检测领域的技术实力,也为未来的Deepfakes检测技术提供了新的可能性。最终获得本赛道冠军,研究成果通过论文的形式在 ACM MM 会议上呈现gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

(6)视觉空间关系描述挑战 ( Visual Spatial Description (VSD) Challenge )gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

Visual Spatial Description(VSD)挑战旨在解决视觉空间语义理解领域的相关问题,即通过让模型和系统生成准确的文本描述句子,来描述输入图像中两个给定目标对象之间的空间关系,进而推动计算机视觉和自然语言处理领域在空间关系理解与描述方面的研究进展。这有助于人机交互场景下智能设备理解用户意图,提升用户体验。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

针对VSD提出的挑战,团队应用 Retrieval Augmented Generation (RAG)技术来指导多模态大型语言模型 (MLLM)完成 VSD 任务,并利用正负样本解决幻觉问题,进一步微调MLLM以增强语义理解和整体模型效能。该方案在VSD任务中的空间关系分类和视觉语言描述任务中都表现出更高的准确性和更少的幻觉错误,取得了令人满意的结果。同时,团队深入研究VSD与VSRC数据样本不平衡问题,运用样本级加权损失和重采样等策略,提高模型对低频对象关系的学习能力,确保了其在复杂数据环境下能够高效处理。这些策略为更高级的视觉空间描述任务铺平了道路,为计算机视觉和自然语言处理领域的未来研究和实际实现提供了有价值的见解。团队以论文形式在 ACM MM会议上发表了研究成果并取得了亚军。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

此次斩获5冠2亚,既是云知声与中国科学技术大学紧密合作、持续探索人工智能赛道的成果,同时也是云知声AGI技术架构实力的有力证明。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

作为国内AGI技术产业化的先行者,云知声依托其全栈AGI技术与产业布局,持续推动千行百业的智慧化升级。2023年5月,云知声发布山海大模型(UniGPT)以来,持续保持高速迭代,在 OpenCompass、SuperCLUE、MedBench、SuperBench、MMMU 等多项通用、医疗及多模态大模型权威评测中屡创佳绩,通用能力稳居国内大模型第一梯队,医疗大模型能力持续保持领先优势。以通用大模型为基座,云知声构建起一个覆盖医疗、交通、座舱等多场景在内的智能体矩阵,并逐步完成 “助手→同事→专家” 的自我演进,为智慧生活、智慧医疗、智慧交通等业务提供高效的产品化支撑,推动“U+X”战略落实,持续践行 “以通用人工智能(AGI),创建互联直觉的世界”的使命。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

与中国科技大学的多模态技术合作,是云知声多模态智能体演进的重要组成部分。今年8月,云知声推出山海多模态大模型,通过整合跨模态信息,实现实时多模态拟人交互体验,进一步夯实了云知声AGI技术底座,推动山海大模型在各领域的广泛应用。gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

展望未来,云知声将继续携手中国科学技术大学等顶尖高校,共同加强人工智能基础理论探索与关键技术突破。我们将积极扩展AGI技术的应用场景,为智慧物联、智慧医疗等关键领域提供更为全面和深入的人工智能解决方案,致力通过人工智能技术,为各行各业带来革命性进步,实现以AGI赋能千行百业的宏伟蓝图。(咸宁新闻网)gAH速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

新快报讯 3月1日,东莞樟木头镇2023年度工作总结大会召开,总结成绩、树立典型、表彰先进、再度启航,动员全镇上下守正创新、勇毅前行,坚持以经济建设为中心,以制造业当家为根本,以“百千万工程”为统领,以“投资年”行动为突 新华社北京3月5日电 国务院总理李强5日在政府工作报告中指出,过去一年,是全面贯彻党的二十大精神的开局之年,是本届政府依法履职的第一年。面对异常复杂的国际环境和艰巨繁重的改革发展稳定任务,以习近平同志为核心的党中 中国海警局新闻发言人甘羽表示,3月5日,菲律宾违背自身承诺,刻意派出2艘海警船、2艘运补船擅闯中国南沙群岛仁爱礁邻近海域,向其非法“坐滩”军舰运送物资。中国海警严格依法管控予以规制,出于人道主义对菲运送必需生活物资 近日,奔驰宣布放弃全面电动化目标,与宝马合资在华成立充电公司,共同运营超级充电网络,满足中国客户对豪华充电服务的需求。注册信息显示,新公司的两大股东分别是华晨宝马汽车有限公司和梅赛德斯-奔驰(中国)投资有限公司,股比 近日,贾跃亭炮轰丁磊和高合汽车,指责其盗窃知识产权,给FF带来巨额经济损失,严重破坏了行业的创新源动力,扭曲了行业的价值观。贾跃亭表示,这种行为是行业的耻辱,呼吁法院判令丁磊和高合汽车赔偿巨额商业损失,并停止侵权行为。 21世纪经济报道 记者郑雪 北京报道人工智能发展如火如荼。2月初,Sora的发布只是新一轮竞争的开始,随后发布的Mistral Large大模型、Claude 3模型再次吸引全球目光。我国人工智能产业如 。

本文链接:中国科大&云知声联合团队斩获ACM MM 2024竞赛5冠2亚http://www.sushuapos.com/show-1-29266-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 健合集团走进湘西州开展助学捐赠,携手合作伙伴助力“健康中国”建设

下一篇: 青春智汇茅台,专家评审共鉴奋斗之美! ——茅台王子杯·奋斗美青春第二届大赛专家评审会圆满举办!

热门资讯

推荐资讯

  • 男士休闲夹克一般搭配什么裤子?

    男士休闲夹克一般搭配什么裤子?男士休闲夹克可以搭配多种裤子,具体搭配取决于个人的风格和场合。以下是几种常见的搭配方式: 牛仔裤:牛仔裤是男士休闲夹克的经典搭配。选择一

  • 腰链怎么搭配好看?

    腰链的作用?腰链又称为腰饰,集妩媚与活泼为一身,也是时尚的表现,时尚的一种追求,美丽的选择,腰链有很多种,有珍珠腰链,金属腰链,丝带腰链,红绳腰链等,因为这些腰链都充满了简约柔美的风

  • 胸针搭配衣服技巧

    胸针搭配衣服技巧胸针是一种优雅的装饰品,正确搭配可以提升整体造型的高级感。 选择合适的胸针: 选择设计精美、质地优良的胸针,可以是珠宝类、珍珠类或者有别致设计的胸针。

  • 最流行的袜子穿搭法?

    最流行的袜子穿搭法?袜子作为时尚单品,在穿搭中起着不可或缺的作用。以下是一些当前流行的袜子穿搭法: 高筒袜搭配长靴:高筒袜与长款靴子的搭配是当前非常流行的穿搭方式。可

  • 焦糖色最佳颜色搭配图:打造时尚气息的视觉盛宴

    一、引言近年来,焦糖色在时尚圈的地位日益攀升,成为一种备受推崇的流行色彩。焦糖色不仅给人以温馨、柔和的感觉,还散发着一种低调的奢华。那么,如何将焦糖色与其他颜色搭配得

  • 矮个子冬季怎么穿搭显高?这三个技巧让你轻松逆袭!

    一、选择合适的长度对于矮个子来说,选择合适的服装长度是非常重要的。过长或过短的衣服都会让身材显得更加矮小。所以,在选择冬季服装时,要以适中的长度为主。例如,选择长度在

  • 朱红色搭配什么颜色最佳?

    朱红色,作为一种充满热情与活力的颜色,在我国有着悠久的历史和丰富的文化内涵。在古代,朱红色被视为吉祥之色,象征着权力、财富和好运。而在现代,朱红色依然是人们喜爱的色彩之

  • 黑色棉袄搭配什么颜色围巾?别再为搭配犯愁!

    在寒冷的冬季,黑色棉袄一直是人们最喜欢的保暖单品之一。然而,如何搭配围巾却让很多人犯了愁。今天,我将为大家分享一些关于黑色棉袄搭配围巾的独特见解,让你在冬季时尚界独占

  • 50 岁矮个子女人秋冬搭配:时尚与气质的完美融合

    一、引言随着气温逐渐下降,又到了一年一度的秋冬季节。对于 50 岁的矮个子女人来说,如何在秋冬季节穿出时尚感、展现气质,成为了她们心中的一大难题。本文将为您提供一些实用

  • 适合冬天穿的男鞋

    适合冬天穿的男鞋:探索时尚与保暖的完美结合冬天对于男性来说,选择一双适合的鞋子非常重要。这不仅关系到个人的保暖,还关系到整体的时尚形象。那么,如何在保暖和时尚之间找

  • 衣服如何搭配更好看:打造时尚达人的必备技巧

    一、引言穿着时尚、衣服搭配得好看,一直以来都是大多数人追求的目标。然而,对于很多新手来说,如何搭配衣服才能更好看,仍然是一个不小的难题。本文将为大家详细介绍一些实用的

  • 豆沙绿搭配什么颜色好看?这三种颜色让你时尚感爆棚!

    在时尚界,豆沙绿一直是备受青睐的颜色。它既具有低调的优雅,又散发着自然的清新气息。那么,豆沙绿搭配什么颜色好看呢?今天,我就给大家分享三种绝佳的搭配方案,让你轻松穿出时尚

  • 日榜
  • 周榜
  • 月榜