设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

手语能“听到” 声音可“看见” 机器手语翻译技术实现双向无障碍实时沟通

发布时间: 2024-12-10 09:56:33 来源: 科技日报

近日,黑龙江大学本科生创业团队的参赛项目“传情达意——让机器手语翻译不再冰冷”凭借其独特的创意和系列技术突破,在第十四届“挑战杯”秦创原中国大学生创业计划竞赛中荣获金奖。这个项目研发了全国首个融合面部肌电信号的手语翻译技术和相关AR眼镜设备,不仅让手语被“听到”,还能让声音被“看见”。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队通过调研发现,目前助聋设备普及率只有5%,且普遍价格高,适配场景少,准确率较低。为此,团队决定在助聋设备方面做进一步探索。他们历时两年,研发出样品并进行完善,目前已与徐州市特殊教育中心等机构签订购买意向书。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“我们的创新产品主要由臂环和AR眼镜两部分组成。”项目负责人、黑龙江大学电子工程学院朱铭熙说,臂环通过收集并识别聋哑人做手语时的肌电信号,将其转化为语音,实现了手语的“听觉化”。在这一过程中,电极贴片起到了关键作用。它们能够捕捉肢体动作的细微变化,将其转化为特征向量,与预先建立的手语向量数据库进行比对,从而准确识别出手语的含义。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

然而,仅有臂环的手语识别并不足以达到精准翻译的目标。朱铭熙介绍:“手语中面部表情所占的权重不低于40%,而人的情绪主要通过眉毛和面颊两侧的肌肉来体现。”uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为了提升准确率,团队进一步提升了设备精准捕捉表情、理解情感的能力。他们将电极贴片安装在AR眼镜的引擎上,研发了我国首个融合面部肌电信号的手语翻译技术。当佩戴者因情绪产生微表情的时候,设备就能精准捕捉这些微小的面部表情,并将其转化为特征向量后与数据库中的信息进行比对,从而让手语翻译更加精准。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

同时,团队还扩大了数据吞吐量,实现设备时延小于0.1秒,能实时完成13000余条手语数据的调用。正是基于这些技术,与同类产品相比,团队产品的实时性翻译能力更强,准确度更高。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

朱铭熙团队的成果,不仅让手语被“听到”,还让声音被“看见”。考虑到很多听障人士存在识字困难,朱铭熙团队开发了一个能够显示在AR眼镜上的数字人。当识别到周围有人说话时,文字内容可以直接匹配到数字人的手语动作上。这样,佩戴者就能在AR眼镜上看到数字人打手语,无需识字就能理解对方的意思。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这一创新为听障人士提供了极大便利,为他们打开了一个全新的交流世界。该技术不仅可以用于个人社交活动,也能作为聋哑学校基础的教学辅助装置。“通过让学生佩戴臂环,我们可以检测他们的手语表达是否标准,中控台可以实时显示结果,让手语教学更直观,也大大降低了教学成本和时间。”朱铭熙介绍。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,2000余位听障人士佩戴了团队研发的产品。河南郑州张哥助残服务平台创始人张继磊试用产品后给予高度评价:“这款产品能够切实帮助聋哑人群,应用市场非常广阔,希望能继续完善,让更多有需要的人受益。”uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,团队正在向数据库继续补充手语数据,扩大产品的应用场景。(记者 朱虹)uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

近日,黑龙江大学本科生创业团队的参赛项目“传情达意——让机器手语翻译不再冰冷”凭借其独特的创意和系列技术突破,在第十四届“挑战杯”秦创原中国大学生创业计划竞赛中荣获金奖。这个项目研发了全国首个融合面部肌电信号的手语翻译技术和相关AR眼镜设备,不仅让手语被“听到”,还能让声音被“看见”。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

团队通过调研发现,目前助聋设备普及率只有5%,且普遍价格高,适配场景少,准确率较低。为此,团队决定在助聋设备方面做进一步探索。他们历时两年,研发出样品并进行完善,目前已与徐州市特殊教育中心等机构签订购买意向书。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

“我们的创新产品主要由臂环和AR眼镜两部分组成。”项目负责人、黑龙江大学电子工程学院朱铭熙说,臂环通过收集并识别聋哑人做手语时的肌电信号,将其转化为语音,实现了手语的“听觉化”。在这一过程中,电极贴片起到了关键作用。它们能够捕捉肢体动作的细微变化,将其转化为特征向量,与预先建立的手语向量数据库进行比对,从而准确识别出手语的含义。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

然而,仅有臂环的手语识别并不足以达到精准翻译的目标。朱铭熙介绍:“手语中面部表情所占的权重不低于40%,而人的情绪主要通过眉毛和面颊两侧的肌肉来体现。”uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

为了提升准确率,团队进一步提升了设备精准捕捉表情、理解情感的能力。他们将电极贴片安装在AR眼镜的引擎上,研发了我国首个融合面部肌电信号的手语翻译技术。当佩戴者因情绪产生微表情的时候,设备就能精准捕捉这些微小的面部表情,并将其转化为特征向量后与数据库中的信息进行比对,从而让手语翻译更加精准。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

同时,团队还扩大了数据吞吐量,实现设备时延小于0.1秒,能实时完成13000余条手语数据的调用。正是基于这些技术,与同类产品相比,团队产品的实时性翻译能力更强,准确度更高。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

朱铭熙团队的成果,不仅让手语被“听到”,还让声音被“看见”。考虑到很多听障人士存在识字困难,朱铭熙团队开发了一个能够显示在AR眼镜上的数字人。当识别到周围有人说话时,文字内容可以直接匹配到数字人的手语动作上。这样,佩戴者就能在AR眼镜上看到数字人打手语,无需识字就能理解对方的意思。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

这一创新为听障人士提供了极大便利,为他们打开了一个全新的交流世界。该技术不仅可以用于个人社交活动,也能作为聋哑学校基础的教学辅助装置。“通过让学生佩戴臂环,我们可以检测他们的手语表达是否标准,中控台可以实时显示结果,让手语教学更直观,也大大降低了教学成本和时间。”朱铭熙介绍。uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,2000余位听障人士佩戴了团队研发的产品。河南郑州张哥助残服务平台创始人张继磊试用产品后给予高度评价:“这款产品能够切实帮助聋哑人群,应用市场非常广阔,希望能继续完善,让更多有需要的人受益。”uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

目前,团队正在向数据库继续补充手语数据,扩大产品的应用场景。(记者 朱虹)uAm速刷资讯——每天刷点最新资讯,了解这个世界多一点SUSHUAPOS.COM

  中新经纬2月18日电 广铁集团长沙火车站官方微博18日称,2024年2月18日4点24分,兰州开往广州的K225次列车到达长沙站,因列车上一些旅客未在票面到达站下车,继续乘车到前方站,造成列车超员。受其影响,部分正常购票旅客未能   2024年春节档票房创中国影史新高  中新社北京2月17日电 (记者 高凯)据灯塔专业版数据,截至北京时间2月17日13时50分,2024年春节档总票房达78.44亿元(人民币,下同),超过2021年春节档(78.43亿元),打破中国影史春节档票 新华社济南2月22日电(记者陈国峰、张钟仁)连日来,山东多地迎来大风降温和雨雪天气。21日,受降雪影响,济南西站部分列车降速运行,出现晚点情况。售票大厅内,记者看到“晚点停运车次退票”窗口前排起长龙。国   钛白粉出口热度不减 多公司开启年内第二轮涨价    本报记者 黄 群  近日,国内钛白粉企业再度提价,2024年钛白粉第二轮涨价开启。2月20日,先是龙佰集团、惠云钛业宣布当日上调各型号钛白粉销售价格。2月21日,中核   我跨境电商占韩海外直购市场近半份额  作者 杨明  凭借“高性价比”和“低物流费”等优势,中国跨境电商企业已占据韩国海外直购市场的近一半份额,本地化服务的提升也是中国企业在韩国快速扩张的重要原因。过去   新国标实施一周年 中国婴配乳粉注册工作取得成效  中新社北京2月22日电 (记者 刘亮)记者22日从中国国家市场监管总局获悉,自婴幼儿配方食品新国标(以下称新国标)发布实施后,中国婴幼儿配方乳粉(以下称婴配乳粉)产 。

本文链接:手语能“听到” 声音可“看见” 机器手语翻译技术实现双向无障碍实时沟通http://www.sushuapos.com/show-5-38169-0.html

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

上一篇: 培育完整体系 充分激发潜力——中国经济圆桌会年终共话扩内需

下一篇: 主产区各类粮食企业累计收购秋粮超1.4亿吨—— 收成金灿灿 收获满当当

热门资讯

  • 佐力药业新药获批 华东医药能否打赢大单品保卫战?

      佐力药业新药获批 华东医药能否打赢大单品保卫战?  每经记者 陈星 每经编辑 文多  华东医药(SZ000963,股价35.18元,市值617.21亿元)和佐力药业(SZ300181,股价10.70元,市

  • “年轻人报复性挤爆3.5分餐厅” 砸了谁的锅

      “年轻人报复性挤爆3.5分餐厅” 砸了谁的锅  不能仅靠年轻人“挤爆3.5分餐厅”的一身反骨,而要靠净化网络平台信用环境、提升完善评价体系  有一句流行语“股票反着

  • 刘德华新片撤档背后:巨亏巨冒险

      刘德华新片撤档背后:巨亏巨冒险  春节档迎来“撤档潮”。  2024年2月17日,电影《八戒之天蓬下界》发布声明退出春节档,延后上映。该片上映至今,累计票房323.2万元。  

  • 经纬早班车|美股19日休市;特朗普“带货”卖鞋,一双399美元,啥情况?

      【隔夜重磅】  特朗普“带货”卖鞋,一双399美元  据美联社18日消息,美国前总统唐纳德・特朗普近日突然出现在费城会议中心,并推销一款特朗普品牌球鞋,这双鞋定价399美元

  • 2024年春节档票房创中国影史新高

      2024年春节档票房创中国影史新高  中新社北京2月17日电 (记者 高凯)据灯塔专业版数据,截至北京时间2月17日13时50分,2024年春节档总票房达78.44亿元(人民币,下同),超过202

  • 大湾区五年“马力”十足

    从广州市区驱车一个多小时,到达依山傍水的从化区。香港赛马会从化马场就坐落在从化流溪河畔的半山腰上,四周树木葱郁,山峰连绵。五年前的2月18日,《粤

  • 160名俄罗斯“小套娃”跨境体验中华文化

    2月19日至22日,以“文化艺术交流中俄世代友好”为主题的中俄文化艺术交流周暨冰雪旅游消费季活动在黑龙江省鹤岗市举行,由160名俄罗斯青少年组成的代

  • 保畅保供保民生

    新华社济南2月22日电(记者陈国峰、张钟仁)连日来,山东多地迎来大风降温和雨雪天气。21日,受降雪影响,济南西站部分列车降速运行,出现晚点情况。售票大厅内,记者看

  • 新一轮雨雪冰冻天气来袭 湖南积极备战保民生

    新华社记者周楠、余春生、谢奔“路上快要结冰了,开车要注意安全。”2月21日中午,在省道S306茶垭段,寒风瑟瑟,湖南省桑植县竹叶坪乡政府工作人员李雅敏正和同事

  • 西安青岛居民3月6日起可办理往来港澳“个人旅游签注”

      西安青岛居民3月6日起可办理往来港澳“个人旅游签注”  中新网2月23日电 据中华人民共和国出入境管理局网站消息,近日,国务院批准增加陕西省西安市、山东省青岛市为内地

  • 京津冀以就业服务协同激发区域就业新活力

      京津冀以就业服务协同激发区域就业新活力  中新网北京2月22日电 (记者 杜燕)在京津冀协同发展战略实施十周年之际,京津冀三地人社部门22日在北京城市副中心三大建筑之

  • 最高法:加强种业知识产权保护 全面落实惩罚性赔偿制度

      最高法:加强种业知识产权保护 全面落实惩罚性赔偿制度  在国务院新闻办公室2月22日举行的发布会上,最高人民法院知识产权法庭副庭长中林介绍,法庭5年来共受理案由为植物

推荐资讯

  • 日榜
  • 周榜
  • 月榜
    SQL Error: select * from ***_ecms_news11 where id in(78,76,,222,125,193,159,204,220,190,24,26) limit 12