语言是人类文明和社会进步的重要载体,也是人与人之间沟通交流的主要形式。但脑卒中、渐冻症等重大脑疾病可导致患者丧失语言表达能力,影响生活质量,给社会和家庭带来巨大负担。语言脑机接口可重建语言功能障碍患者的沟通能力,有效改善其社会生活质量。国际上,应用脑机接口技术已突破英语语音和文字合成,但针对汉语解码的脑机接口技术研究却相对较少。
近日,中国科学院上海微系统与信息技术研究所等,针对汉语解码,开发出植入式高通量柔性脑机接口系统和汉语言实时神经网络解码算法,并在国际上首次实现脑机接口实时汉语解码和语句合成。
相比于英语,汉语具有其独特性。具体而言,英语是以多音节为主的非声调语言,汉语则是以单音节为主的声调语言。同时,英语词汇量较大,常用英语单词约为20000个,而汉语通过约400个汉语音节加4个声调,可构建出覆盖日常需求的3500多个常用汉字。研究团队利用汉语本身优势,从约400个汉语音节和4个声调入手,将其作为稳定的中间解码单元,实现从脑电到文字的“翻译”,且通过解码这些汉语音节和声调,可外推至全部汉字。同时,解码过程可同步采集汉语句子任务下的发音信号和高通量高质量脑电信号。
研究团队通过构建多级实时解码数据流,以50毫秒滑动窗口提取70Hz至170Hz的High-γ频段脑电信号,并对齐脑电信号与发音起始点,驱动双流解码器同步生成音节与声调的概率分布,进而融合语言模型进行最合适的句子组合选择,实现实时汉语语句输出。研究显示,受试者经过9天的语言解码任务后,394个汉语音节(解码未覆盖音节为生僻音节且受试者不认识)纯神经解码平均准确率达到71.2%,单音节解码延时65ms,实时汉语语句解码速率达到49.6字/分钟。
研究团队进一步融合了语言脑机接口技术与人工智能和具身智能技术,并基于实时汉语解码技术和自主研发的通用型脑机操作系统,使受试者实现了驱动数字分身、对话人工智能大模型。同时,研究可将人的脑电解码成语言,进而转化成指令,实时操控灵巧手,以实现人机交互。
相关研究成果发表在《科学进展》(Science Advances)上。研究工作得到中国科学院、上海市等的支持。
论文链接
实时汉语解码脑机接口系统框架和电极贡献度表征
随着公众号、抖音、快手等一众新媒体平台强势崛起,有不少本科生没有走传统的找工作上班路线,而是选择自己做新媒体,通过文 11日,记者从中国科学技术大学获悉,该校中国科学院微观磁共振重点实验室彭新华教授、江敏副教授等,利用量子精密测量技术在 种子在植物生命周期中发挥着重要作用,而种子寿命是决定能否长期储存的关键因素。莲子具有极强的生命力,能够在自然环境中的泥碳层存活千年,并在适宜条件下萌发。然而,以往研究聚焦于生理结构和生化组分对莲子寿命的 中国教育报-中国教育新闻网北京11月11日讯(记者 林焕新)学前教育法就从业禁止明确规定,受到社会关注。在今天教育部召开的新闻发布会上,中国法学会行政法学研究会副会长、黑龙江大学校长王敬波对 中国教育新闻网讯(记者 庄元)思政有“新意”,育人有活力。在枫叶红遍硕果盈枝的时节,少年儿童科技创享思政课在北京大学附属小学开讲。11月6日,来自航空航天、国防科技、自然资源、气象科学领域的 中国教育报-中国教育新闻网讯(记者 方梦宇 通讯员 徐小波)“‘看似寻常最奇崛,成如容易却艰辛’。作为新时代的高中生,要把个人命运与国家命运结合起来,发奋图强,以沈浩同志为榜样,让青春在推进中华 。本文链接:脑机接口或让中文失语患者重获“新声”http://www.sushuapos.com/show-12-2462-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
上一篇: 研究揭示认知灵活性受损是精神分裂症与强迫症共享的神经影像学表型
下一篇: 研究揭示冬眠哺乳动物低氧适应的分子机制