大模型赋能机器狗，西工大离线具身智能研究取得新突破！

发布时间: 2024-03-22 08:54:27 来源：西北工业大学

观看：232

“啪嗒啪嗒......”

一只机器狗在街上迈着规律的步伐

拉着牵引绳的盲人

在它的带领下越过沿路障碍

平稳地行走着

电子导盲犬能否取代传统导盲犬

解决视障人士一犬难求的困境？

西工大团队在此方面开展研究攻关

并取得了新的突破

近日，西北工业大学光电与智能研究院联合中国电信人工智能研究院在探索离线具身智能应用方面取得阶段性进展。具身智能，即具有物理实体，能够通过传感器和执行器与环境进行实时互动，执行相应指令或进行决策的智能机器。

李学龙教授团队将机器狗搭载离线大模型，应用在智能导盲场景，开发出大模型离线具身智能导盲犬，并实现了其智能人机交互、智能乘梯引导、智能过街引导、智能室内引导等功能。

该成果进一步展示了使用离线具身智能导盲犬代替传统导盲犬的可能性，同时验证了离线具身智能范式的可行性，使大模型具身智能机器人可以脱离互联网环境，应用在无网或网络信号不佳的工况环境，进一步拓展了临地安防的应用场景。

近年来，随着机器人技术和SLAM导航技术的快速发展，针对电子导盲犬的探索也层出不穷。然而受制于自然语言处理技术的限制，上一代电子导盲犬仍然欠缺和人类“自由对话”的能力，也难以为视障人士提供情感陪伴。

大模型及具身智能技术的出现使电子导盲犬实现这种高级能力成为可能。但机器狗的低算力计算平台难以支撑大模型运行所需的海量计算资源，通常只能通过请求云服务的“在线具身智能”范式获得大模型的高级能力，这严重限制了电子导盲犬的场景应用范围。

电子导盲犬

为此，李学龙教授团队结合目前最新的大模型量化压缩和加速推理技术，成功将大模型部署至机器狗的低算力计算平台，验证了“离线具身智能”范式的可行性。

目前通过实验，团队开发的离线具身智能导盲犬已能够与视障人士流畅沟通指令，并带领其通过马路、楼梯、电梯等多样复杂环境，验证了离线具身智能导盲犬的智能人机交互能力、电梯弱网络环境下的智能乘梯引导能力、实时性要求较高的智能过街引导能力和智能室内引导能力等。

离线具身智能导盲犬指引视障人士进电梯

离线具身智能导盲犬指引视障人士过马路

该成果证明了离线具身智能导盲犬代替传统导盲犬的可能性，同时验证了离线具身智能范式的可行性，使大模型具身智能机器人可以脱离互联网，应用在无网或网络信号不佳的工况环境，提供更加实时的智能响应以及更好的人机交互体验。

未来，团队将进一步优化具身智能导盲犬技术方案，与电信星辰大模型相结合，探索在线与离线相融合的分布式异构具身智能方案，进一步拓宽离线具身智能导盲犬及更多智能机器人平台的应用场景，有效赋能工业生产智能化，加快形成新质生产力。

拓展阅读：

李学龙, 临地安防（Vicinagearth security）, 中国计算机学会通讯, 18(11), 44-52, 2022.

全文下载：

https://dl.ccf.org.cn/article/articleDetail.html?type=xhtx_thesis&_ack=1&id=6219452051015680

出品丨党委宣传部

来源丨光电与智能研究院

文案｜孙哲潘子祺

图片视频 | 孙哲

编辑｜黄俊哲

责编｜付怡

审核｜马西平

　　2024春节档：史上最火，史上最“卷”　　羊城晚报记者李丽　　据国家电影局统计数据，2024年春节档总票房80.16亿元，在观影人次、场次和票房3个维度创造影史最高纪录。　　过去10年间，看电影逐渐成为中国人过年的新民俗　　春节假期中国民航运输旅客创历史新高　　中新社北京2月18日电 (记者刘文文)记者18日从中国民航局获悉，2024年春节假期(2月10日―2月17日)民航市场平稳有序运行，全国民航累计运输旅客1799.2万人次，日均运输旅客224.9 　　预约“手慢无”！各地春节文旅成绩单亮眼　　中新网北京2月19日电(张钰惠)18日，文旅部发布数据显示，春节假期8天全国国内旅游出游4.74亿人次，同比增长34.3%，按可比口径较2019年同期增长19.0%；国内游客出游总花费6326.87 　　傅园慧称在长白山包车被勒索当地交通部门：正按流程处理　　中新网北京2月17日电(记者刘星晨)17日，游泳世界冠军傅园慧通过社交平台发布求助帖称，她在吉林长白山包车出行时遭遇勒索，询问网友是否需要报警。　　图片拼版照片：上图为20世纪80年代的厦门筼筜湖（资料照片）；下图为2024年1月24日拍摄的厦门筼筜湖及周边城市景观（新华社记者姜克红摄，无人机照片）。新华社记者付敏城在海上，海在城中。筼筜湖，犹如镶嵌在厦门岛中央　　“十四五”前三年江西省单位工业增加值能耗预计下降约8%　　中新网南昌2月22日电 (朱莹)22日，江西贯彻实施《江西省人民代表大会关于全力打造国家生态文明建设高地的决定》(以下简称《决定》)座谈会在南昌召开。记。

本文链接：大模型赋能机器狗，西工大离线具身智能研究取得新突破！http://www.sushuapos.com/show-5-9459-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：医疗器械网络销售合规治理工作报告会在京召开

下一篇：【人民日报】以法治助力提信心、稳预期、促发展

大模型赋能机器狗，西工大离线具身智能研究取得新突破！

热门资讯

推荐资讯

社会最热文章