“眸思”与复旦自然语言处理实验室开发的MOSS同音，但和基于文本的MOSS不同，它能够理解并识别图片内容，致力于成为视障者的一双“眸”。
团队从基于GPT3.5的文本模型转向围绕GPT4-v复现多模态大模型，对模型中的核心关键点开展研究，致力于提升单项任务的准确率和大模型的强化学习。在基于几亿张图片训练出的“眸思”大模型基础上，针对视障者提出的各类需求，团队使用上万张图片进行特殊样本训练，使“眸思”具备能够适配更多场景的能力。
据了解，基于“眸思”的“听见世界”APP针对视障者日常生活需求，设计了3种模式：街道行走模式，“眸思”可以细致扫描道路情况并提示潜在风险，陪伴视障者安全通行；自由问答模式，不论是博物馆、艺术馆，还是公园，“眸思”能够捕捉四周景象的每个细节，用声音构建丰富的生活场景。
预计今年3月，“听见世界”APP将完成第一轮测试，在我国一、二线城市和地区同步开启试点，根据算力部署情况进行推广。更多模式也正在开发中，比如阅读模式，服务盲人朋友点菜、读书等场景，解说模式，承担无障碍电影解说员的工作。
今年上半年，团队将结合AR升级APP内的定位精度细化至亚米级别；下半年，团队希望将“眸思”升级到基于视频的判断。复旦大学自然语言实验室教授张奇表示：“人工智能发展日新月异，科技应该要改变更多人的生活，希望‘眸思’能够帮助视障人士走出家门，让他们可以尝试更多工作，为人生书写更多可能。”
根据近日发表于《科学-机器人》的一项研究，人们可以学习用眼睛和胸部肌肉控制第三条手臂。研究人员称，这种“额外肢体”可 据《自然》消息，与不到10年前相比，每年发表60篇以上论文的研究人员数量增加了四倍。11月24日发表在bioRxiv上的一篇预印本 习近平总书记强调，要加大应用基础研究力度，以推动重大科技项目为抓手，打通“最后一公里”，拆除阻碍产业化的“篱笆墙”，疏通 2023年12月11日，自然科学基金委信息科学部在北京召开“海洋移动信息网络理论与关键技术”专项项目评审会。自然科学基金 编译 | 杜珊妮 美国高等教育的毕业率已经陷入了长达3年的停滞，辍学率常年维持在29%。这一令人震惊的数据由美国国家学生 浙江省科学技术厅浙江省自然科学基金委员会关于下达2024年度浙江省基础公益研究计划自筹经费项目的通知 各有关单位： 为 。本文链接：“复旦·眸思”助力视障者“看见”世界http://www.sushuapos.com/show-11-3447-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
下一篇： 微塑料多样性影响微生物网络复杂度和稳定性