人形机器人在学习真实的嘴唇动作。
图片来源：美国哥伦比亚大学
科技日报北京1月19日电（记者张梦然）美国哥伦比亚大学科学家设计出一种新型框架，使人形机器人面部能够根据音频生成逼真的唇部动作，实现与人类语音的同步。该技术还展示了较强的泛化能力，可推广至包括法语、汉语和阿拉伯语在内的多种语言，即使这些语言并未出现在训练数据中。研究团队在发表于最新一期《科学·机器人学》上的论文中指出，这一进展是朝着构建不仅能执行功能，还能进行人性化交流的机器人迈出的重要一步。
在对话中，如果机器人的唇部动作与声音不匹配，会显得呆板且不自然。然而，现有机器人普遍缺乏执行精细口部动作的灵活性，能实时将语音转化为自然唇部运动指令的技术也寥寥无几。
研究团队在2024年曾发表研究，描述了一种人形机器人面部可以预测人类的微笑并同时再现该表情。在此基础上，为更加精细化唇部与声音的匹配，团队设计了一套学习流程：首先采集机器人唇部运动的视觉数据，用于训练模型并生成运动参考点；随后通过一个名为“面部动作转换器”的模块产生运动指令，使机器人的唇部能够流畅配合不同词语。他们还专门研制了一种人形机器人面部结构，采用柔软硅胶皮肤，配合磁性连接器，具备10个自由度，可驱动复杂的唇部运动。其唇部结构能形成覆盖24个辅音和16个元音的各种口型。
在验证过程中，团队借助ChatGPT生成测试语句，并合成了具有理想唇部动作的视频作为对比基准。结果表明，该方法在5种比较方案中表现最优，其生成的唇部动作与理想视频差异最小。此外，该框架还能为11种不同语音结构的非英语语言生成自然的唇部同步效果。
研究团队推测，这类人形机器人在教育、老年护理等领域具有应用潜力。但他们也强调，未来的设计工作需格外谨慎，以防止技术被滥用。
中新网上海12月19日电 (记者 许婧)上海交通大学分析测试中心实验动物中心新大楼启用仪式19日举行。随着新大楼的落成，一 2024年度中日韩前瞻计划项目指南 “中日韩前瞻计划”（A3 Foresight Program）是国家自然科学基金委员会（NSFC）与日本学 过去的数个月，对我国道路交通智能检测领域知名专家赵祥模教授来讲，一如既往地保持着忙碌而有序的“快节奏”，他从容地在多 近日，“张雪峰称文科都是服务业”这一词条引发网友关注与热议。此前，“考研名师”张雪峰还说过，即使把孩子打晕，也不要 根据近日发表于《男科学》的一项新研究，如果丈夫在妻子怀孕前有饮酒习惯，会对胎儿发育产生负面影响。经常饮酒的男性 科技日报讯 （记者张佳星）我国的临床资源十分丰富，但原创医学科研成果质量和规模与临床资源却不相匹配。如何进一步提升 。本文链接：人形机器人可完成多语言逼真唇形动作http://www.sushuapos.com/show-11-30867-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 为什么现在吃方便面的人越来越少了？
下一篇： 新型厚电极提升电池输出功率约75%