Sora后第二火的AI视频技术
衡宇 梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
等了7分多钟，刚从北京闪现闪离的马斯克，他终于夸我是个人才：
除了唱歌，还能把朋友放进（非）著名表情包念台词。
玩儿梗的人太多，以至于马斯克都给搞EMO了：
趁此热度，我们也得到了一个与EMO背后大佬，阿里通义实验室XR实验室负责人薄列峰当面催更的机会。
他表示在放心把技术开源之前，首先还是要解决安全问题。
负责人讲解背后技术
距项目公开仅2个月，通义实验室团队就直接将这一技术免费开放，但所有人都可以在通义APP（原通义千问）体验全新的AIGC玩法。
如果你想亲自上手试试，打开对话输入“EMO”直达或进入“频道”选择“全民舞台”即可。
选择喜欢的音频片段，并上传一张大头照。
如果在热门时段，需要等待40分钟到几个小时不等，但其实主要是在排队。薄列峰透露，单纯生成10秒视频，只需要10-15分钟。
对于上传的照片，系统首先会进行人脸检测，不过有些长得太像人的动物也能顺利蒙混过关！
比如撞脸莫言的小狗，就成功地骗过了系统。
但是撞脸余华的小狗就没那么幸运了，系统一下子就把它给识破了（没有任何对余华老师不敬的意思）。
为什么只需要上传一张图就能立即做到逼真效果？
薄列峰介绍，EMO的核心思路是“弱控制设计”，无需对整个面部建模，这一点甚至体现在了论文标题上。
在生成过程中，面部定位器（Face Locator）用来编码面部的边界框区域。
速度编码器（Speed Encoder）确保头部运动的速度与音频的节奏和强度相匹配。
这些控制机制被称为“弱控制”是因为它们提供的控制不是强制性的或硬性的，而是允许一定程度的自然变化和表现力。
例如，面部区域控制器并不严格限定面部的具体位置，而是给出了一个允许面部运动的较大区域。同样，速度控制器并不精确控制每一帧的速度，而是提供一个速度范围，让生成的头部运动接近但不一定完全符合指定的速度水平。
通过使用这些弱条件，EMO框架能够在保持角色身份一致性的同时，生成具有丰富表情和自然头部运动的视频，从而在表达性和逼真度方面取得更好的效果。
比起传统的分别针对眼睛鼻子嘴等部位的建模方案，EMO更着重考虑整个面部的联合运动，最终效果也就可以做到自然流畅了。
另外薄列峰还透露，选择这个技术路线也是出于实用性、普及性的考虑。
一张图、一段音频，每个人都非常容易获取，门槛低一些，让大家都能玩起来。
关于EMO的技术选择，薄列峰还透露了一个消息。
虽然EMO使用传统基于U-net的扩散模型架构，但Pipeline是解耦的，如果后续尝试Sora同款DiT架构做到更好效果的话，也可以轻松切换过去。
对于未来发展方向，EMO目前只做了人头，将来还会扩展到半身、全身。到时候，能实现一张照片让人物同时唱跳RAP篮球也说不定。
高于平均水平的AIGC内容才会被消费
在此之前，EMO背后通义实验室所推项目中，最火的是与EMO一脉相承的Animate Anyone模型。
代表杰作：奶牛猫跳舞。
算法原理上，EMO和Animate Anyone都采用了Backbone + ReferenceNet的结构，实现有参考图像引导的去噪生成过程。
其中，Animate Anyone在实现了保留特定对象ID的生成式模型的基础上，进一步证明可以通过一些输入控制信号控制生成内容，特别是人物的动作。
所以其实背后团队是专注数字人的团队，没想到在通义App上包装成“全民舞王”后，大家对动物玩法更感兴趣。
一个多月前，团队还在全民舞王针对小猫小狗等动物主体检测做了一半优化，使上传动物照片的通过率大幅度提升。
即使检测出来用户上传的是动物，只要通过了骨骼检测，啥小动物都可以起来嗨。
“现在技术确实可以生成很多的图片、视频，但如果他们都是平均甚至低于平均水平，大家不见得有兴趣去消费。”薄列峰笑道，奶牛猫跳舞确实很妖娆，“这给我们把链路打通带来更多的思考——把简单高质量的内容，通过新技术去实现可能。”
聊天最后，薄列峰还给大家推荐了一个EMO的私房玩法：
可以试试拿自己5岁、10岁、15岁……的照片，自己对话，自己合唱。
值得一试哟～
竹类植物是竹亚科植物的总称，与水稻、小麦、大麦和燕麦同属于禾本科BOP分支，具有重要的经济、生态和文化价值。为更好地服务竹类植物的系统进化和功能研究，有效整理归纳盘活海量的竹类组学和分 3月17日，记者从陆军军医大学西南医院获悉，该院消化内科教授陈磊团队联合陆军军医大学教授张定林首次提出，活性氧响应性纳米材料能够把程序性死亡配体-1蛋白精准传递到肠道炎症部位，有效缓解肠炎 记者日前获悉，位于四川成都未来科技城应用性科创区的民航科技创新示范区（B区）航站楼项目，近日取得施工许可证。这也意味着全国首个模拟验证机场开工。该民航科技创新示范区相关负责人表示，预计模 今年1月，英国分子生物学家肖尔托·戴维发表文章，指控美国哈佛大学医学院附属丹娜-法伯癌症研究所科学家通过修改图片伪造数据。随后该研究所正式宣布撤回6篇论文，并纠正了另外31篇论文的 AI芯片巨头低调赚钱 骆轶琪 在过去一年半导体行业下行周期中，除了英伟达以GPU霸主身份实现业绩快速成长之外，另一些主营虽非GPU，但是立足于AI定制芯片市场的半导体巨头也低调实现了稳健的成长性。 据Gartne 3月22日消息，一加Ace 3V昨晚发布，起售价1999元，将于3月25日正式发售。现在这款新机已经来到我们评测室，下面为大家带来图赏。一加Ace 3V全球首发第三代骁龙7+移动平台，采用骁龙8 Gen3相同的4nm制程工 。本文链接：《嬛嬛朕emo啦》但马斯克！阿里这项技术开放试玩http://www.sushuapos.com/show-2-5685-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。