快讯科技财经汽车社会旅游娱乐时尚健康生活科学教育

热搜： 2026除甲醛人工智能重名创优品(0 跑出全国首机器狗首进国泰海通资香港愉景湾正规POS机

首页 > 科技

腾讯开源视频生成新工具，论文还没发先上代码的那种

发布时间: 2024-04-04 16:48:23 来源：量子位

观看：390

支持文本图像视频输入

先上代码再发论文，腾讯新开源文生视频工具火了。

名为MuseV，主打基于视觉条件并行去噪的无限长度和高保真虚拟人视频生成。

老规矩，先看效果。

静态的金克丝秒秒钟就能动起来朝你抛媚眼：

画中诗圣也“活”了过来：

各种风格都能驾驭，风景图也不在话下：

更有搞笑风《微笑的骑士》：

再上难度，复杂些的弹唱也处理得比较自然：

此外，加入“骨架”控制动作、姿势也可以：

腾讯这次论文还没发直接放出训练好的模型和部署运行的代码的操作让网友眼前一亮。主页显示训练代码也即将推出。

不少人已趁热码住，GitHub获星500+。

还有网友已经玩上了：

围观网友直呼距离成为视频达人只差一个AI。

嘴唇也能同步

除了直接放出模型代码，目前MuseV还有demo可体验。

demo界面有两种玩法。

一种可以上传一张图然后加上Prompt在这张图的基础上进行视频生成；另一种是上传一个参考视频和一张图，使图片中的内容按照视频中的动作运动起来。

紧接着下方还有一些参数可以调整。可以自定义视频的时长以及视频的尺寸。

此外值得一提的是，文本、图像到视频的生成结果的所有帧直接由MuseV生成，没有时序超分辨、空间超分辨等任何后处理。

而输入视频控制姿态的生成模式下，开发团队表示需要参考视频的首帧条件和参考图像的首帧条件对齐，不然会破坏首帧的信息，效果会更差。所以一般生成流程是：

确定参考视频；
用参考视频的首帧走图生图、controlnet流程，可以使用MJ等各种平台；
拿第二步中的生成图、参考视频用MuseV生成视频。

除MuseV，开发团队还表示即将发布一个实时高质量的唇同步模型——MuseTalk，可与MuseV一起搭配使用。

MuseV里面长啥样？

技术方面，据了解MuseV是在去年7月左右基于扩散模型实现的技术进展，受到Sora启发，开发团队决定开源MuseV，之后将转向扩散+Transformer方案。

也就是说，MuseV是基于扩散模型的虚拟人视频生成框架。

模型架构如下图所示：

总的来说，MuseV具有以下特点：

首先是支持使用新颖的视觉条件并行去噪方案进行无限长度生成，不会再有误差累计的问题，尤其适用于固定相机位的场景。

并行去噪算法示意图如下：

其次，MuseV提供了基于人物类型数据集训练的虚拟人视频生成预训练模型。

而且支持图像到视频、文本到图像到视频、视频到视频的生成；兼容Stable Diffusion文图生成生态系统，包括base_model、lora、controlnet等。

还支持多参考图像技术，包括IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID。

参考链接：
[1]https://github.com/TMElyralab/MuseV
[2]https://twitter.com/Gorden_Sun/status/1774825159939256678

3月21日是世界睡眠日，今年中国主题为“健康睡眠人人共享”。人的一生约有三分之一的时间是在睡眠中度过，睡眠、运动、营养被视为保障机体正常发育和健康的三大要素。关于睡眠有哪些常见认知误记者3月19日从天津大学获悉，该校环境学院刘庆岭教授团队与吉林大学于吉红院士团队以及天津工业大学梅东海教授团队合作，证明了无有机模板剂合成的具有OFF和ERI拓扑共生结构的Cu-T催化剂具有优　　AI芯片巨头低调赚钱　　骆轶琪　　在过去一年半导体行业下行周期中，除了英伟达以GPU霸主身份实现业绩快速成长之外，另一些主营虽非GPU，但是立足于AI定制芯片市场的半导体巨头也低调实现了稳健的成长性。　　据Gartne 3月22日消息，一加Ace 3V昨晚发布，起售价1999元，将于3月25日正式发售。现在这款新机已经来到我们评测室，下面为大家带来图赏。一加Ace 3V全球首发第三代骁龙7+移动平台，采用骁龙8 Gen3相同的4nm制程工联合国政府间气候变化专门委员会（IPCC）最新发布的评估报告显示，全球温升预计在2021年至2040年内达到1.5℃。报告指出，自IPCC第五次评估报告发布以来，全球减缓气候变化的政策和法律不断增多，但实施 3月24日是第29个世界防治结核病日，我国的宣传主题是“你我共同努力，终结结核流行”。在北京大学社会化媒体研究中心21日举办的“技术升级，加速我国终结结核流行进程”主题沙龙上，中国疾控中心结。

本文链接：腾讯开源视频生成新工具，论文还没发先上代码的那种http://www.sushuapos.com/show-2-4575-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：弱智吧竟成最佳中文AI训练数据？！中科院等：8项测试第一

下一篇：英伟达AI新课爆火！免费学习，干货满满

腾讯开源视频生成新工具，论文还没发先上代码的那种

嘴唇也能同步

MuseV里面长啥样？

热门资讯

推荐资讯

科技最热文章