21世纪经济报道见习记者肖潇 北京报道
OpenAI在AI生成视频领域扔出一枚“王炸”。当地时间2月15日,OpenAI发布了第一个文生视频大模型Sora。这一模型可以根据用户输入的提示词生成长达一分钟的高清视频,虽然还没公开使用,但已经引发了热议。
在官方分享的演示视频中,Sora可以直接输出有多个角色、多种场景和运镜的画面。比如一段提示词为:镜头穿过熙熙攘攘的东京街道,跟随几个人享受雪天并逛街。在Sora生成的视频中,镜头从天空的雪花中俯冲,跟着一对牵手的情侣,走过日本风格的街道。
OpenAI官方演示视频
AI视频的运用可以追溯到2022年。初创公司Runway被认为是这一技术领域的“鼻祖”,热门科幻电影《瞬息全宇宙》就用到了其视频编辑技术。从那时起,AI视频技术开始快速迭代,以Runway、Pika、Meta(Emu Video)为代表的公司进入竞争赛道。不过,这些AI视频大多只能维持几秒钟的长度,存在场景不逼真、元素闪现、运动不连贯等“一眼AI”的问题。
而在OpenAI目前公开的48个演示视频里,无论是猫踩醒被窝里的主人,模仿手机拍摄的尼日利亚街道,还是中国的春节舞龙活动......几乎看不出AI生成的痕迹。OpenAI解释,Sora不仅能满足提示词的要求,还理解各种物体在物理世界的存在方式。实现的最关键的一处技术突破是,“画面主体即使暂时离开镜头,也能保持不变。”因此生成视频的逼真度和连贯性有了肉眼可见的进步。
一位硅谷AI公司的从业者告诉21记者,根据她的使用体验,Sora在演示视频中展现的能力远远超Pika和Runway,“Pika只能生成3-15秒的视频,Sora能直接生成一分钟的视频。从画面效果和时长来看,Sora肯定是一个重要突破。”
业内普遍认为,Sora能力的提升,主要来自高质量的数据集,以及准确的语言理解能力。OpenAI 没有透露训练视频的大小、来源,只声称训练的是公开有版权的视频。前述从业者认为,Sora无疑有巨大的数据量,因此能够支持多大的调用量,视频加载和渲染有多少延迟,都将是后续挑战。“真正投入使用会是什么样?能不能达到官方演示的效果?”还是一个未知数。
OpenAI已经公开承认了一些Sora存在的缺陷:它可能难以呈现复杂的物理变化规律,无法理解因果关系,混淆空间细节。例如在演示视频中,一位寿星向生日蛋糕上的蜡烛吹气,但蜡烛没有任何变化;或者篮球直接穿透了篮筐,而不是从篮筐中进球。
值得注意的是,Sora目前定性为初期研究成果,不面向公众使用,因为公司担心深度伪造视频的滥用问题。现在只有一部分视觉艺术家、设计师和电影制作人有内部试用机会。此外,OpenAI 还在与第三方安全测试人员共享该模型,进行红队测试。
在安全问题上,Sora 已经包含了一个过滤器,阻止暴力、色情、仇恨,以及特定人物的视频输出。公司还将借鉴去年在DALL-E 3 上实验的图像探测器,把C2PA技术标准——一种内容追溯方式,也可以理解为内容水印——嵌入到Sora的输出视频中,以鉴别视频是否为AI深度伪造视频。
记者3月17日从浙江大学获悉,该校医学院附属第二医院王良静教授团队、附属邵逸夫医院陈淑洁主任医师团队联合研究发现,一种肠道菌群产生的小分子代谢物吲哚丙酸,可以增强抗癌药物抗PD-1单抗对结 英伟达AI风暴席卷医疗行业 “AI制药”是风口还是泡沫? 季媛媛 全球医疗健康行业正刮起最强AI风暴。 当地时间3月18日,全球瞩目的顶级AI盛会――英伟达2024年GPU技术大会(NVIDIA GTC 2024)正式开幕。据相关 美国和法国的科学家联合团队借助新的3D打印技术,开发出一种多层人造皮肤,只需18天即可长成。这种仿真皮肤可用于提升护肤品测试效率,并催生更好的皮肤治疗方法。相关研究发表于新一期《先进功能 3月23日消息,vivo X Fold3系列将于3月26日正式发布,成为全球首款骁龙8 Gen3折叠屏电话。现在这款新机外观已经解禁,下面为大家带来图赏。vivo X Fold3提供了薄翼黑和轻羽白两种配色,后壳手感顺滑,触感 记者从中国科学院新疆天文台获悉,近期南山26米射电望远镜在参与欧洲VLBI网组织的联测中,首次成功运用4Gbps宽带、高码率VLBI技术获得干涉条纹。相较于2Gbps观测,该技术理论上可将图像信噪比提升 为构建有效联动、密切配合的青少年科学教育协同机制,提升科学教育实施效能,3月23日,北京市关心下一代工作委员会(以下简称“北京市关工委”)、北京市科学技术协会(以下简称“北京市科协”)在北京科 。
本文链接:OpenAI发布首个视频大模型Sora,一句话生成一分钟视频http://www.sushuapos.com/show-2-2903-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。