让Sora多飞一会儿

让Sora多飞一会儿

2月22日消息,OpenAI的文生视频模型Sora案例视频集一经推出,就成为科技圈的热门话题。继ChatGPT后,Sora的文生视频能力再次惊艳AI圈子,大有不谈Sora就out了的氛围。

Sora文生视频效果惊艳根据OpenAI官方给出的介绍,Sora是一个通用的视觉数据模型,它可以生成不同持续时间、宽高比和分辨率的视频和图像,最高可达一分钟的高清视频。OpenAI发布了48个视频,这些均是由Sora模型(Creating video from text)通过对文字理解而生成的视频。第一个视频就是根据文本:“一位时尚的女士走在东京的街道上,街道上充满了温暖的霓虹灯和生动的城市标志。她穿着黑色皮夹克、红色长裙和黑色靴子,手里拿着一个黑色钱包。她戴着太阳镜和红色口红。她走路自信而随意。街道潮湿且反光,形成了彩色灯光的镜面效果。许多行人走来走去。”(Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.)生成的视频。

图片
图片
图片

Sora出现之前,在文生视频领域,美国初创企业Runway和Pika被认为是视频生成赛道的领先者。然而,Sora的出现,瞬间秒杀了“领先者”们。从公布的视频来看,Sora通过文字生成的视频表现明显突出:首先,时长更长。Sora生成60秒视频,Pika是3秒,Runway是4秒;第二,Sora的视频有多角度镜头,分镜切换符合逻辑,并且视频主体移动时与背景保持高度稳定和流畅;第三,Sora的视频对光影反射、运动方式、镜头移动等细节处理得更好。总之,就是Sora生成的视频极大地提升了视频的“真实感”,让人看了感觉像是真实拍摄的。继“有图有真相”破碎后,视频也不再等于真相了。目前,OpenAI尚未向公众开放Sora,仅对部分研究人员和学者开放测试资格。国内用户无渠道参与试用Sora。但这也不妨碍科技圈大牛们对Sora的研究兴趣。OpenAI 官网上公开的信息,48个Sora文生视频案例、Sora的技术报告《Video generation models as world simulators》(中文译《把视频生成模型作为世界模拟器》)成为各方人士研究Sora的主要抓手和窗口。多少有些隔岸旁观、盲人摸象的感觉,短短几天,对Sora的关注和讨论就形成了多个“派别”。

技术派:挖掘Sora背后的技术逻辑国外社交媒体上的AI大牛,国内微博技术大V、知乎技术博主们纷纷发文分析Sora的核心技术。这些分析主要根据OpenAI给的技术报告《Video generation models as world simulators》及报告中罗列的32篇技术文献提及的技术而来。技术大牛们挖掘出的Sora模型创新主要有2个关键:一, Spacetime Patch(时空Patch)技术技术报告原文:LLMs have text tokens, Sora has visual patches.解放思想,从大型语言模型中获得灵感。如同LLM将各种类型的文本内容转化为Tokens后,实现对大规模文本内容的训练;用Spacetime Patch对所有类型的视频内容进行统一表示,进而能够对视频生成模型进行大规模数据训练。

图片

图片来源于《Video generation models as world simulators》值得注意的是,Spacetime Patch除了包括视频信息元素的空间信息还有时间信息。图片就是单帧的视频,把图片按正确的发生时间顺序显示出来,就将是一个逻辑正确的视频。二, Diffusion Transformer(DiT,扩散型 Transformer)架构。技术报告原文:Sora is a diffusion transformer。和其他文生视频产品所用的底层架构不同,Sora 使用的是Diffusion Transformer架构。Diffusion Transformer论文(26号论文)的作者之一William Peebles,现在是OpenAI工程师,负责开发Sora。

图片
图片
图片

《Video generation models as world simulators》罗列的技术文献Sora能获取现有的静态图像并从中生成视频,还能获取现有视频,进行扩展或填充缺失内容。技术大牛们认为,Transformer强在前后文的理解和保持连续性,这让Sora在时间轴上的延伸性非常出色,可以生成开头不同但结尾完全一致的视频片段。

哲思派:人工智能的能力到了什么阶段?以周鸿祎为代表的国内技术大佬们对AI能力进化的思考又进一步。Sora生成的视频发布后,周鸿祎就称“Sora意味着AGI实现将从10年缩短到两三年”。此后,短短3天时间,周鸿祎已发布7个小视频来阐述自己对Sora的思考。周鸿祎认为,“Sora应该还是模拟了人类去观察世界、描绘世界和表现世界的方法。”“Sora表面上是一个文生视频的工具,实际上是一个现实世界模拟器。它也不仅仅是用来模拟现实世界,它意味着通用人工智能对这个世界的理解能力又一次得到了突破。GPT对人类语言和知识的理解达到了一个突破点,而除了人类的语言和这个世界的人类之间做交互的知识之外,这个世界还有很多规律,人工智能对物理世界的规律缺乏理解的话,那么它是残缺的,不可能真正变成通用人工智能。”“Sora做出的视频之所以让人感觉真是,不是画面有多优美,是因为让人类看起来,所有的动作是符合这个世界的运行规律的。它对这个世界的规律有了一个比较更为完整的了解。这就说明人工智能的能力又上了一个台阶。”

搞钱派:售卖课程、追涨股票、投资建厂搞芯片现在,针对Sora热搜引发的“搞钱派”也分不同段位。最基本的一类是,根据信息差来卖课、卖账号的。Sora根本还没对外开放使用,现在就来这样搞钱实在太无厘头了。然而,还真有人买单。

图片

某电商平台26.6元的学习包,居然已经售出10多份。第二类是追涨AI概念股搞钱的,人也不少。春节后A股开门红,AI相关概念股全线上扬,Sora板块多模态模型概念、ChatGPT、虚拟人、AIGC、算力等相关概念均有所上涨,算是给A股的朋友们一个新年红包。

图片

最高段位的,还是直接针对大模型“核心能力”—— 算力出奇迹进行投资的富豪们。

图片

上图从左往右分别是Sora使用 1 倍资源、4 倍资源、16 倍资源训练时的生成效果。图片来自《Video generation models as world simulators》可见,算力,仍然是卡住AI发展脖子的角色。就在Sora发布后,软银创始人孙正义正寻求筹资1000亿美元(约合人民币7000亿元),用于创立一家AI芯片企业,旨在挑战英伟达的消息传出。OpenAI创始人 Sam Altman筹建7万亿打造AI芯片帝国的计划也被曝出向美政府寻求政策支持。

找差距、威胁派就在Sora露面后的2天,2月18日,国家互联网信息办公室关于发布第四批深度合成服务算法备案信息,该批共有266个算法通过备案。此前三批分别有41、110、129个算法通过备案。这意味着截至目前,国内总计已经有546款深度合成服务算法获得备案。追问“国内何时有自己的Sora?”“国内企业距离赶上Sora还要多久?”的声音毫无意外的再次响起。当然,Sora生成视频太逼真而引发犯罪不可控的担忧声也不少,生成的视频是否会影响到人身安全、社会稳定、企业安全等等。迎接“Sora们”开放,法律、社会、技术等层面是否都做好了准备?如IDC分析师所言,生成式AI产品不可预测的未来:具体哪些公司能在什么时间点推出与 Sora 类似的产品,不可预测。当前 Sora 生成的是1分钟的视频,下一步何时能生成2分钟5分钟以上的视频,不可预测。但是,对于个人而言,生成式AI产品已经在潜移默化的改变我们的生活方式,每一个人都可以认真考虑该类产品如何能够助力我们的生活与工作。还是那句话,每一项新技术进入人们的生活时,总是伴随着兴奋和质疑。那么就让Sora们 多飞一会儿!

元宇宙投融邦 元宇宙投融邦
0
0
发布评论
后可评论
0/1000
全部评论

暂无评论,来抢沙发

猜你喜欢 换一批
数据加载中,请稍候...