还未开放,Sora 怎么就震惊了互联网圈?

OpenAI 直接称它为「世界模拟器」,能够模拟物理世界中的人、动物和环境的特征。

撰文:木沐

还未开放公众测试,OpenAI 凭借文本生成视频模型 Sora 制作的预告片,就把科技圈、互联网、社交媒体圈给震惊了。

根据 OpenAI 官方发布的视频,Sora 能够根据用户提供的文本信息,生成长达 1 分钟的复杂场景「超视频」,不仅画面细节逼真,这个模型还会模拟镜头运动感。

从已释出的视频效果看,业内兴奋的正是 Sora 体现出的理解真实世界的能力。相较其他文本到视频的大模型,Sora 在对语义理解、画面呈现、视觉连贯性和时长上都显示出优势。

OpenAI 直接称它为「世界模拟器」,宣告它能够模拟物理世界中的人、动物和环境的特征。但该公司也承认,目前 Sora 的还不完美,依然存在理解不到位和潜在的安全问题。

因此,Sora 仅对非常少数的人开放测试,OpenAI 尚未公布 Sora 何时会向大众开放,但它带来的震撼足以让研发同类模型的公司看到差距。

Sora「预告片」惊爆众人

OpenAI 文本生成视频模型 Sora 一出,国内又现「震惊体」评价。

自媒体惊呼「现实不存在了」,互联网大佬也吹爆了 Sora 的能力。360 创始人周鸿祎称,Sora 的诞生意味着 AGI 的实现可能从 10 年缩短至两年左右。短短几天,Sora 的谷歌搜索指数迅速拉升,热度直逼 ChatGPT。

Sora 的爆火源于 OpenAI 发布的 48 段视频,其中时长最长的为 1 分钟。这不仅打破了此前文生视频模型 Gen2、Runway 生成视频的时长极限,而且画面清晰,甚至它还学会了镜头语言。

1 分钟视频中,一位身着红裙的女性走在霓虹灯林立的街头,风格写实,画面流畅,最令人惊艳的是女主角的特写,连脸部的毛孔、斑点、痘印都模拟了出来,卡粉脱妆效果堪比直播关掉美颜滤镜,脖子上的颈纹甚至精准「泄露」了年龄,与脸部状态做到了完美统一。

除了对人物写实,Sora 还能够模拟现实中的动物与环境。一段视频维多利亚冠鸽的多角度特写,超清呈现了这只鸟全身至冠的蓝色羽毛,甚至细微到红色眼珠的动态和呼吸频率,让人很难分清这到底是 AI 生成的还是人类拍摄的。

对于非写实的创意动画,Sora 的生成效果也达到了迪士尼动画电影的画面感,让网友担忧起动画师的饭碗。

而 Sora 为文本生成视频模型带来的改进不仅在视频时长与画面效果上,它还能模拟镜头与拍摄的运动轨迹,游戏的第一人称视角,航拍视角,甚至是电影里的一镜到底。

看完 OpenAI 放出的精彩视频,你就能理解互联网圈、社交媒体舆论为什么会为 Sora 感到震惊,而这些只是预告片。

OpenAI 提出「视觉补丁」数据集

那么,Sora 是如何实现模拟能力的?

按照 Open AI 发布的 Sora 技术报告,这个模型正在超越先前图像数据生成模型的限制。

以往的文本生成视觉画面的研究采用过各种方法,包括循环网络、生成对抗网络(GAN)、自回归变换器和扩散模型,但共性是集中在较少的视觉数据类别、较短的视频或固定尺寸的视频上。

Sora 采用了一种基于 Transformer 的扩散模型,生图过程可以分为正向过程和反向过程两个阶段,以实现 Sora 能沿时间线向前或向后扩展视频的能力。

正向过程阶段模拟了从真实图像到纯噪点图像的扩散过程。具体来说,模型会逐步地向图像中添加噪点,直到图像完全变成噪点。而反向过程是正向过程的逆过程,模型会从噪点图像逐步恢复出原始图像。一正一反,虚实来回,OpenAI 以这种方式让机器 Sora 理解视觉的形成。

从全噪点到清晰图的过程

当然,这个过程需要反复地训练学习,模型会学习如何逐步去除噪声并恢复图像的细节。通过这两个阶段的迭代,Sora 的扩散模型能够生成高质量的图像。这种模型在图像生成、图像编辑、超分辨率等领域表现出了优秀的性能。

上述过程解释了 Sora 能做到高清、超细节的原因。但从静态的图像到动态的视频,仍需要模型进一步积累数据,训练学习。

在扩散模型的基础上,OpenAI 将视频和图像等所有类型的视觉数据转换为统一表示,以此来对 Sora 做大规模的生成训练。Sora 使用的表示方式被 OpenAI 定义为「视觉补丁(patches)」,即一种更小数据单元的集合,类似于 GPT 中的文本集合。

研究者首先将视频压缩到一个低维潜空间中,随后把这种表征分解为时空 patch,这是一种高度可扩展的表征形式,方便实现从视频到 patch 的转换,也正适用于训练处理多种类型视频和图片的生成模型。

将视觉数据转化为 patches

为了用更少的信息与计算量训练 Sora,OpenAI 开发了一个视频压缩网络,把视频先降维到像素级别的地低维潜空间,然后再去拿压缩过的视频数据去生成 patches,这样就能使输入的信息变少,从而减少计算压力。同时,OpenAI 还训练了相应的解码器模型,将压缩后的信息映射回像素空间。

基于视觉补丁的表示方式,研究者能对 Sora 针对不同分辨率、持续时间和长宽比的视频 / 图像进行训练。进入推理阶段,Sora 能通过在适当大小的网格中排列随机初始化的 patches 来判断视频逻辑、控制生成视频的大小。

OpenAI 报告,在大规模训练时,视频模型就表现出令人兴奋的功能,包括 Sora 能够真实模拟现实世界中的人、动物和环境,生成高保真的视频,同时实现 3D 一致性、时间一致性,从而真实模拟物理世界。

Altman 当二传手为网友测试

从结果到研发过程,Sora 显示着强大的能力,但普通用户还无从体验,目前只能写好提示词,在 X 上@OpenAI 创始人 Sam Altman,由他作为二传手,帮网友们在 Sora 上生成视频后放出来给公众看效果。

这也不免令人怀疑 Sora 是否真的如 OpenAI 官方展示得那么牛。

对此,OpenAI 直言,目前模型还存在一些问题。如同早期的 GPT 一样,现在的 Sora 也有「幻觉」,这种错误表示在以视觉为主的视频结果上显示地更为具象。

例如,它不能准确地模拟许多基本相互作用的物理过程,例如跑步机履带与人的运动关系,玻璃杯破碎与杯内液体流出的时序逻辑等等。

在下面这个「考古工作者们挖掘出一个塑料椅」的视频片段里,塑料椅直接从沙子里「飘」了出来。

还有凭空出现的小狼崽,被网友戏称为「狼的有丝分裂」。

它有时也分不清前后左右。

这些动态画面中存在的纰漏似乎都在证明,Sora 仍需要对物理世界运动的逻辑去做更多的理解和训练。此外,相比 ChatGPT 的风险,给人直观视觉体验的 Sora 存在的道德、安全风险更甚。

此前,文生图模型 Midjourney 已经告诉人类 「有图不见得有真相」,人工智能生成的以假乱真的图片开始成为谣言要素。身份验证公司 iProov 的首席科学官纽维尔博士就表示,Sora 能让「恶意行为者更容易生成高质量的假视频。」

可想而知,如果 Sora 生成的视频被恶意滥用,搞在欺诈和诽谤、传播暴力和色情上,造成的后果也难以估量,这也是 Sora 让人在震惊之余还会害怕的原因。

OpenAI 也考虑到了 Sora 可能带来的安全问题,这大概也是 Sora 仅对非常少数人以邀请制开放测试的原因。何时会大众开放?OpenAI 没有给出时间表,而从官方释出的视频看,其他公司追赶 Sora 模型的时间不多了。

作者元宇宙日爆
相关文章
2024.04.01 - 44 天前
抵制过 AI 的好莱坞能接受 Sora?
想让 Sora 成为影视制作行业的重要一环,OpenAI 要打通的关节可不只影视公司老板那一关。
2024.03.28 - 48 天前
Sora 的算力数学题
Sora 不仅代表了视频生成质量和功能上的重大进步,也预示着在未来可能会大幅增加推理环节对 GPU 的需求。
2024.05.15 - 28 分钟前
Cyber Capital 创始人:认可 NEAR 分片模式,虽有弊端但代表了加密未来
由于 EGLD 和 TON 已全面实现分片,NEAR 落后于部分竞争对手。
2024.05.15 - 2 小时前
让 ICO 回归:分布式代币发行 (DTL)
DTL的核心焦点是将代币及其技术交到真实用户手中,而不仅仅是投机者。
ICO
2024.05.15 - 4 小时前
对话 Kelp DAO 创始人:LRT 打破再质押零和困境,计划在 Solana 等平台上开发
本文将探讨 KelpDAO 对于 Restaking 赛道的见解、项目未来的产品规划、对竞争对手以及对华语市场的看法等。
2024.05.15 - 4 小时前
Web3 游戏行业趋势深度洞察:2024 年,Web3 游戏会迎来“ iPhone 时刻”吗?
Web3 游戏是 Web3 产业中的重要一环,是对大众普及 Web3 的重要催化剂。
2024.05.14 - 20 小时前
Bitget 研究院:BTC ETF 转净流入带动市场上涨,Meme 板块财富效应较强
过去 24 小时,市场出现了不少新的热门币种和话题,很可能它们就是下一个造富机会。
2024.05.14 - 22 小时前
Solana 新星掀起全民发币热潮,Pump.fun 公平与风险并存
Pump.fun 为何能风靡全网?
2024.05.14 - 22 小时前
彭博社:VC 重新转向「教授币」,Web3 需要学术背景吗?
「他们玩的是技术创新的游戏,而不是产品与市场的契合。」
2024.05.14 - 22 小时前
一文盘点 AI 赋能 Crypto 落地方向与协议
AI 赋能 Crypto 虽已有多种探索,但深度和广度仍有很大提升空间。
AI