Sora：大年夜视觉模型的背景、技能、局限性和机遇综述

一、结论写在前面

这不是OpenAI的正式技能报告。
Sora是一个文本到***的天生式AI模型，于2024年2月由OpenAI发布。
该模型经由演习，可以根据文本指令天生逼真或想象中的场景***，展示了在仿照物理天下方面的潜力。
根据公开的技能报告和逆向工程，论文全面回顾了该模型的背景、干系技能、运用、存在的寻衅和文本到***AI模型的未来发展方向。
论文供应了对Sora的全面评估，以帮助开拓职员和研究职员研究Sora的能力和干系事情。
该评估基于对已揭橥的技能报告和对现有文献的逆向工程的调查。

自2022年11月ChatGPT发布以来，AI技能的涌现标志着一个重大转变，重塑了交互办法，并深入融入了日常生活和行业的各个方面。
在这一势头的推动下，OpenAI于2024年2月发布了Sora，这是一种文本到***的天生式AI模型，可以根据文本提示天生逼真或想象中的场景***。
与以前的***天生模型比较，Sora以其能够高质量地天生长达1分钟的***而与用户的文本指令保持同等而分歧凡响。
Sora的进步表示了长期以来AI研究任务的义务，即授予AI系统(或AI代理)理解和互动的物理天下的能力。
这涉及开拓能够不仅阐明繁芜用户指令，而且运用这种理解来通过动态和丰富的高下文仿照办理现实天下问题的AI模型。

Sora展现了准确阐明和实行繁芜人类指令的显著能力，如图2所示。
该模型可以天生包括多个实行特定动作的角色在内的详细场景，针对繁芜的背景。
研究职员将Sora的闇练程度归因于不仅处理用户天生的文本提示，还能辨别场景中元素之间繁芜的相互浸染。
Sora最引人瞩目的一个方面是其天生长达一分钟***的能力，同时保持高视觉质量和引人入胜的视觉连贯性。
与只能天生短***剪辑的早期模型不同，Sora天生的一分钟长***具有从第一帧到末了一帧的进展感和视觉同等性。
此外，Sora的进步表示在其天生具有细微运动和交互描述的扩展***序列的能力，战胜了早期***天生模型受制于更短剪辑和更大略的视觉渲染的局限。
这种能力代表了一个飞跃，许可用户将文本阐述转换为丰富的视觉故事，推动了AI驱动的创意工具。
总体而言，这些进步展示了Sora作为天下仿照器的潜力，为所描述场景的物理和语境动态供应细微的洞察。

技能：Sora的核心是一种预演习的diffusion transformer。
transformer模型在许多自然措辞任务中已经被证明是可扩展和有效的。
与GPT-4等强大的大措辞模型(LLM)类似，Sora可以解析文本并理解繁芜的用户指令。
为了使***天生在打算上高效，Sora采取空间潜在补丁作为其构建块。
详细来说，Sora将原始输入***压缩为潜在的空间韶光表示。
然后，从压缩后的***中提取一系列潜在的空间韶光补丁，以封装视觉外不雅观和运动动力学上的细微间隔。
这些补丁与措辞模型中的词标记类似，为Sora供应详细的视觉词组，用于构建***。

Sora的文本到***天生是由一个diffusion transformer模型实行的。
从添补了视觉噪声的帧开始，该模型逐步去噪图像并根据供应的文本提示引入详细细节。
实质上，天生的***通过多步精髓精辟过程浮现出来，每一步都使***与所需的内容和质量更加同等。

Sora的亮点：Sora的能力对各个方面具有深远的意义:

局限性和机遇：虽然Sora的造诣突显了AI的重大进步，但寻衅仍旧存在。
描述繁芜的行动或捕捉细微的面部表情是模型可以增强的领域。
此外，诸如减轻天生内容中的偏见和防止有害视觉输出等伦理考量凸显了开拓者、研究职员和更广泛社区负任务地利用的主要性。
确保Sora的输出始终安全无偏见是紧张寻衅。

***天生领域正在迅速发展，学术和行业研究团队正在不断取得进展。
竞争性文本到***模型的涌现表明，Sora很快可能成为一个动态生态系统的一部分。
这种互助与竞争的环境促进创新，导致***质量的改进和新的运用程序，这些运用程序有助于提高事情职员的生产力，并使人们的生活更加娱乐。

在核心实质上，Sora是一个具有灵巧采样维度的diffusion transformer[，如图4所示。
它由三部分组成:

(1)韶光空间压缩器首先将原始***映射到潜空间；

(2) 然后ViT处理标记化的潜在表示，并输出去噪后的潜在表示；

(3)类似CLIP[26]的条件机制吸收增强用户指令的大措辞模型和潜在的视觉提示，以勾引扩散模型天生样式化或主题化***。

经由多次去噪步骤之后，得到天生***的潜在表示，然后利用相应的解码器将其映射回像素空间。
在本节中，论文旨在逆向工程Sora利用的技能，并谈论大量干系事情。

Sora的一个显著特点是其演习、理解和天生原生大小[3]的***和图像的能力，如图5所示。
传统方法常日调度***的大小、裁剪或宽高比以适应统一的标准——常日是固定低分辨率的短片段与方形帧。
这些样本常日以更宽的韶光步幅天生，并依赖于单独演习的帧插入和分辨率渲染模型作为末了一步，在全体***中造成不一致。
利用diffusion transformer体系构造，Sora是第一延接收视觉数据多样性的模型，可以在各种***和图像格式中进行采样，包括从宽屏1920x1080p***到垂直1080x1920p***及之间的所有格式，而无需危害其原始尺寸。

在原生大小的数据上进行演习可以显著改进天生***中的构图和构架。
履历结果表明，通过坚持原始宽高比，Sora实现了更自然和连贯的视觉叙事。
与在统一裁剪的正方形***上演习的模型比较，Sora明显具有上风，如图6所示。
Sora天生的***展示了更好的构架，确保主体完备呈现在场景中，而不是正方形裁剪带来的有时会被截断的视角。
这种对原始***和图像特色的细微理解和保留标志着天生模型领域的重大进步。
Sora的方法不仅展示了更真实和吸引人的***天生潜力，还凸显了演习数据多样性对实现天生AI高质量结果的主要性。

Sora的演习方法与Richard Sutton的THE BITTER LESSON[30]的核心原则同等，其指出利用打算而不是人为设计的特色会导致更有效和灵巧的AI系统。
正如最初的diffusion transformer设计寻求大略性和可扩展性[31]，Sora在原生大小的数据上演习的策略避免了传统AI对人类派生抽象的依赖，而更青睐随打算力扩展的通用方法。
在本节的余下部分，论文试图逆向工程Sora的体系构造设计，并谈论实现这一惊人特性的干系技能。

为了有效处理不同时长、分辨率和宽高比的图像和***平分歧的视觉输入，一个关键方法是将所有形式的视觉数据转换为统一的表示，这有助于大规模演习天生模型。
详细来说，Sora通过首先将***压缩到更低维的潜在空间，然后将表示分解成时空补丁来对***进行补丁化。
然而，Sora的技能报告[3]仅呈现了一个高层次的想法，使复制对研究社区来说具有寻衅性。
在本节中，论文试图逆向工程潜在的组成部分和技能路径。
此外，论文将谈论可行的替代方案，这些替代方案可以复制Sora的功能，并借鉴现有文献的见地。

2.2.2.3 ***压缩网络

Sora的***压缩网络(或视觉编码器)旨在降落输入数据尤其是原始***的维度，并输出在韶光和空间上都被压缩的潜在表示，如图7所示。
根据技能报告中的参考文献，压缩网络建立在VAE或矢量量化-VAE(VQ-VAE)之上。
然而，如果不进行调度大小和裁剪，VAE将难以将任意大小的视觉数据映射到统一的固定大小的潜在空间，正如技能报告中所述。
论文总结了两种不同的实现来办理这个问题:

空间补丁压缩：这包括在编码到潜在空间之前，将***帧转换为固定大小的补丁，类似于ViT 和MAE 中利用的方法ologies(拜会图8)，这在适应不同分辨率和宽高比的***方面特殊有效，由于它通过处理单个补丁来编码全体帧。
随后，这些空间标记以韶光序列的形式组织，以创建空间-韶光潜在表示。
这项技能凸显了几个关键的把稳事变:

空间-韶光-补丁压缩：这种技能旨在封装***数据的空间和韶光维度，供应全面的表示。
这种技能不仅剖析静态帧，还考虑帧与帧之间的运动和变革，从而捕捉***的动态方面。
利用3D卷积涌现为实现这种集成的直接且强大的方法[37]。
图形解释和与纯空间打补丁的比较如图9所示。
与空间补丁压缩类似，利用预定卷积核参数(如固定的核大小、步幅和输出通道)的空间-韶光-补丁压缩会导致潜在空间的维度变革，由于***输入的特色各不相同。
这种可变性紧张是由所处理***的不同时长和分辨率驱动的。
为了缓解这一寻衅，采取空间打补丁的方法在这种情形下同样适用且有效。

概括地说，论文根据VAE或其变体如VQ-VQE反向工程了两种基于补丁的压缩方法，由于对补丁的操作更灵巧，可以处理不同类型的***。
由于Sora旨在天生高保真***，以是利用较大的补丁或内核大小进行有效压缩。
在此，论文期望利用固定大小的补丁用于大略性、可扩展性和演习稳定性。
但也可以利用可变大小的补丁[39]以使潜在空间中全体帧或***的维度同等。
但是，这可能会导致位置编码无效，并为解码器天生具有可变大小潜在补丁的***带来寻衅。

在压缩网络部分，还存在一个关键问题:在将补丁馈送到diffusion transformer的输入层之前，如何处理不同***类型产生的潜在空间维度(即潜在特色块或补丁的数量)的可变性。
在这里，论文谈论几种办理方案。
基于Sora的技能报告和相应的参考文献，补丁打包(PNP)[40]可能是办理方案。

如图10所示，PNP在单个序列中打包来自不同图像的多个补丁。
这种方法的灵感来自自然措辞处理中利用的示例打包[41]，它通过舍弃标记来适应可变长度输入的高效演习。
这里须要在压缩网络中完身分块和标记嵌入步骤，但Sora可能会进一步对transformer标记进行分块，正如diffusion transformer所做的[4]。
无论是否进行第二轮分块，论文须要办理两个问题，即如何以紧凑的办法打包这些标记以及如何掌握舍弃哪些标记。
对付第一个问题，利用一种大略的贪心方法，将示例添加到第一个具有足够剩余空间的序列中。
一旦没有更多示例适宜，序列用添补标记添补，天生批量操作所需的固定序列长度。
取决于输入长度的分布，这样一个大略的打包算法可能会导致大量添补。
另一方面，论文可以通过调节序列长度和限定添补来掌握论文对分辨率和帧的采样，以确保高效的打包。

对付第二个问题，一种直不雅观的方法是舍弃相似的标记或者，像PNP一样，运用舍弃率调度器。
然而，值得把稳的是，3D同等性是Sora的一个很好的属性。
在演习过程中舍弃标记可能会忽略细粒度的细节。
因此，论文认为OpenAI可能会利用超长的高下文窗口并打包***中的所有标记，只管这样做在打算上很昂贵，例如多头把稳力[45，46]运算符在序列长度上呈二次方增长。
详细来说，来自永劫段***的时空潜在补丁可以打包在一个序列中，而来自几个短时段***的补丁则连接在另一个序列中。

论文谈论了Sora可能利用的两种数据预处理技能办理方案。
两种办理方案都是在补丁级别上实行的，由于灵巧性和可扩展性的特点，适用于建模。
与以前的方法不同，***被调度大小、裁剪或修剪为标准大小，Sora在原始大小的数据上进行演习。
虽然有几个好处(拜会3.2.1节的详细剖析)，但它带来了一些技能寻衅，个中最显著的一个是神经网络本身不能处理可变时长、分辨率和宽高比的视觉数据。
通过逆向工程，论文认为Sora首先将视觉补丁压缩为低维的潜在表示，并将这些潜在补丁或进一步打补丁的潜在补丁排列在一个序列中，然后在将它们馈送到diffusion transformer的输入层之前向这些潜在补丁注入噪声。

Sora采取空间-韶光打补丁，由于它大略易行，并且可以通过高信息密度的标记有效减少高下文长度，降落随后对韶光信息建模的繁芜性。
对研究社区，论文建议利用本钱效益高的***压缩和表示替代办理方案，包括利用预演习检讨点(例如压缩网络)[47]、缩短高下文窗口、利用轻量级建模机制如(分组)多查询把稳力[48，49]或高效体系构造(例如Mamba [50])，以及在必要时对数据进行下采样和舍弃标记。
在***建模的有效性和效率之间进行权衡是须要探索的一个主要研究课题。

图像diffusion transformer。
传统的扩散模型紧张利用卷积U型网络，个中包含下采样和上采样块作为去噪网络的骨干。
然而，最近的研究表明，U型网络构造对扩散模型的良好性能并非关键。
通过合并更灵巧的transformer体系构造，基于transformer的扩散模型可以利用更多的演习数据和更大的模型参数。
沿着这条思路，DiT 和U-ViT 是首批采取视觉transformer的潜在扩散模型的事情。
与ViT一样，DiT采取多头自把稳力层和点式前馈网络，交错于一些层规范化和缩放层。

此外，如图11所示，DiT通过自适应层规范化(AdaLN)和额外的MLP层进行初始化以实现条件化，这将每个残差块初始化为恒等函数，从而大大稳定了演习过程。
DiT的可扩展性和灵巧性经由了履历验证。
DiT成为扩散模型的新骨干。
在U-ViT中，如图11所示，他们将所有输入，包括韶光、条件和噪声图像补丁，都视为标记，并在浅层和深层transformer层之间提出长跳过连接。
结果表明，基于CNN的U型网中的下采样和上采样算子并非总是必要的，U-ViT在图像和文本到图像天生中得到了刷新记录的FID分数。

与Masked AutoEncoder(MAE)类似，Masked Diffusion Transformer(MDT)在扩散过程中领悟了掩蔽潜变量建模，以明确增强图像合成中工具语义部分之间的高下文关系学习。
详细而言，如图12所示，MDT利用侧插值进行额外的掩蔽标记重修任务，以提高演习效率并为推理学习强大的高下文感知位置嵌入。
与DiT [4]比较，MDT得到了更好的性能和更快的学习速率。
Hatamizadeh等人没有利用AdaLN(即移位和缩放)进行韶光条件建模，而是推出了Diffusion Vision Transformers(DiffiT)，它利用韶光干系自把稳力(TMSA)模块来建模不同采样韶光步长的动态去噪行为。
此外，DiffiT分别利用两个稠浊分层体系构造，用于在像素空间和潜在空间中高效去噪，并在各种天生任务中得到了新的最前辈结果。
总的来说，这些研究展示了在图像潜在扩散中采取视觉transformer的前景，为其他模式的未来研究铺平了道路。

***diffusion transformer：在文本到图像(T2I)扩散模型的奠基性事情的根本上，最近的研究致力于实现diffusion transformer在文本到***(T2V)天生任务中的潜力。
由于***的韶光性子，将DiT运用于***领域的关键寻衅是:i) 如何在空间和韶光上压缩***到潜在空间进行有效去噪;ii) 如何将压缩的潜在表示转换为补丁并将其馈送到transformer;以及iii) 如何处理长程韶光和空间依赖关系并确保内容同等性。
在本节中，论文着重谈论设计用于在空间和韶光压缩的潜在空间中运行的基于transformer的去噪网络体系构造。
论文详细回顾了OpenAI Sora技能报告参考文献中描述的两项主要事情(Imagen Video [29]和Video LDM [36])。

Imagen Video [29]是谷歌研究开拓的文本到***天生系统，它利用了串联的扩散模型，由实行文本条件***天生、空间超分辨率和韶光超分辨率的7个子模型组成，以将文本提示转换为高清***。
如图13所示，首先，冻结的T5文本编码器从输入文本提示中天生高下文嵌入。
这些嵌入对付使天生的***与文本提示对齐至关主要，除了基本模型之外，它们被注入到串联中的所有模型。
随后，嵌入被馈送到基本模型进行低分辨率***天生，然后由串联的扩散模型进行细化以增加分辨率。

基本***和超分辨率模型利用3D U型网体系构造以可分离的时空办法。
该体系构造通过编织韶光把稳力和卷积层与空间对应物，以有效捕获帧间依赖关系。
它采取v预测参数化以实现数值稳定性，并采取条件增强以促进跨模型的并行演习。
该过程涉及在图像和***上进行联合演习，将每个图像视为帧以利用更大的数据集，并利用无分类器辅导[57]以提高提示保真度。
渐进式蒸馏[58]被运用于简化采样过程，显著减少打算负载而保持感知质量。
将这些方法和技能相结合，Imagen Video不仅可以天生保真度高的***，还可以显著掌握天生，这可以通过它天生不同***、文本动画以及各种艺术风格内容的能力来展示。

2.2.3.2 谈论

用于空间和韶光上采样的串级扩散模型。
Sora可以天生高分辨率***。
通过回顾现有的事情和论文的逆向工程，论文推测Sora也利用了串级扩散模型体系构造，它由一个基本模型和许多空间-韶光精髓精辟模型组成。
考虑到在高分辨率情形下利用把稳机制的打算本钱高且性能提升有限，根本扩散模型和低分辨率扩散模型中不太可能大量利用把稳模块。
为了空间和韶光场景的同等性，正如以前的事情所示，与空间同等性比较，韶光同等性对付***/场景天生更主要，Sora可能会利用一种高效的演习策略，即利用较长的***(用于韶光同等性)和较低的分辨率。
此外，考虑到v参数化扩散模型比较其他预测原始潜在变量x或噪声ε的变体具有优胜的性能，Sora可能会利用v参数化扩散模型。

关于潜在编码器。
为了演习效率，大多数现有事情利用Stable Diffusions 的预演习VAE编码器，一个预演习的2D扩散模型，作为初始化的模型检讨点。
然而，该编码器缺少韶光压缩能力。
只管一些事情建议仅微调度码器来处理韶光信息，但解码器在压缩潜在空间中处理***韶光数据的性能仍旧不佳。
根据技能报告，论文的逆向工程显示，与利用现有的预演习VAE编码器不同，Sora可能利用从头在***数据上演习的空间-韶光VAE编码器，它的性能优于现有的编码器，具有面向***的压缩潜在空间。

用户紧张通过自然措辞指令（称为文本提示）与天生式人工智能模型互动。
模型辅导调度的目标是提高人工智能模型准确遵照提示的能力。
这种改进的提示跟随能力使模型能够天生更靠近人类对自然措辞查询的相应的输出。
论文从对大型措辞模型（LLMs）和文本到图像模型（如DALL·E 3）的指令跟随技能进行回顾开始论文的谈论。
为增强文本到***模型遵照文本指令的能力，Sora采取了与DALL·E 3相似的方法。
该方法涉及演习一个描述性字幕天生器，并利用字幕天生器天生的数据进行微调。
由于辅导调度，Sora能够知足各种用户要求，确保对指令中的细节进行细致入微的关注，并天生与用户需求精确匹配的***。

对付LLMs来说，遵照指令的能力已经得到广泛磋商。
这种能力使得LLMs能够阅读、理解并适当地回应描述未见任务的指令，而无需示例。
通过对LLMs进行格式化为指令的任务的稠浊微调，即辅导调度，得到并增强了提示跟随能力。
魏等人表明，经由辅导调度的LLMs在未见任务上明显优于未调度的模型。
辅导跟随的能力将LLMs转化为通用任务办理器，标志着人工智能发展历史上的一次范式转变。

DALL·E 3中的辅导跟随通过改进字幕的方法来办理，假设模型演习中文本-图像对的质量决定了却果文本到图像模型的性能。
数据的质量不佳，特殊是喧华数据和省略大量视觉信息的简短字幕普遍存在，导致许多问题，如忽略关键词和词序，以及误解用户意图。
改进字幕的方法通过利用详细而描述性的字幕对现有图像进行重新字幕化来办理这些问题。
该方法首先演习一个图像字幕天生器，即视觉措辞模型，以天生精确而描述性的图像字幕。
然后利用字幕天生器天生的描述性图像字幕对文本到图像模型进行微调。

详细来说，DALL·E 3采取比拟字幕天生器（CoCa），联合演习图像字幕天生器和具有CLIP[26]架构和措辞模型目标的文本编码器。
该图像字幕天生器包括图像编码器、用于提取措辞信息的单模态文本编码器和多模态文本解码器。
它首先在单模态图像和文本嵌入之间利用比拟丢失，然后对多模态解码器的输出进行字幕天生丢失。
终极得到的图像字幕天生器在覆盖紧张工具、周围环境、背景、文本、风格和颜色的高度详细的图像描述上进行了微调。
用于文本到图像模型的演习数据集是由图像字幕天生器天生的重新字幕化数据集和地面真实人工编写的数据的稠浊，以确保模型捕捉用户输入。
该图像字幕改进方法引入了一个潜在问题：实际用户提示与演习数据中描述性图像描述之间的不匹配。
DALL·E 3通过上采样办理了这个问题，个中LLMs用于将用户的简短提示重写为详细和冗长的指令，以确保模型在推断时吸收到的文本输入与演习中的同等。

为增强辅导跟随的能力，Sora采取了类似的字幕改进方法。
该方法通过首先演习能够为***天生详细描述的***字幕天生器来实现。
然后，将此***字幕天生器运用于演习数据中的所有***，天生高质量的（***，描述性字幕）对，用于微调Sora以提高其辅导跟随能力。
Sora的技能报告[3]没有透露有关***字幕天生器的演习细节。

鉴于***字幕天生器是***到文本模型，有许多构建它的方法。
一种直接的方法是利用CoCa架构进行***字幕天生，将***的多个帧输入图像编码器，称为VideoCoCa。
VideoCoCa建立在CoCa的根本上，重用图像编码器的预演习权重，并独立运用于采样的***帧。
天生的帧标记嵌入被展平并连接成***表示的长序列。
这些展平的帧标记然后通过比拟池化器和字幕天生丢失共同演习的天生式池化器和比拟池化器处理。
构建

对付Sora来说，遵照指令的能力是天生符合用户意图的长达一分钟的繁芜场景***的关键。
根据Sora的技能报告[3]，这种能力是通过开拓一个能够天生长而详细字幕的字幕天生器得到的，然后用于演习模型。

然而，为演习这样一个字幕天生器网络数据的过程是未知的，可能是劳动密集的，由于它可能须要***的详细描述。
此外，描述性***字幕天生器可能会产生***的主要细节的幻觉。
论文认为如何改进***字幕天生器须要进一步研究，并且对付提高文本到图像模型的辅导跟随能力至关主要。

提示工程是指在人工智能系统中设计和优化输入的过程，特殊是在天生模型的背景下，以实现特定或优化的输出。
提示工程的艺术和科学涉及以辅导模型产生最准确、干系和连贯的相应为目标来制订这些输入的办法。

文本提示工程在勾引文本到***模型（例如Sora [3]）天生视觉引人瞩目的***，同时精确知足用户规格方面至关主要。
这涉及制订详细的描述，以辅导模型有效地弥合人类创造力与人工智能实行能力之间的差距[76]。
Sora的提示涵盖了各种情景。

最近的研究（例如VoP [77]、Make-A-Video [28]和Tune-A-Video [78]）表明，提示工程利用模型的自然措辞理解能力来解码繁芜的指令，并将其呈现为连贯、生动和高质量的***阐述。
如图15所示，“一位时尚女性走在霓虹灯照亮的东京街道上……”是一个精心制作的文本提示，确保Sora天生与期望视觉良好对齐的***。
提示工程的质量取决于单词的精心选择、供应细节的详细性，以及对它们对模型输出的影响的理解。
例如，图15中的提示详细解释了场景的动作、设置、角色外不雅观，乃至是场景的期望感情和蔼氛。

图像提示充当即将天生的***内容的视觉锚点，以及角色、设置和感情等其他元素[79]。
此外，文本提示可以辅导模型通过添加运动、互动和叙事进展的层次，将这些元素动画化，使静态图像变得生动。
利用图像提示许可Sora通过利用视觉和文本信息将静态图像转化为动态的、阐述驱动的***。

在图16中，论文展示了由提示Sora与DALL·E天生的图像天生的“戴贝雷帽和高领毛衣的柴犬”、“独特的怪物家庭”、“形成‘SORA’字样的云”和“冲浪者在历史大厅内驶过潮汐波”的AI天生***示例。
这些例子展示了通过用DALL·E天生的图像提示Sora可以实现什么。

***提示也可以用于***天生，如[82， 83]所示。
最近的研究（例如Moonshot [84]和Fast-Vid2Vid [85]）表明，良好的***提示须要详细而灵巧。
这确保模型在特定目标上得到明确的辅导，例如描述特定工具和视觉主题，同时还许可终极输出中的想象变革。
例如，在***扩展任务中，提示可以指定扩展的方向（向前或向后）以及扩展的高下文或主题。
在图17(a)中，***提示指示Sora将***向后延伸到探索原始出发点之前的事宜。

在实行通过***提示进行***到***编辑时，如图17(b)所示，模型须要清楚地理解所需的转换，例如改变***的风格、设置或氛围，或者改变照明或感情等奇妙方面。
在图17(c)中，提示指示Sora在确保不同场景中的工具之间进行平滑过渡的同时连接***。

提示工程利用户能够勾引AI模型天生符合其意图的内容。
例如，文本、图像和***提示的综合利用使Sora能够创造出不仅在视觉上引人入胜，而且与用户期望和意图符合的内容。
虽然先前的提示工程研究紧张集中在LLMs和LVMs的文本和图像提示上，但论文估量对付***天生模型，***提示将引起越来越多的关注。

随着ChatGPT [89]、GPT4-V [90]和Sora [3]等前辈模型的迅速发展，这些模型的能力得到了显著增强。
这些发展为提高事情效率和推动技能进步做出了主要贡献。
然而，这些进展也引起了对这些技能潜在滥用的担忧，包括虚假***的天生[91， 92]、隐私陵犯[93]和伦理困境[94， 95]。
因此，大型模型的可信性问题引起了学术界和工业界的广泛关注，成为当代研究谈论的焦点。

2.2.6.1 安全问题

一个紧张关注的领域是模型的安全性，特殊是其对滥用和所谓的“越狱”攻击的抵抗力，用户试取利用漏洞天生被禁止或有害的内容。
例如，AutoDAN [103]是一种新颖且可阐明的基于梯度技能的对抗性攻击方法，旨在实现系统绕过。
在最近的研究中，研究职员磋商了LLMs难以抵抗越狱攻击的两个缘故原由：竞争目标和不匹配的泛化[106]。

除了文本攻击之外，视觉越狱也威胁到多模态模型的安全性（例如GPT-4V [90]和Sora [3]）。
最近的研究[107]创造，由于额外的视觉输入的连续和高维特性，大型多模态模型更随意马虎受到攻击，这代表了一个扩展的攻击面。

由于大型根本模型的演习数据集规模和演习方法（例如ChatGPT [89]和Sora [3]），这些模型的真实性须要增强，由于与幻觉等干系问题已被广泛谈论[108]。
这里的幻觉指的是模型天生的相应可能看似令人信服，但却是无根或虚假的方向[96]。
这一征象引发了关于模型输出可靠性和可信性的关键问题，须要一种全面的方法来评估和解决这个问题。

大量研究致力于从各个角度阐发幻觉问题。
这包括努力评估在不同模型和场景中幻觉的程度和性子]。
这些评估为论文供应了关于幻觉发生的办法和缘故原由的宝贵见地，为制订减少其发生的策略奠定了根本。
与此同时，大量研究致力于设计和履行减少这些大型模型中幻觉的方法。

可信性的另一个主要方面是公正性和偏见。
开拓不会强化或加剧社会偏见的模型的主要性是至关主要的。
这一重点源于认识到编码在这些模型中的偏见可能加强现有的社会不平等，导致歧视性结果。
在这个领域的研究，如Gallegos等人的事情[115]，Zhang等人的事情[116]，Liang等人的事情[117]和Friedrich等人的事情[118]，致力于风雅识别和纠正这些固有偏见。
目标是培养公道操作的模型，对待所有个体时不对种族、性别或其他敏感属性产生偏见。
这不仅涉及在数据集中检测和减轻偏见，还包括设计能够主动抵制这些偏见传播的算法[119， 120]。

在这些模型支配时，隐私保护也成为另一个基本支柱。
在数据隐私关怀逐渐升级的时期，保护用户数据的主要性前所未有。
对付大型模型的严格评估更加强调了对模型保护用户数据能力的关注，确保个人信息保持机密，不会被无意中透露。
Mireshghallah等人的研究[121]，Plant等人的研究[122]和Li等人的研究[123]都是致力于推进保护隐私的方法和技能的努力的例证。

在应对这些寻衅时，确保大型模型的可信性已经成为研究职员的紧张关注之一[124， 96， 99， 125]。
个中最主要的技能之一是模型对齐[125， 126]，它指的是确保模型的行为和输出与人类设计者的意图和道德标准同等的过程和目标。
这涉及技能的发展、其道德任务和社会代价。
在LLMs领域，强化学习与人类反馈（RLHF）的方法[127， 128]已经广泛运用于模型对齐。
这种方法将强化学习（RL）与直接人类反馈相结合，使模型更好地与人类在理解和实行任务方面的期望和标准同等。

从Sora（特殊是其技能报告）中，论文总结了一些具有启示性的创造，这些创造有望为未来的事情供应辅导：

（1）模型和外部安全的综合保护：随着模型变得更加强大，特殊是在天生内容方面，确保它们不被滥用以产生有害内容（如仇恨辞吐[129]和虚假信息[92， 91]）已成为一个严重的寻衅。
除了使模型本身对齐外，外部安全保护同样主要。
这包括内容过滤和审查机制、利用权限和访问掌握、数据隐私保护，以及提高透明度和可阐明性。
例如，OpenAI现在利用检测分类器来判断给定***是否由Sora天生[130]。
此外，还支配了文本分类器来检测潜在有害的文本输入[130]。

（2）多模态模型的安全寻衅：多模态模型，如Sora这样的文本到***模型，由于其理解和天生各种类型内容（文本、图像、***等）的能力，给安全带来了额外的繁芜性。
多模态模型可以以各种形式天生内容，增加了滥用和版权问题的办法和范围。
由于多模态模型天生的内容更加繁芜和多样，传统的内容验证和真实性方法可能不再有效。
这须要开拓新的技能和方法来识别和过滤这些模型天生的有害内容，增加了监管和管理的难度。

（3）跨学科互助的需求：确保模型的安全性不仅是技能问题，还须要跨学科互助。
为理解决这些寻衅，各个领域的专家，如法律[131]和生理学[132]，须要共同努力制订适当的规范（例如，什么是安全的，什么是不屈安的？），政策和技能办理方案。
跨学科互助的需求显著增加理解决这些问题的繁芜性。

作为Sora所展示的***扩散模型等新兴技能不断崭露锋芒，它们在各个研究领域和行业的采取正迅速加速。
这项技能的影响远远超出了大略的***创作，为从自动天生内容到繁芜决策过程的任务供应了变革性潜力。
在本节中，论文深入研究了***扩散模型当前运用的全面审查，突出了Sora不仅展示了其能力，而且还改造理解决繁芜问题的方法。
论文旨在为实际支配场景供应广泛的视角（见图18）。

2.3.1 电影

传统上，创作电影精品一贯是一个艰巨而昂贵的过程，常日须要数十年的努力、尖端设备和大量的财务投资。
然而，前辈的***天生技能的涌现标志着电影制作的新时期，个中从大略的文本输入自动产生电影的梦想正在变为现实。
研究职员通过将***天生模型扩展到电影创作的领域，进入了电影天生的领域。
MovieFactory [133]将扩散模型运用于从由ChatGPT [89]天生的详细脚本中产生电影风格***，这代表了一个重大的飞跃。
在随后的MobileVidFactory [134]中，可以仅通过用户供应的大略文本自动天生垂直移动***。
Vlogger [135]利用户有可能创作一分钟长的***日志。
这些发展，以Sora轻松天生引人入胜的电影内容的能力为代表，标志着电影制作的民主化的关键时候。
它们展示了一个未来的样子，任何人都可以成为电影制片人，大大降落了电影行业的准入门槛，并为电影制作引入了一个将传统叙事与人工智能驱动的创造力相结合的新维度。
这些技能的影响不仅在于简化。
它们承诺重塑电影制作的格局，使其在面对不断变革的不雅观众偏好和分发渠道时更加可访问和多样化。

教诲内容的领域长期以来一贯被静态资源所主导，只管这些资源具有代价，但每每无法知足当今学生多样化的需求和学习风格。
***扩散模型处于教诲革命的前沿，供应了前所未有的机会，以以显著增强学习者参与和理解为目标的办法定制和动画化教诲材料。
这些前辈的技能使教诲事情者能够将文本描述或课程大纲转化为根据个体学习者的特定风格和兴趣定制的动态、引人入胜的***内容[136， 137， 138， 139]。
此外，图像到***编辑技能[140， 141， 142]供应了将静态教诲资产转化为互动***的创新路子，从而支持各种学习偏好，并可能提高学生的参与度。
通过将这些模型整合到教诲内容创建中，教诲事情者可以制作涉及各种主题的***，使繁芜的观点对学生更加易于理解和引人入胜。
Sora在改革教诲领域的利用范例地展示了这些技能的变革潜力。
这种向个性化、动态教诲内容的转变预示着教诲进入了一个新时期。

游戏行业不断寻求推动现实感和沉浸感的方法，然而传统的游戏开拓每每受到预先渲染的环境和脚本事宜的限定。
扩散模型实时天生动态、高保真度的***内容和逼真的声音，有望战胜现有的限定，为开拓职员供应创建能够有机相应玩家行动和游戏事宜的不断发展的游戏环境的工具[143， 144]。
这可能包括天生变革的景象条件、转变的景不雅观，乃至是即时创建全新的场景，使游戏天下更加沉浸和相应。
一些方法[145， 146]还从***输入中合成逼真的冲击声音，增强游戏音频体验。

吸引玩家的无与伦比的沉浸式体验。
游戏的开拓、玩法和体验将得到创新，同时为叙事、互动和沉浸感开辟新的可能性。

只管***扩散模型具有天生能力，但其在理解和天生繁芜***序列方面表现出色，使其特殊适用于识别体内的动态非常，如早期细胞凋亡[147]、皮肤病变进展[148]和不规律的人体运动[149]，这对早期疾病检测和干预策略至关主要。
此外，像MedSegDiffV2 [150]和 [151]这样的模型利用transformer的力量以前所未有的精度分割医学图像，使临床年夜夫能够以更准确的办法定位各种成像模态中的感兴趣区域。
将Sora整合到临床实践中，不仅有望优化诊断过程，还能个性化患者照顾护士，供应基于精确医学成像剖析的定制治疗操持。
然而，这种技能整合也带来了自己一系列的寻衅，包括须要健壮的数据隐私方法和解决医疗伦理问题。

***扩散模型现在在机器人技能中发挥着重要浸染，展示了一个新时期，机器人可以天生和解释繁芜的***序列以增强感知和决策。
这些模型为机器人解锁了新的能力，使它们能够以前所未有的繁芜性和精度与环境互动并实行任务。
将Web规模的扩散模型运用于机器人技能[152]展示了利用大规模模型增强机器人视觉和理解的潜力。
潜在扩散模型被用于措辞辅导的***预测[157]，许可机器人通过在***格式中预测动作的结果来理解和实行任务。
此外，对付机器人研究的仿照环境依赖问题得到了创新性的办理，***扩散模型能够创建高度逼真的***序列[158， 159]。
这使得为机器人天生多样化的演习场景成为可能，缓解了真实天下数据稀缺性带来的限定。
论文相信，将Sora等技能整合到机器人领域将带来打破性的发展。
通过充分利用Sora的力量，机器人的未来将迎来前所未有的进步，使机器人能够无缝地导航和与环境互动。

Sora展示了一个非常出色的才能，能够精准理解并实行来自人类的繁芜指令。
这个模型善于在精心设计的场景中创建具有各种角色的详细***。
Sora的一个特殊引人瞩目的特色是其能够在确保连贯而引人入胜的阐述的同时天生长达一分钟的***。
这标志着相对付先前专注于更短***片段的考试测验而言，Sora的扩展序列展示了明显的叙事流程，并从头到尾保持了视觉同等性的显著改进。
此外，Sora通过天生更长的***序列，捕捉繁芜的动作和互动，超越了先前只能处理短片和基本图像的模型的限定。
这一进步标志着基于AI的创意工具迈出了主要的一步，利用户能够以以前无法实现的细节和繁芜度将书面故事转化为生动的***。

物理真实性的寻衅。
作为一个仿真平台，Sora表现出一系列限定，削弱了其在准确描述繁芜场景方面的效果。
最主要的是，在繁芜场景中，它对物理事理的处理不一致，导致未能准确复制特定因果关系的示例。
例如，吃掉饼干的一部分可能不会导致相应的咬痕，解释系统偶尔分开了物理合理性。
这个问题还涉及到运动的仿照，Sora天生的动作寻衅着现实的物理建模，例如物体的不自然变形或对刚性构造（如椅子）的缺点仿照，导致不真实的物理交互。
在仿照物体和角色之间繁芜互动的情形下，寻衅进一步增加，有时产生方向于诙谐的结果。

空间和韶光繁芜性。
Sora有时会误解与给定提示中的工具和角色的摆放或安排干系的指令，导致对方向（例如稠浊左和右）的困惑。
此外，在事宜的韶光准确性方面，尤其是在遵照指定的摄像机运动或序列方面，它面临着保持的寻衅。
这可能导致偏离场景的预期韶光流的情形。
在涉及大量角色或元素的繁芜场景中，Sora有时方向于插入无关的动物或人物。
这些附加物可以显著改变最初设想的构图和场景的氛围，偏离操持的阐述或视觉布局。
这个问题不仅影响模型准确重现特定场景或阐述的能力，还影响了其天生内容与用户期望和天生输出的同等性。

人机交互方面的局限性（HCI）。
只管在***天生领域显示出潜力，Sora在HCI方面面临着重大限定。
这些限定紧张表示在用户系统交互的同等性和效率方面，特殊是在对天生的内容进行详细修正或优化时。
例如，用户可能会创造很难精确指定或调度***中特定元素的呈现，如动作细节和场景转换。
此外，Sora在理解繁芜措辞指令或捕捉奇妙语义差异方面的限定可能导致***内容未能完备知足用户的期望或需求。
这些缺陷限定了Sora在***编辑和增强方面的潜力，也影响了用户体验的整体满意度。

利用限定。
关于利用的限定，OpenAI尚未为"大众访问Sora设定详细的发布日期，强调在广泛支配之前对安全性和准备性采纳谨慎的态度。
这表明Sora可能仍旧须要在安全性、隐私保护和内容审查等方面进行进一步的改进和测试。
此外，目前Sora只能天生长达一分钟的***，根据已发布的案例，大多数天生的***只有几十秒长。
这一限定限定了其在须要更长内容显示的运用中的利用，例如详细的传授教化***或深度叙事。
这一限定降落了Sora在内容创作中的灵巧性。

学术界：（1）OpenAI推出Sora标志着计策性转变，鼓励更广泛的人工智能社区深入磋商文本到***模型的研究，充分利用扩散和变压器技能。
该倡议旨在重新聚焦于直接从文本描述中创造高度繁芜和奇妙的***内容的潜力，这是一项有望彻底改变内容创作、叙事和信息共享的前沿技能。
（2）在其原始大小的数据上演习Sora的创新方法，与传统的调度大小或裁剪方法相反，为学术界供应了一个首创性的灵感。
它通过突显利用未经修正的数据集的好处，为创建更前辈的天生模型打开了新的路子。

工业界：（1）Sora当前的能力预示着***仿照技能迈向一个有希望的发展路径，强调通过文本描述显著增强物理和数字领域的现实感的潜力。
Sora通过文本描述创建高度逼真环境的前景为内容创作首创了一个有希望的未来。
这一潜力延伸到了颠覆性改变游戏开拓的领域，展示了一个未来的雏形，即沉浸式天生的天下可以以前所未有的轻松和准确性塑造。
（2）企业可以利用Sora制作能够迅速适应市场变革并创造定制营销内容的广告***。
这不仅降落了生产本钱，还增强了广告的吸引力和效果。
Sora仅通过文本描述天生高度逼真的***内容的能力可能会彻底改变品牌与受众互动的办法，许可创造出以前无法企及的引人入胜和引人瞩目的***，捕捉产品或做事实质的精髓。

社会:（1）只管利用文本到***技能取代传统电影制作的前景仍旧迢遥，但Sora和类似平台对社交媒体内容创作具有变革性潜力。
当前***长度的限定并不减弱这些工具在使高质量***制作对每个人都可访问方面的影响，使个人能够在无需昂贵设备的情形下制作引人入胜的内容。
这代表了向跨平台内容创作者赋权的重大转变，为TikTok和Reels等平台带来了一个新的创意和参与时期。
（2）编剧和创意专业职员可以利用Sora将书面剧本转化为***，帮助他们更好地展示和分享他们的创意观点，乃至制作短片和动画。
从剧本中创建详细生动的***的能力可以从根本上改变电影制作和动画的前期制作过程，让论文窥见未来的阐述者可能如何呈现、发展和完善他们的阐述。
这项技能为更动态和互动的剧本开拓形式开辟了可能性，个中的想法可以实时可视化和评估，为创造力和协作供应了强大的工具。
（3）和***机构也可以利用Sora快速天生***宣布或讲授***，使***内容更加生动和引人入胜。
这可以显著提高***宣布的覆盖范围和受众参与度。
通过供应一个可以仿照真实环境和情景的工具，Sora为视觉叙事供应了强大的办理方案，使能够通过引人入胜的***传达以前难以或昂贵制作的繁芜故事。
总之，Sora在营销、***和娱乐领域改变内容创作的潜力是巨大的。

在表格1中展示了一些与***天生任务干系的作品：

论文标题：Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models

论文链接：https://arxiv.org/pdf/2402.17177.pdf