2024 年 3 月 18 日 下午 5:22

image-20240319173555720

======= A masculine presenting Caucasian person with short brown hair and glasses holds a pencil over a piece of paper to write beside a monitor displaying data and a bust of a human skull and neck with exposed red brain

2e020592566c86038ed0487543d0a978e947b16f

图片来源：VentureBeat 使用 Stable Diffusion XL 制作

3 月 27 日与波士顿的领导人一起度过一个独特的社交之夜、见解和对话。在此请求邀请。

随着 Stable Video 3D (SV3D) 的发布，Stability AI 今天正在扩大其生成式 AI 模型组合。

顾名思义，新模型是一款用于渲染 3D 视频的新一代 AI 视频工具。 Stability AI 一直在开发视频功能，其稳定视频技术使用户能够根据图像或文本提示生成短视频。 SV3D 建立在 Stability AI 之前的稳定视频扩散模型的基础上，对其进行了调整以适应新颖的视图合成和 3D 生成的任务。

借助 SV3D，Stability AI 为其视频生成模型增添了新的深度，能够从单个输入图像创建和转换多视图 3D 网格。

SV3D 现已提供 Stability AI 专业会员资格用于商业用途（年收入低于 100 万美元的创作者和开发者每月 20 美元）。出于非商业目的，用户可以从 Hugging Face 下载模型权重。

 VB活动

人工智能影响之旅 - 亚特兰大

继续我们的巡演，我们将前往亚特兰大参加 4 月 10 日的 AI Impact Tour 站。这项仅限受邀人士参加的独家活动与 Microsoft 合作，将讨论生成式 AI 如何改变安全劳动力。

这是我快速生成的示例视频。正如您将看到的，尽管存在一些轻微的扭曲，但视频中所有物体的形状仍然明显连贯且坚固，即使摄像机围绕它们旋转也是如此。

游戏创作、电子商务被列为目标用例

“通过调整我们的 Stable Video Diffusion 图像到视频扩散模型，并添加相机路径调节，Stable Video 3D 能够生成对象的多视图视频，”该公司在详细介绍新模型的博客文章中写道。

Stability AI 首席研究员 Varun Jampani 告诉 VentureBeat：“Stable Video 3D 是生成 3D 资产的宝贵工具，尤其是在游戏领域。”

“此外，它还可以制作 360 度轨道视频，这在电子商务中很有用，可以提供更加身临其境和互动的购物体验。”

从稳定的 Zero123 到 SV3D

Stability AI 最著名的可能是其 Stable Diffusion 文本到图像生成 AI 模型，其中包括 SDXL 和 Stable Diffusion 3.0，后者仍处于早期研究预览阶段。 Stable Diffusion 1.5 是一种开源图像生成模型，构成了许多其他 AI 图像生成和视频产品的基础，包括 Runway 和 Leonardo AI。

早在 2023 年 12 月，就发布了稳定版 Zero123 模型，提供了构建 3D 图像的新功能。当时，Stability AI 创始人兼首席执行官 Emad Mostaque 告诉 VentureBeat，Stable Zero123 将是一系列 3D 模型中的第一个。

SV3D 技术采用与 Stable Zero123 不同的 3D 生成方法。

“Stable Video 3D 可以被视为我们之前产品 Stable Zero123 的继任者和改进，”Jampani 说。 “Stable Video 3D 是一种新颖的视图合成网络，它将单个图像作为输入，并输出新颖的视图图像。 

Jampani 解释说，Stable Zero123 基于稳定扩散，一次输出一张图像。 Stable Video 3D 基于 Stable Video Diffusion 模型，可同时输出多个新颖的视图。

稳定视频 3D 提供质量更高的新颖视图，因此有助于从单个图像生成更好的 3D 网格。

从任何给定角度观察的连贯视图

在一篇研究论文中，Stability AI 研究人员详细介绍了一些使用潜在视频扩散从单个图像实现 3D 的技术。

报告指出：“最近关于 3D 生成的工作提出了调整 2D 生成模型以实现新视图合成 (NVS) 和 3D 优化的技术。”

“然而，由于视图有限或 NVS 不一致，这些方法存在一些缺点，从而影响 3D 对象生成的性能。”

SV3D 的主要优势之一在于它能够生成对象的一致新颖的多视图图像。据 Stability AI 称，SV3D 可从任何给定角度提供连贯的视图。

关于 SV3D 的研究论文强调了这一进步，并指出：“。 …与以前经常解决视角有限和输出不一致的方法不同，稳定视频 3D 能够从任何给定角度提供连贯的视图，并具有熟练的概括能力。”

除了新颖的视图合成功能外，SV3D 还致力于优化 3D 网格。通过利用其多视图一致性，SV3D 可以直接从其生成的新颖视图生成高质量的 3D 网格。

Stability AI 在其公告中写道：“Stable Video 3D 利用其多视图一致性来优化 3D 神经辐射场 (NeRF) 和网格表示，以提高直接从新颖视图生成的 3D 网格的质量。”

两个强大的变体：SV3D_u 和 SV3D_pSV3D 有两种变体，每种变体都针对特定用例而设计。

SV3D_u 基于单个图像输入生成轨道视频，无需相机调节。

生成式人工智能中的相机调节是指使用附加输入（通常以图像或一组与相机视角或位置相关的参数的形式）来指导新图像或内容的生成过程的技术。

另一方面，SV3D_p 通过容纳单个图像和轨道视图来扩展此功能，允许用户沿着指定的摄像机路径创建 3D 视频。

VentureBeat 的使命是成为技术决策者获取有关变革性企业技术和交易知识的数字城镇广场。了解我们的简报。