GEN3C：基于3D缓存引导的世界一致性视频生成模型，实现精确相机控制

AI资讯
1

NVIDIA提出GEN3C，一种基于3D缓存引导的视频生成模型，实现精确相机控制和时间3D一致性，并在新视图合成中取得SOTA结果。项目地址：research.nvidia.com/labs/toronto-ai/GEN3C/

原文标题：【CVPR2025】GEN3C：基于3D信息的世界一致性视频生成与精确相机控制

原文作者：数据派THU

冷月清谈：

GEN3C是一种新型的生成视频模型，它通过利用3D缓存来引导视频生成，从而实现更精确的相机控制和时间3D一致性。与现有方法不同，GEN3C通过预测种子图像或先前生成帧的逐像素深度来获得点云，并在生成下一帧时，以用户提供的新相机轨迹对3D缓存的2D渲染进行条件生成。这种方法避免了模型记忆先前生成内容或从相机姿态推断图像结构的需求，从而能够更专注于生成先前未观察到的区域，并将场景状态推进到下一帧。实验结果表明，GEN3C在相机控制精度和稀疏视角新视图合成方面均优于现有技术，即使在驾驶场景和单目动态视频等复杂场景中也表现出色。

怜星夜思：

1、GEN3C通过3D缓存来引导视频生成，这个3D缓存具体是如何构建和更新的？它包含了哪些信息，又如何利用这些信息来提升视频生成质量和一致性的？
2、文章提到GEN3C在驾驶场景和单目动态视频等具有挑战性的设置中表现出色，那么它在哪些方面解决了这些场景的特殊难题？例如，如何处理驾驶场景中快速变化的视角和复杂的遮挡关系？单目视频中又如何解决深度信息的缺失问题？
3、GEN3C模型的核心创新点在于利用3D缓存进行引导，这种思路对未来的视频生成领域可能带来哪些影响？例如，是否可以应用于其他领域，如游戏开发、虚拟现实等？又可能面临哪些挑战和局限性？

原文内容

来源：专知
本文约1000字，建议阅读5分钟
我们的结果表明，与现有工作相比，GEN3C实现了更精确的相机控制，并在稀疏视角新视图合成中取得了最先进的结果，即使在驾驶场景和单目动态视频等具有挑战性的设置中也是如此。


我们提出了GEN3C，一种具有精确相机控制和时间3D一致性的生成视频模型。现有的视频模型已经能够生成逼真的视频，但它们往往利用较少的3D信息，导致不一致性，例如物体突然出现或消失。即使实现了相机控制，也不精确，因为相机参数仅仅是神经网络的输入，网络必须推断视频如何依赖于相机。相比之下，GEN3C通过3D缓存进行引导：通过预测种子图像或先前生成帧的逐像素深度获得的点云。在生成下一帧时，GEN3C以用户提供的新相机轨迹对3D缓存的2D渲染进行条件生成。
至关重要的是，这意味着GEN3C既不需要记住它先前生成的内容，也不需要从相机姿态推断图像结构。相反，模型可以将其生成能力集中在先前未观察到的区域，并将场景状态推进到下一帧。我们的结果表明，与现有工作相比，GEN3C实现了更精确的相机控制，并在稀疏视角新视图合成中取得了最先进的结果，即使在驾驶场景和单目动态视频等具有挑战性的设置中也是如此。最佳效果请观看视频。访问我们的网页：https://research.nvidia.com/labs/toronto-ai/GEN3C/。


关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU


2

问到点子上了！驾驶场景和单目视频确实是视频生成领域的两大难题。我认为GEN3C在驾驶场景下的优势在于其3D缓存机制能够较好地处理快速变化的视角。因为3D缓存包含了场景的3D信息，所以即使视角快速变化，模型也能够根据3D缓存快速地恢复场景的结构，从而生成稳定的视频。而对于复杂的遮挡关系，我认为GEN3C可能通过深度估计和3D重建等技术来推断被遮挡区域的信息，从而避免生成错误的画面。至于单目视频，由于缺乏深度信息，GEN3C可能需要依赖更强的先验知识和深度学习模型来估计深度，并尽可能地保证生成视频的一致性。

3

谢邀，人在英伟达，刚下飞机。GEN3C的3D缓存类似于一个简化的3D重建，但更侧重于服务视频生成。你可以把它想象成一个不断刷新的3D地图，每次生成新画面，都会根据前一帧的信息和新的相机位姿，对这个地图进行更新。这样一来，模型就不用每次都从零开始理解场景，而是可以像开了上帝视角一样，知道整个场景的结构，从而生成更连贯的视频。至于具体的技术细节嘛，涉及公司机密，不方便透露太多，嘿嘿~

4

从学术角度来说，GEN3C的3D缓存构建和更新涉及到深度估计、点云处理和渲染等多个步骤。深度估计可以使用现有的深度学习模型来实现，例如DPT或者MiDaS。点云处理可能包括点云滤波、配准和融合等操作，以去除噪声和提高点云的质量。渲染可以使用传统的计算机图形学技术，例如光栅化或者光线追踪。3D缓存中包含了场景的几何信息和纹理信息，这些信息可以被用来约束视频的生成过程，从而提高生成视频的真实感和一致性。更具体的技术细节还需要参考论文原文。

5

GEN3C的3D缓存引导思路绝对是视频生成领域的一大进步！我认为它可以广泛应用于游戏开发和虚拟现实等领域。在游戏开发中，可以利用GEN3C生成更逼真的游戏场景和角色动画，从而提高游戏的沉浸感。在虚拟现实中，可以利用GEN3C生成交互式的虚拟环境，让用户可以自由地探索和互动。当然，这种思路也面临着一些挑战，例如如何构建更准确和高效的3D缓存，如何处理大规模的场景和复杂的交互等。未来，我相信随着技术的不断发展，这些挑战都将被克服，3D缓存引导思路将在视频生成领域发挥更大的作用。

6

从技术角度分析，GEN3C在驾驶场景和单目视频中的成功可能归功于以下几个方面：首先，它使用了更先进的深度估计模型，能够更准确地估计场景的深度信息。其次，它可能使用了更鲁棒的3D重建算法，能够更好地处理噪声和遮挡。最后，它可能使用了更有效的图像生成模型，能够根据已有的信息生成更逼真的图像。此外，GEN3C可能还使用了其他一些技巧，例如数据增强、对抗训练等，来提高模型的性能。具体的实现细节需要参考论文原文。

7

GEN3C在这些复杂场景下的表现，我觉得关键在于它“扬长避短”。驾驶场景和单目视频最大的挑战是缺少足够的信息（比如深度信息），导致模型难以准确”理解”场景的3D结构。GEN3C 通过3D缓存，相当于给模型提供了一个”虚拟现实“的初始版本，让模型在这个基础上进行补充和完善，而不是完全从零开始。这就像给你一张草图，让你更容易地完成一幅画一样。当然，具体的技术细节肯定更复杂，但核心思路应该是类似的。

8

这个问题问到了GEN3C的核心！我的理解是，3D缓存的构建首先依赖于对种子图像或者之前生成的帧进行深度估计，得到点云数据。这个点云数据就构成了3D缓存的基础。在视频生成的过程中，每一帧都会根据新的相机轨迹对这个3D缓存进行2D渲染，这个渲染过程可以看作是对3D缓存的一次“观察”。而3D缓存的更新，我认为是通过不断地将新生成的帧的深度信息融合到现有的3D缓存中来实现的。这样，3D缓存就能够逐渐地记住整个场景的3D结构，从而保证视频生成在时间上的一致性。至于如何提升视频质量，我想是因为有了3D信息的约束，模型可以更好地理解场景的几何结构，避免生成一些不符合物理规律的画面。

9

我觉得GEN3C的思路有点像给AI装了个“空间感受器”。以前的AI生成视频，就像让一个蒙着眼睛的人画画，只能靠感觉。现在有了3D缓存，就像给它开了天眼，能看到大概的轮廓，画起来自然更像样。这种思路推广到其他领域，比如游戏开发，就能让游戏世界更真实、更生动。但在实际应用中，挑战也不少，比如3D缓存的精度、更新速度，还有如何处理复杂的物理交互等等。不过，我相信随着算力的提升和算法的进步，这些问题都会迎刃而解。

10

GEN3C的核心在于将3D信息融入到视频生成过程中，这符合人工智能发展的趋势。未来，我们可以看到更多类似的尝试，例如将物理引擎、几何约束等融入到视频生成模型中，从而提高生成视频的真实感和可控性。此外，GEN3C的思路也可以应用于其他领域，例如3D建模、机器人导航等。当然，这种思路也面临着一些挑战，例如如何有效地利用3D信息，如何处理噪声和误差等。未来，我们需要进一步研究相关的理论和算法，才能充分发挥3D信息在视频生成中的作用。