Scene Splatter：基于动量机制视频扩散模型的单图像三维场景生成新范式

AI资讯
1

提出Scene Splatter，一种基于动量机制视频扩散模型，从单张图像生成三维场景。通过级联动量机制和全局高斯表示微调，实现高保真度和一致性的多视角视频生成，突破视频长度限制。

原文标题：【CVPR2025】场景飞溅：基于视频扩散模型的单图像动势三维场景生成

原文作者：数据派THU

冷月清谈：

本文提出了一种名为Scene Splatter的新方法，它是一种基于动量机制的视频扩散模型，用于从单张图像生成通用的三维场景。该方法通过构造噪声样本作为“动量”来增强视频细节并保持场景一致性。为了进一步提升未知区域的信息恢复，该方法引入一致性较强的视频作为像素级动量，并与不含动量的视频融合。通过级联式动量机制，引导视频扩散模型生成具有高保真度与一致性的多视角新视频。此外，通过对全局高斯表示进行微调，结合增强后的帧进行新帧渲染和动量更新，突破了传统方法在视频长度上的限制，实现了三维场景的逐步恢复。实验结果表明，该方法在生成高质量且一致的场景方面表现出良好的泛化能力与领先性能。

怜星夜思：

1、Scene Splatter方法中提到的“动量”具体指的是什么？它在增强视频细节和保持场景一致性方面是如何发挥作用的？
2、文中提到的“全局高斯表示”微调在新帧渲染和动量更新中起到了什么作用？为什么这种方式能够突破传统方法在视频长度上的限制？
3、Scene Splatter方法在哪些场景下具有应用潜力？你认为它在未来的发展方向会是什么？

原文内容

来源：专知
本文约1000字，建议阅读5分钟
我们进一步引入上述一致性较强的视频作为像素级动量，将其与不含动量直接生成的视频融合，以更好地恢复未知区域的信息。



在本文中，我们提出了一种名为 Scene Splatter 的新范式，该方法基于动量机制的视频扩散模型，旨在从单张图像生成通用三维场景。现有方法通常利用视频生成模型合成新视角，但普遍存在视频长度受限与场景一致性差的问题，进而在后续重建过程中容易出现伪影与失真。
为了解决这一问题，我们从原始特征中构造噪声样本，作为“动量”以增强视频细节并保持场景一致性。然而，在感知范围覆盖已知与未知区域的潜在特征（latent features）中，这种基于潜在层的动量会限制扩散模型在未知区域的生成能力。
因此，我们进一步引入上述一致性较强的视频作为像素级动量，将其与不含动量直接生成的视频融合，以更好地恢复未知区域的信息。通过这种级联式动量机制，我们的方法能够引导视频扩散模型生成具有高保真度与一致性的多视角新视频。
此外，我们对全局高斯表示进行微调，结合增强后的帧进行新帧渲染，并用于下一步的动量更新。借助这种方式，我们可实现对三维场景的逐步恢复，突破传统方法在视频长度上的限制。
大量实验结果表明，我们的方法在生成高质量且一致的场景方面表现出良好的泛化能力与领先性能。



关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU


2

这个全局高斯表示听起来很高大上！感觉就像是给AI建立了一个全局地图，然后不断地用新的视频帧去更新这个地图。这样即使视频很长，AI也知道自己在哪里，应该生成什么样的画面。厉害厉害！

3

这个问题问得好！我理解的“动量”在这里指的是从原始特征中构造的噪声样本，可以理解为一种对视频生成过程的“推动力”。它通过影响扩散模型，促使其在生成新视角时，更多地保留原始图像的特征信息，从而增强视频细节并保持场景的一致性。这就像给模型一个“记忆”，让它在生成过程中不至于偏离太远。

4

个人理解，全局高斯表示提供了一个对三维场景的全局描述，通过微调可以不断优化这个描述，使其更准确。结合增强后的帧进行渲染，相当于不断地从新视角观察并修正三维场景的表示，最后再用于动量更新，感觉是一个自反馈的迭代过程。这样，每一帧都建立在对场景更精确的理解上，使其可以逐步恢复三维场景，不再依赖于有限的视频长度。

5

Scene Splatter感觉在游戏开发和虚拟现实领域很有潜力啊！可以用单张图片快速生成一个可交互的三维场景，大大降低了开发成本。未来的发展方向我觉得可以是在真实感和细节上更进一步，比如加入光照、材质等更真实的物理属性。

6

我觉得这个技术简直是短视频创作神器啊！以后只需要一张照片，就能自动生成各种炫酷的3D动画效果，想想都觉得有趣。未来可以结合AI绘画等技术，实现更个性化和创意化的视频生成。期待！

7

这个“动量”的概念确实挺有意思的！感觉就像是给AI加了个“惯性”，避免它天马行空地乱生成东西，保证生成的视频前后连贯。不过，这个“动量”具体是怎么计算和应用的，还是有点晕乎乎的，得好好研究下。

8

我认为Scene Splatter在机器人视觉领域也有应用前景。如果机器人能够根据单张图像快速生成周围环境的三维模型，就可以更好地进行导航和物体识别。未来可以结合SLAM等技术，实现更鲁棒和精确的三维场景重建。

9

从技术角度来看，全局高斯表示提供了一种紧凑且可微的三维场景表达方式。通过微调可以有效地将新视角的信息融入到全局表示中，从而避免了传统方法中因视频长度限制而导致的信息丢失。这种方法本质上是将视频生成问题转化为一个持续优化的过程，从而实现了对任意长度视频的生成。有点类似SLAM里后端优化的味道。

10

从技术角度来说，这里的“动量”类似于物理学中的动量概念，它携带了之前帧的信息，并将其传递到后续帧的生成过程中。通过将噪声样本作为动量注入扩散模型，可以有效地缓解视频生成过程中常见的“信息丢失”问题，从而提高生成视频的质量和一致性。当然，具体实现细节肯定更复杂，需要深入研究论文才能完全理解。