Wonderland模型，仅需单图，即可快速生成高质量、大范围3D场景，为视频和3D创作带来新可能。
原文标题：单张图像探索3D奇境：Wonderland让高质量3D场景生成更高效
原文作者：机器之心
冷月清谈：
其核心技术包括：
1. 向视频扩散模型嵌入3D意识：通过引入相机位姿控制，使模型理解空间关系，将单张图像扩展至多视角视频。
2. 双分支相机控制机制：利用ControlNet和LoRA模块精确控制相机视角变化，提升视频质量和几何一致性。
3. 大规模latent-based 3D重建模型（LaLRM）：利用生成的视频latent直接重构3D场景，显著降低了时间和资源成本。
Wonderland在多个数据集上表现优异，超越了现有方法，尤其在视角控制精度、场景生成质量、3D重建一致性和生成效率方面。相较于其他模型，Wonderland生成完整3D场景的速度提升显著。该技术在多个领域，如建筑设计、虚拟现实和游戏开发等，都具有广阔的应用前景。
怜星夜思：
2、Wonderland模型的输入只是一张图片，那么它如何理解图片中的深度信息和空间关系？
3、Wonderland模型的出现会对哪些行业产生影响？除了文中提到的那些，还有什么其他的应用场景？
原文内容
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
本文的主要作者来自多伦多大学、Snap Inc.和UCLA的研究团队。第一作者为多伦多大学博士生梁汉文和Snap Inc.的曹军力，他们专注于视频生成以及3D/4D场景生成与重建的研究，致力于创造更加真实、高质量的3D和4D场景。团队成员期待与更多志同道合的研究者们交流与合作。
-
论文地址: https://arxiv.org/abs/2412.12091
-
项目主页：https://snap-research.github.io/wonderland/
-
向视频扩散模型中嵌入 3D 意识：通过向视频扩散模型中引入相机位姿控制，Wonderland 在视频 latent 空间中嵌入了场景的多视角信息，并能保证 3D 一致性。视频生成模型在相机运动轨迹的精准控制下，将单张图像扩展为包含丰富空间关系的多视角视频。
-
双分支相机控制机制：利用 ControlNet 和 LoRA 模块，Wonderland 实现了在视频生成过程中对于丰富的相机视角变化的精确控制，显著提升了多视角生成的视频质量、几何一致性和静态特征。
-
大规模 latent-based 3D 重建模型（LaLRM）：Wonderland 创新地引入了 3D 重建模型 LaLRM，利用视频生成模型生成的 latent 直接重构 3D 场景（feed-forward reconstruction）。重建模型的训练采用了高效的逐步训练策略，将视频 latent 空间中的信息转化为 3D 高斯点分布（3D Gaussian Splatting, 3DGS），显著降低了内存需求和重建时间成本。凭借这种设计，LaLRM 能够有效地将生成和重建任务对齐，同时在图像空间与三维空间之间建立了桥梁，实现了更加高效且一致的广阔 3D 场景构建。
(以下展示均为从建立的3DGS Rendering出的结果)
-
双分支相机条件策略：通过引入双分支相机条件控制策略，视频扩散模型能够生成 3D-geometry 一致的多视图场景捕捉，且相较于现有方法达到了更精确的姿态控制。
-
Zero-shot 3D 场景生成：在单图像输入的前提下，Wonderland 可进行高效的 3D 场景前向重建，在多个基准数据集（例如 RealEstate10K、DL3DV 和 Tanks-and-Temples）上的 3D 场景重建质量均优于现有方法。
-
广覆盖场景生成能力：与过去的 3D 前向重建通常受限于小视角范围或者物体级别的重建不同，Wonderland 能够高效生成广范围的复杂场景。其生成的 3D 场景不仅具备高度的几何一致性，还具有很强的泛化性，能处理 out-of-domain 的场景。
-
超高效率：在单张图像输入的问题设定下，利用单张 A100，Wonderland 仅需约 5 分钟即可生成完整的 3D 场景。这一速度相比需要 16 分钟的 Cat3D 提升了 3.2 倍，相较需要 3 小时的 ZeroNVS 更是提升了 36 倍。