FluidNexus：突破性框架，单视频重建三维流体！结合视频生成与物理模拟，实现动态新视角合成与未来预测。
原文标题：【CVPR2025】FluidNexus: 基于单个视频的三维流体重建与预测
原文作者：数据派THU
冷月清谈：
FluidNexus是一个创新的框架，它结合了视频生成与物理模拟，旨在从单个视频中重建和预测三维流体的外观和速度。该框架通过合成多个新视角视频作为重建参考，解决了传统方法需要多视角视频的问题。FluidNexus包含两个关键组件：新视角视频合成器，它结合了逐帧视角合成与视频扩散精炼，以生成逼真的视频；物理融合的粒子表示，它将可微分模拟与渲染相结合，从而同时支持三维流体的重建与预测。研究人员还收集了包含纹理化背景和物体交互的真实流体数据集，用于评估该方法。FluidNexus的出现，使得从单个流体视频中实现动态新视角合成、未来预测以及交互模拟成为可能。
怜星夜思：
1、FluidNexus通过合成新视角视频解决单视角重建问题，这种方法的局限性可能是什么？例如，对于极端遮挡或者非常复杂的流体运动，效果会如何？
2、FluidNexus中提到的“物理融合的粒子表示”是如何将可微分模拟与渲染相结合的？这种结合方式相比传统方法有哪些优势？
3、研究人员收集了真实流体数据集来评估FluidNexus，你认为这些数据集应该包含哪些关键特征才能更全面地评估该方法的性能？
2、FluidNexus中提到的“物理融合的粒子表示”是如何将可微分模拟与渲染相结合的？这种结合方式相比传统方法有哪些优势？
3、研究人员收集了真实流体数据集来评估FluidNexus，你认为这些数据集应该包含哪些关键特征才能更全面地评估该方法的性能？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们提出了 FluidNexus，一个将视频生成与物理模拟相结合的新型框架。
我们研究如何从单个视频中重建和预测三维流体的外观和速度。当前的方法通常需要多视角视频来进行流体重建。为了解决这一问题，我们提出了 FluidNexus，一个将视频生成与物理模拟相结合的新型框架。我们的核心思想是合成多个新视角视频，以作为重建的参考。
FluidNexus 由两个关键组件组成：
-
新视角视频合成器，该模块结合逐帧视角合成与视频扩散精炼（video diffusion refinement），以生成逼真的视频；
-
物理融合的粒子表示，该模块将可微分模拟（differentiable simulation）与渲染相结合，从而同时支持三维流体的重建与预测。
为了评估我们的方法，我们收集了两个全新的真实流体数据集，其中包含纹理化背景和物体交互。FluidNexus 使得从单个流体视频中实现动态新视角合成、未来预测以及交互模拟成为可能。
项目网站：https://yuegao.me/FluidNexus。
