ECCV 2024：解耦生成与聚合打造更鲁棒的三平面辐射场

AI资讯
1

ECCV 2024：解耦生成与聚合提升三平面辐射场鲁棒性，实现高质量新视图合成。

原文标题：【ECCV2024】解耦生成与聚合用于鲁棒辐射场

原文作者：数据派THU

冷月清谈：

三平面辐射场因其高效的3D场景解耦能力、高质量表示和低计算成本而备受关注。然而，精确的相机姿态输入是其一大难题。本研究针对现有方法在联合估计相机姿态和神经辐射场时容易陷入局部最小值的问题，提出了一种解耦三平面生成模块。该模块通过引入全局特征上下文和光滑性来减少局部更新带来的误差。此外，研究人员还提出了解耦平面聚合，以避免在相机姿态更新过程中出现特征纠缠。为了减少三平面生成器带来的隐性约束，他们还引入了一种两阶段热启动训练策略。实验结果表明，该方法在噪声或未知相机姿态的新视图合成中取得了优异的性能，并显著提升了优化效率。

怜星夜思：

1、文章中提到的“全局特征上下文”具体指什么？如何在三平面辐射场中实现？
2、相比于其他的辐射场表示方法，三平面表示方法的优缺点是什么？在实际应用中该如何选择？
3、文章提出的两阶段热启动训练策略是如何实现的？它对模型的性能有什么影响？

原文内容

图片 
来源：专知
本文为论文介绍，建议阅读5分钟
我们提出了解耦三平面生成模块，以引入全局特征上下文和光滑性，减轻由局部更新引起的误差。


图片
图片1059×440 37.8 KB

摘要：基于三平面的辐射场在近年来受到关注，因其能够有效解耦三维场景，同时提供高质量的表示和低计算成本。该方法的一项关键要求是精确输入相机姿态。然而，由于三平面的局部更新特性，类似于先前的联合姿态-神经辐射场优化工作的联合估计容易导致局部最小值。为此，我们提出了解耦三平面生成模块，以引入全局特征上下文和光滑性，减轻由局部更新引起的误差。随后，我们提出了解耦平面聚合，以缓解在相机姿态更新过程中由于常见三平面特征聚合而造成的纠缠。此外，我们引入了一种两阶段的热启动训练策略，以减少由三平面生成器引起的隐性约束。定量和定性结果表明，我们提出的方法在具有噪声或未知相机姿态的新视图合成中实现了最先进的性能，同时优化的收敛效率也得到了提升。项目页面：https://gaohchen.github.io/DiGARR/。

关键词：NeRF · 解耦 · 姿态估计 · 新视图合成

图片
图片1080×562 67.2 KB



关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU


2

三平面表示方法的优点在于计算效率高，内存占用小，并且能够有效解耦三维场景，方便进行编辑和操作。缺点可能在于表达能力不如一些更复杂的表示方法，比如神经隐式表示，尤其是在处理一些细节复杂的场景时。实际应用中，需要根据具体的场景和需求来选择，如果对实时性和效率要求较高，三平面表示方法是一个不错的选择。

3

我猜想“全局特征上下文”应该类似于图像中的全局池化操作，将所有平面的信息汇聚成一个全局向量。这样，即使局部区域的信息不完整，也可以利用全局信息进行补充，从而提高模型的鲁棒性，就像我们看图，就算遮住一部分，也能猜到个大概。

4

全局特征上下文应该包含场景的整体布局、光照、材质等信息，它可以帮助模型更好地理解场景的结构以及各个部分之间的关系。至于具体实现，论文中提到的解耦三平面生成模块应该就是核心，但我感觉细节还需要仔细研读源码。

5

关于两阶段热启动训练策略，我推测第一阶段可能是先训练三平面生成器，使其能够生成较为合理的初始三平面，第二阶段再联合优化相机姿态和辐射场。这样做的好处是避免了初始阶段的随机性对训练造成的影响，从而加快收敛速度并提高最终的性能。

6

关于“全局特征上下文”，我理解的是它指的是一种包含了整个场景信息而非仅限于局部区域信息的特征表示。在三平面辐射场中，它可能通过某种全局特征编码器实现，例如将所有平面的特征整合到一个全局特征向量中，然后将这个全局特征向量再分发给各个平面，这样每个平面在生成局部特征时就能考虑到全局信息了。