DropGaussian:解决稀疏视角下3D高斯溅射过拟合的新策略

DropGaussian通过随机删除部分高斯分布,有效解决了稀疏视角下3D高斯溅射的过拟合问题,提升新视角合成质量。

原文标题:【CVPR2025】DropGaussian: 稀视角高斯溅射的结构正则化

原文作者:数据派THU

冷月清谈:

本文介绍了一种名为DropGaussian的全新方法,旨在解决3D高斯溅射(3DGS)在稀疏视角下容易发生的过拟合问题。该方法无需引入任何先验信息,仅通过对3DGS进行简单修改——在训练过程中随机删除部分高斯分布,从而使剩余高斯分布获得更大的梯度和更高的可见性,进而提升它们在稀疏视角渲染优化过程中的贡献。实验结果表明,DropGaussian能够有效缓解过拟合,显著提高新视角的合成质量,且性能可与现有基于先验的3DGS方法相媲美,同时避免了额外的复杂性。

怜星夜思:

1、DropGaussian通过随机删除高斯分布来优化渲染,这个思路挺有意思的。那么,有没有可能根据某些指标(例如高斯分布的梯度大小、不透明度等)来**选择性**地删除高斯分布,而不是完全随机删除呢?这样会不会效果更好?
2、文章提到DropGaussian无需任何先验信息,就能达到与基于先验的方法相媲美的效果。这是否意味着在3DGS领域,**先验知识并没有想象中那么重要**?或者说,DropGaussian这种“less is more”的思路在其他领域是否也有借鉴意义?
3、DropGaussian主要针对稀疏视角下的过拟合问题。那么,如果输入视角的数量足够多,DropGaussian是否还有提升空间?或者说,**在密集视角下,DropGaussian可能会带来哪些负面影响**?

原文内容

来源:专知

本文约1000字,建议阅读5分钟

本文提出了一种无先验的方法——DropGaussian,通过对 3D 高斯溅射进行简单的改动。

最近,3D 高斯溅射(3DGS)因其快速的性能和优秀的图像质量在新视角合成领域引起了广泛关注。然而,在稀视角设置下(例如,三视角输入),3DGS 经常面临过拟合训练视角的问题,这显著降低了新视角图像的视觉质量。许多现有方法通过使用强先验来解决这一问题,如 2D 生成的上下文信息和外部深度信号。与此不同,本文提出了一种无先验的方法——DropGaussian,通过对 3D 高斯溅射进行简单的改动。具体而言,我们在训练过程中以类似于 dropout 的方式随机删除部分高斯分布,这使得未被删除的高斯分布能够拥有更大的梯度,同时提高它们的可见性。这使得剩余的高斯分布在稀输入视角的渲染优化过程中能做出更多贡献。如此简单的操作有效地缓解了过拟合问题,并提升了新视角合成的质量。通过将 DropGaussian 简单应用于原始的 3DGS 框架,我们能够在基准数据集的稀视角设置下,获得与现有基于先验的 3DGS 方法相媲美的性能,而无需额外的复杂性。代码和模型可通过以下链接公开获取:https://github.com/DCVL-3D/DropGaussian release。


关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU


可以考虑自适应地调整DropGaussian的删除比例。在稀疏视角下,增加删除比例以提高正则化效果;在密集视角下,降低删除比例甚至完全关闭DropGaussian。这需要设计一个合适的策略来判断当前视角的密度。

在密集视角下,过拟合的风险会降低,DropGaussian可能带来的提升也会减小。甚至可能因为随机删除高斯分布而损失一些细节信息,导致性能下降。就像是本来拼图块就足够了,你非要扔掉几个,反而更难拼完整。

这个问题提得好!完全随机删除可能有点“一刀切”,确实可以考虑引入选择机制。比如,我们可以设置一个阈值,只删除梯度小于阈值或者不透明度过低的高斯分布。这样可能可以更精准地去除对渲染贡献较小的高斯分布,提高优化效率。不过,引入选择机制也可能增加计算复杂度,需要权衡一下。

选择性删除听起来更智能!可以从信息论的角度考虑,删除那些信息冗余度高的高斯分布。例如,如果两个高斯分布非常接近且参数相似,那么保留其中一个可能就足够了。 关键在于如何设计这个“选择”的策略,需要大量的实验来验证。

“Less is more”的思路在机器学习领域很常见,尤其是在模型压缩和轻量化方面。比如,剪枝、量化等技术都是通过减少模型的参数量来提高效率,同时尽量保持性能。DropGaussian可以看作是这种思路在3DGS领域的一种体现。

我觉得不能完全说先验不重要,只能说在特定情况下,巧妙的设计可以弱化对先验的依赖。DropGaussian的成功可能在于它找到了一个更有效的正则化方式,避免了过拟合。但先验知识在很多情况下仍然很有用,例如可以加速训练、提高鲁棒性等。

与其直接删除,不如考虑给不同的高斯分布赋予不同的“权重”,在反向传播的时候,减小那些“不太重要”的高斯分布的梯度。这有点像注意力机制的思想,让模型自动学习哪些高斯分布更重要。当然,具体实现起来可能要涉及到loss function的设计。

我猜测,在密集视角下,DropGaussian可能会导致模型训练不稳定。因为随机删除高斯分布会引入额外的噪声,而密集视角本身已经包含了足够的信息,这些噪声可能会干扰模型的收敛。

从哲学角度看,这体现了奥卡姆剃刀原则:如无必要,勿增实体。在解决问题时,应该尽量选择最简单的方案。当然,简洁并不意味着简陋,DropGaussian的背后还是有很多巧妙的设计的。