提出LaGa模型，解决3D语言高斯溅射中视角依赖语义问题。通过分解3D场景为物体并建立跨视角语义关联，显著提升场景理解能力，mIoU提升+18.7%。
原文标题：【ICML2025】解决3D语言高斯溅射中的视角依赖语义
原文作者：数据派THU
冷月清谈：
3D高斯溅射（3D-GS）在3D场景重建方面表现出色，但应用于语言驱动的场景理解时，忽略了视角依赖语义问题，即同一3D物体在不同视角下可能呈现不同的语义特征。为解决此问题，研究者提出了LaGa（语言高斯），它通过将3D场景分解为物体，建立跨视角的语义关联，并通过对语义描述符进行聚类和多视角语义重新加权，构建视角聚合的语义表示。实验结果表明，LaGa能有效捕捉视角依赖语义中的关键信息，在LERF-OVS数据集上相较于之前的SOTA，mIoU显著提升了+18.7%。
怜星夜思：
1、LaGa模型通过解决视角依赖语义显著提升了3D场景理解能力。那么，在实际应用中，哪些场景会特别受益于这种视角的鲁棒性？
2、LaGa模型中，如何理解“通过对语义描述符进行聚类，并根据多视角语义重新加权，构建视角聚合的语义表示”？ 这个重加权是如何执行的，背后有什么理论依据？
3、文章提到LaGa在LERF-OVS数据集上mIoU提升显著。除了mIoU，还有哪些指标可以用来更全面地评估LaGa模型在3D场景理解方面的性能？
2、LaGa模型中，如何理解“通过对语义描述符进行聚类，并根据多视角语义重新加权，构建视角聚合的语义表示”？ 这个重加权是如何执行的，背后有什么理论依据？
3、文章提到LaGa在LERF-OVS数据集上mIoU提升显著。除了mIoU，还有哪些指标可以用来更全面地评估LaGa模型在3D场景理解方面的性能？
原文内容
来源：专知本文约1000字，建议阅读5分钟我们提出了LaGa（语言高斯），它通过将3D场景分解为物体，建立跨视角的语义关联。
近年来，3D高斯溅射（3D-GS）在从RGB图像中进行高质量的3D场景重建方面取得了显著进展。许多研究扩展了这一范式，应用于语言驱动的开放词汇场景理解。然而，大多数研究仅仅将2D语义特征投影到3D高斯分布上，忽视了2D与3D理解之间的根本差距：3D物体在不同视角下可能呈现出不同的语义特征——这一现象我们称之为视角依赖语义。为了应对这一挑战，我们提出了LaGa（语言高斯），它通过将3D场景分解为物体，建立跨视角的语义关联。接着，它通过对语义描述符进行聚类，并根据多视角语义重新加权，构建视角聚合的语义表示。大量实验表明，LaGa能够有效捕捉视角依赖语义中的关键信息，从而实现对3D场景的更全面理解。值得注意的是，在相同设置下，LaGa在LERF-OVS数据集上相较于之前的SOTA，mIoU显著提升了+18.7%。我们的代码已开放，地址为：https://github.com/https://github.com/SJTU-DeepVisionLab/LaGa。
