克服点云感知局限：表示学习研究进展

AI资讯
1

研究通过多模态融合、时空建模、自主语义发现以及生成式监督，克服点云稀疏性，提升3D感知系统的扩展性和稳健性。

原文标题：稀疏点云感知的表示学习

原文作者：数据派THU

冷月清谈：

本文总结了一篇博士论文的核心内容，该论文针对3D感知领域中点云数据处理的挑战，从四个方面展开研究：

1. **多模态融合：** 研究不同场景表示的归纳偏置，并通过集成这些表示来提升城市级点云的语义分割性能。
2. **时空建模：** 提出自监督时空预训练框架，利用激光雷达序列的时间连续性缓解数据稀疏性和降低标注需求。
3. **自主语义发现：** 引入3D自动词汇分割任务，使系统能够在没有人工类别定义的情况下，主动发现、命名和分割语义实体，超越传统的开放词汇感知。
4. **生成式监督：** 探讨如何将动态生成的场景特定词汇作为监督信号，以减轻类别暴露偏差，并提升大规模自动标注数据集上的开放词汇3D分割性能。

整体而言，该研究通过多模态融合、时空建模、自主语义发现和生成式监督，推动了点云表示学习的发展，为构建更具扩展性和稳健性的3D感知系统做出了贡献。

怜星夜思：

1、论文中提到的“归纳偏置”在点云语义分割中具体指的是什么？不同的归纳偏置，例如从图像和点云直接提取的特征，会如何影响最终的分割结果？
2、自监督时空预训练听起来很有潜力，但具体如何利用LiDAR序列中的时间连续性来进行训练？这种方法在哪些场景下效果会特别显著，又在哪些场景下可能会失效？
3、3D自动词汇分割的概念很新颖，它与传统的语义分割有什么区别？在实际应用中，如何评估这种自主发现的语义实体是否有效？有什么指标可以用来衡量？

原文内容

图片 
来源：专知

        本文约1000字，建议阅读5分钟

        本研究通过多模态融合、时空建模、自主语义发现以及生成式监督，推进了点云表示学习的发展，为构建更具扩展性和稳健性的 3D 感知系统做出了贡献。


3D 感知是现代机器智能的基石，为自动驾驶、机器人技术和空间理解等关键应用提供了底层支撑。在众多 3D 数据表示中，点云能够提供物理世界最直接且几何信息丰富的描述；然而，点云固有的稀疏性、非均匀采样以及高昂的标注成本，对感知性能造成了根本性限制。在传统的 3D 学习范式中，占主导地位的闭集假设（Closed-set assumptions）和静态分类体系（Static taxonomies）进一步加剧了这些挑战。本博士论文探讨了如何学习有效的点云表示，以克服上述局限性，并推动稳健、可扩展的 3D 感知技术发展。

本论文从四个互补的维度对这一课题展开了研究。首先，论文研究了不同的场景表示如何编码截然不同的归纳偏置（Inductive priors），并证明了它们的集成可以显著提升城市级点云的语义分割性能。其次，为了缓解数据稀疏性并降低标注需求，提出了一种自监督时空预训练框架，该框架充分利用了激光雷达（LiDAR）序列中的时间连续性。

第三，论文超越了开放词汇感知（Open-vocabulary perception），引入了 3D 自动词汇分割（3D Auto-Vocabulary Segmentation） 任务，使系统能够在没有人工提供类别定义的情况下，主动发现、命名并分割语义实体。最后，论文探讨了如何将动态生成的场景特定词汇作为监督信号，以减轻类别暴露偏差（Category exposure bias），并提升大规模自动标注数据集上的开放词汇 3D 分割性能。

综上所述，本研究通过多模态融合、时空建模、自主语义发现以及生成式监督，推进了点云表示学习的发展，为构建更具扩展性和稳健性的 3D 感知系统做出了贡献。

https://hdl.handle.net/11245.1/c7e0637e-f623-45e0-9690-3d4516bb8d58

编辑：文婧

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

2

我觉得可以借鉴视频修复的思想，利用深度学习的方法来补全丢失的点云数据。可以训练一个3D卷积神经网络，让它学习从相邻帧的点云数据中恢复出缺失的部分。这种方法的优点是可以处理复杂的场景和运动模式，缺点是需要大量的训练数据。

3

嘿，楼上两位说得都太学术了！我来个接地气的。想象一下，你让一个只见过猫的AI去识别狗，它可能会因为都有毛发和四条腿而把一些狗也识别成猫。这就是“归纳偏置”在作祟，AI预先认定了“猫=毛发+四条腿”，这个先入为主的观念影响了它的判断。不同“偏见”的模型，看到的世界自然不一样！

4

从更学术的角度来说，归纳偏置是指学习算法在没有看到任何数据之前所做出的一组假设。在点云语义分割中，常见的归纳偏置包括：

* 平滑性假设： 相似的点在语义上更有可能属于同一类别。
* 局部性假设： 点的语义信息主要由其邻域决定。
* 结构性假设： 场景中物体之间存在一定的结构关系。

不同的归纳偏置会导致模型对不同类型的特征更加敏感，从而影响最终的分割结果。例如，基于图神经网络的模型通常具有更强的局部性归纳偏置，而基于Transformer的模型则更擅长捕捉全局依赖关系。选择合适的归纳偏置对于提高点云语义分割的性能至关重要。

5

我觉得这个有点像我们小时候玩的“大家来找茬”游戏，让你找两张相似图片的不同之处。AI通过分析LiDAR序列的连续帧，学习哪些是背景，哪些是移动的物体，就像在玩高难度的“大家来找茬”。如果场景变化太快，或者干扰太多，AI可能就眼花缭乱，找不到“茬”了！

6

关于自监督时空预训练，我理解的关键在于“时间连续性”。LiDAR序列就像一部电影，每一帧都是一幅点云图像，相邻帧之间存在着大量的重叠信息和运动信息。自监督学习的目标就是让模型从这些连续的帧中学习到有用的特征表示，而不需要人工标注。具体来说，可以设计一些任务，比如预测下一帧的点云，或者预测两帧之间的运动轨迹，模型在完成这些任务的过程中，自然就学会了提取点云中的时空特征。这种方法在自动驾驶等场景下肯定特别有用，因为这些场景中的数据通常是连续的，而且获取成本相对较低。

7

针对’归纳偏置在点云语义分割中的具体含义’这个问题，我的理解是，归纳偏置本质上是模型在学习之前预先设定的一些假设或者约束，它们影响模型学习的方向和效率。在点云语义分割中，可以理解为模型预先假定了哪些特征是重要的，以及这些特征之间是如何关联的。举个例子，一个模型如果更注重点云的局部几何结构，比如点的邻域关系，那么它可能更擅长识别小的、细节丰富的物体；而另一个模型如果更关注全局的上下文信息，比如场景的整体布局，那么它可能更擅长区分大的、结构化的物体。这就好比我们看东西，有的人注重细节，有的人更看重整体，视角不一样，结果自然也不同。

8

3D自动词汇分割和传统语义分割最大的区别在于，前者不需要预先定义类别，而是让系统自己去发现和定义。这就好比教孩子认识世界，传统方法是告诉他“这是苹果，那是香蕉”，而自动词汇分割是让他自己去观察、总结，然后给他自己定义的类别命名。在实际应用中，评估自主发现的语义实体是否有效是一个挑战。我认为可以从两个方面入手：一是看这些实体是否具有实际意义，比如是否对应于场景中常见的物体或者区域；二是看这些实体是否能够提高后续任务的性能，比如目标检测或者场景理解。至于指标，可以使用聚类算法常用的指标，比如轮廓系数或者Davies-Bouldin指数。

9

一种常见的自监督时空预训练方法是使用对比学习。例如，可以将同一场景在不同时间拍摄的两帧点云作为正样本对，将不同场景的点云作为负样本对。然后，训练一个模型来区分正负样本对，从而学习到对时空变化具有鲁棒性的特征表示。

这种方法在静态场景中效果较好，但在动态场景中可能会失效。例如，如果场景中存在大量移动的物体，那么模型可能会将这些物体的运动误认为是噪声，从而影响学习效果。此外，如果LiDAR传感器的精度不高，导致点云数据存在较大的噪声，也会影响自监督学习的效果。