无监督物体学习与鲁棒三维重建：计算机视觉新思路

AI资讯
1

探索无监督物体学习与三维重建，提升计算机视觉模型的泛化能力与鲁棒性，摆脱对人工标注数据的依赖。

原文标题：【博士论文】物体学习与鲁棒的三维重建

原文作者：数据派THU

冷月清谈：

本文探讨了计算机视觉中无监督物体方法的优势，旨在使机器能够在没有监督的情况下识别场景中的物体，减少对手工标注训练数据集的依赖，从而提高模型的泛化能力。文章讨论了神经网络架构设计和训练方法，使其能够在没有监督的情况下将图像分解为感兴趣的物体。通过利用运动作为二维场景中感兴趣物体的线索，以及三维场景的几何一致性来检测不一致的动态物体，最终实现鲁棒的三维建模。文章强调了显式物体表示在图像理解任务中的重要性，并鼓励社区进一步探索。

怜星夜思：

1、文章提到无监督物体学习可以绕过训练数据集固有的偏差，你认为当前有监督学习中，数据集偏差主要体现在哪些方面？又该如何有效地解决或减轻这些偏差带来的影响？
2、文章提到了FlowCapsules使用运动作为二维场景中感兴趣物体的线索，你认为除了运动，还有哪些信息可以作为无监督物体分割的线索？
3、文章提到利用三维场景的几何一致性来检测不一致的动态物体，你认为在实际应用中，这种方法可能遇到哪些挑战？如何应对？

原文内容

来源：专知
本文约1000字，建议阅读5分钟
本文的目标之一是展示计算机视觉中无监督物体方法的优点。


作为人类，我们天生就有一种关于场景或图片中物体的概念。即使没有颜色或纹理，我们也能识别物体的存在。我们对物体的感知通常不是原子式的，有时是任务依赖的。我们甚至可以毫不犹豫地识别和计数未见过类别的物体实例。心理学研究提到过格式塔法则，作为我们在没有监督的情况下寻找物体的线索。拥有正确的基础，使机器能够在没有监督的情况下识别场景中的物体，可以减少对手工标注训练数据集的依赖。因此，模型会具有更好的领域外泛化能力。此外，它可以通过限制人与训练数据集的互动，绕过训练数据集固有的偏差。根据设计选择，模型可能会变得更加可靠、值得信赖和可解释。本文讨论了神经网络架构设计和训练方法，使其能够在没有监督的情况下将图像分解为感兴趣的物体。二维无监督物体分割的主要挑战是区分感兴趣的前景物体和背景。FlowCapsules 使用运动作为二维场景中感兴趣物体的线索。本文的最后部分集中在三维应用中，目标是从输入图像中检测和去除感兴趣的物体。在这些任务中，我们利用三维场景的几何一致性来检测不一致的动态物体。我们的瞬态物体掩码随后用于设计鲁棒的优化内核，以改进随意拍摄设置下的三维建模。本文的目标之一是展示计算机视觉中无监督物体方法的优点。此外，我们提出了在不需要监督的情况下定义感兴趣物体或前景物体的可能方向。我们的希望是激励并激发社区进一步探索图像理解任务中的显式物体表示。


关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU


2

从理论上讲，利用几何一致性检测动态物体是可行的，但在实际部署中，会遇到各种各样的问题。以下是一些可能的挑战和应对策略：

1. 相机标定误差：相机内外参数的标定精度直接影响三维重建的质量。可以使用高精度标定板进行标定，并采用优化算法对标定结果进行优化。
2. 特征点匹配错误：特征点匹配是三维重建的关键步骤，错误的匹配会导致几何信息不准确。可以采用RANSAC等鲁棒算法来排除错误的匹配。
3. 动态物体自身形变：如果动态物体自身发生形变（例如，衣服的褶皱），会导致几何一致性破坏。可以尝试使用非刚性三维重建算法来处理这种情况。
4. 实时性要求：在实时应用中，三维重建需要在有限的时间内完成。可以采用并行计算、GPU加速等技术来提高计算速度。

此外，还可以考虑使用深度学习方法，例如PointNet、PointCNN等，直接从点云数据中提取特征，从而避免传统三维重建的步骤。

3

从信号处理的角度来看，图像可以看作是一种信号。那么，除了运动（时间域信息）外，以下信息也可能有用：

1. 频率域信息：通过傅里叶变换等方法，可以提取图像的频率特征，不同物体的频率特征可能存在差异。
2. 空间域关系：物体之间的空间位置关系（例如，相对距离、方向等）可以作为分割的线索。
3. 统计信息：例如，图像的直方图、熵等统计特征，可以反映图像的整体分布情况，从而帮助区分不同的物体。

此外，还可以借鉴一些聚类算法的思想，例如K-Means、谱聚类等，将图像像素划分为不同的簇，每个簇代表一个物体。

4

从学术角度来说，数据集偏差是影响模型泛化能力的关键因素。常见的偏差类型包括选择偏差、测量偏差和报告偏差。解决策略通常包括：

1. 数据增强：通过对现有数据进行变换（旋转、缩放、裁剪等）来扩充数据集，增加数据的多样性。
2. 重采样技术：如欠采样（减少多数类样本）和过采样（增加少数类样本），以平衡类别分布。
3. 领域自适应：利用迁移学习技术，将模型从一个数据丰富的源领域迁移到目标领域。
4. 因果推断：尝试识别并消除数据集中存在的因果混淆因素，从而减轻偏差的影响。

这些方法各有优缺点，需要根据具体情况选择合适的策略。

5

几何一致性是个好思路，但现实往往很骨感。挑战嘛，我觉得有这么几个：

* 环境复杂：真实场景往往光照不均、物体杂乱，几何信息提取难度大。
* 精度要求高：稍微一点几何偏差就可能导致误判。
* 计算量大：三维重建本身就是个计算密集型任务，实时性难以保证。

应对方法：

* 优化算法：使用更高效的三维重建算法，例如基于GPU加速的算法。
* 简化模型：对场景进行简化建模，只关注关键几何特征。
* 融合其他信息：结合颜色、纹理等信息，提高鲁棒性。
* 使用预处理：对图像进行预处理，如去噪、光照补偿等。

6

针对“文章提到无监督物体学习可以绕过训练数据集固有的偏差，你认为当前有监督学习中，数据集偏差主要体现在哪些方面？又该如何有效地解决或减轻这些偏差带来的影响？”，我的看法是：

数据集偏差可能体现在样本分布不均（比如正负样本比例失衡）、数据采集过程中的选择性偏差（某些类型的数据更容易被收集到）、标注偏差（不同标注者对同一数据的理解存在差异）等等。解决这些问题，可以尝试数据增强（增加少数样本的数量）、重采样（调整样本比例）、使用更鲁棒的损失函数（比如focal loss）、或者引入领域知识进行校正。

7

这题我会！数据集偏差嘛，我觉得就像你用一堆煎饼果子的照片训练AI识别早餐，结果它见到豆浆油条就一脸懵逼。偏差可能来自数据来源太单一、场景覆盖不足，或者干脆就是标注的人带着个人偏见。解决办法嘛，首先是数据要多样化，煎饼果子豆浆油条包子牛奶都要有！其次可以试试迁移学习，让模型先学一些通用的知识，再针对特定任务进行微调。还可以搞一个专家委员会，审核标注质量，避免出现太离谱的错误。

8

关于 “文章提到利用三维场景的几何一致性来检测不一致的动态物体，你认为在实际应用中，这种方法可能遇到哪些挑战？如何应对？”，我觉得挑战主要有：

1. 噪声干扰：传感器噪声、光照变化等因素可能导致几何信息不准确。
2. 遮挡问题：物体之间的遮挡可能导致部分几何信息缺失。
3. 快速运动：动态物体运动过快可能导致几何信息模糊。

为了应对这些挑战，可以尝试以下方法：

* 使用更精确的传感器。
* 采用滤波算法去除噪声。
* 利用多视角信息进行三维重建。
* 使用运动预测算法来估计物体的运动轨迹。
* 使用对光照不敏感的传感器。

综合利用这些方法，可以提高动态物体检测的鲁棒性。

9

针对“文章提到了FlowCapsules使用运动作为二维场景中感兴趣物体的线索，你认为除了运动，还有哪些信息可以作为无监督物体分割的线索？”，我提供一些思路：

1. 外观一致性：同一物体通常具有相似的颜色、纹理等视觉特征。
2. 边缘信息：物体边缘通常具有明显的梯度变化。
3. 深度信息：如果能获取深度信息，可以更容易地区分不同距离的物体。
4. 显著性：人类视觉系统通常会关注图像中比较突出的区域，这些区域可能包含感兴趣的物体。
5. 光照变化：不同物体对光照的反射特性可能不同，可以作为分割的线索。

将这些信息融合起来，可以提高无监督物体分割的准确率。

10

运动是好办法，但如果物体是静止的呢？我觉得还可以考虑以下几点：

* 颜色和纹理：相似的颜色和纹理可能属于同一个物体。
* 形状和轮廓：规则的形状更容易被识别为物体。
* 上下文关系：比如，在厨房场景中，更容易把锅碗瓢盆识别为物体。
* 光影：不同的物体阴影不同，也可以做为线索。

把这些线索综合起来，也许能让AI更好地理解图像。