突破性进展！仅用RGB图像训练3D物体检测模型，无需3D数据，成本更低，效果更好！
原文标题：【NeurIPS2024】无需3D数据的开放词汇单目3D物体检测模型训练
原文作者：数据派THU
冷月清谈：
这项名为OVM3D-Det的新框架，仅使用RGB图像就能训练3D物体检测模型，大大降低了部署成本，并提升了可扩展性。与依赖昂贵LiDAR或3D传感器数据的传统方法不同，OVM3D-Det利用开放词汇的2D模型和伪LiDAR技术，自动标注RGB图像中的3D物体，从而实现3D检测器的训练。
为了解决伪LiDAR数据噪声和遮挡问题带来的标签不精确问题，研究人员引入了两项创新设计：自适应伪LiDAR侵蚀和基于大语言模型的先验知识进行的边界框精细调整。这些技术有效提升了3D标签的精度，使得仅用RGB图像训练3D检测器成为可能。
实验结果表明，OVM3D-Det在室内外场景中均表现出色，超越了现有基线方法。
为了解决伪LiDAR数据噪声和遮挡问题带来的标签不精确问题，研究人员引入了两项创新设计：自适应伪LiDAR侵蚀和基于大语言模型的先验知识进行的边界框精细调整。这些技术有效提升了3D标签的精度，使得仅用RGB图像训练3D检测器成为可能。
实验结果表明，OVM3D-Det在室内外场景中均表现出色，超越了现有基线方法。
怜星夜思：
1、OVM3D-Det使用伪LiDAR技术，但伪LiDAR本身的精度有限，这是否会成为模型性能的瓶颈？
2、OVM3D-Det仅使用RGB图像进行训练，相比于使用3D数据的模型，在实际应用中会有哪些优势和劣势？
3、文章中提到了使用大语言模型进行边界框精细调整，具体是如何实现的？大语言模型在3D物体检测领域还有哪些潜在应用？
2、OVM3D-Det仅使用RGB图像进行训练，相比于使用3D数据的模型，在实际应用中会有哪些优势和劣势？
3、文章中提到了使用大语言模型进行边界框精细调整，具体是如何实现的？大语言模型在3D物体检测领域还有哪些潜在应用？
原文内容
来源：专知本文约1000字，建议阅读5分钟在本研究中，我们提出了一种新颖的开放词汇单目3D物体检测框架，称为OVM3D-Det，该框架仅使用RGB图像训练检测器，使其在成本效益和可扩展性方面具有优势，并能够利用公开数据。
开放词汇3D物体检测最近因其在自动驾驶和机器人领域的广泛应用而受到广泛关注，旨在有效识别之前未见过的新类别。然而，现有的基于点云的开放词汇3D检测模型受限于高昂的部署成本。在本研究中，我们提出了一种新颖的开放词汇单目3D物体检测框架，称为OVM3D-Det，该框架仅使用RGB图像训练检测器，使其在成本效益和可扩展性方面具有优势，并能够利用公开数据。与传统方法不同，OVM3D-Det不需要高精度的LiDAR或3D传感器数据作为输入，也不需要用于生成3D边界框。相反，它采用开放词汇的2D模型和伪LiDAR自动标注RGB图像中的3D物体，促进了开放词汇单目3D检测器的学习。然而，直接使用伪LiDAR生成的标签训练3D模型是不够的，因为从噪声点云中估计的边界框往往不精确，且严重遮挡的物体会进一步影响效果。为了解决这些问题，我们提出了两项创新设计：自适应伪LiDAR侵蚀和基于大语言模型的先验知识进行的边界框精细调整。这些技术有效地校准了3D标签，并使得仅用RGB图像进行3D检测器训练成为可能。大量实验表明，OVM3D-Det在室内和室外场景中均优于基线方法。代码将公开发布。
https://ovm3d-det.github.io/
