原文标题：ECCV 2024 oral | 首次基于深度聚类的多模态融合，上交、伯克利提出双向结构对齐的融合网络新SOTA！
原文作者：机器之心
冷月清谈：
- 提出了一种具有双向结构对齐功能的局部到全局融合里程测量网络（DVLO）。
- 该方法首次基于深度聚类进行多模态融合，相比于卷积神经网络（CNN）和 Transformer 来说是一种新的、有效的融合策略。
- 在 KITTI 里程计数据集上，DVLO 在大多数序列上都优于最近所有的深度激光雷达、视觉和视觉激光雷达融合里程计方法。
- DVLO 的融合策略还可以很好地应用于其他多模态任务，如场景流估计，甚至超过了最近的 SOTA 方法 CamLiRAFT。
怜星夜思：
1、DVLO 的局部聚类融合机制是如何工作的？
2、DVLO 如何实现双向结构对齐？
3、DVLO 在场景流估计任务中的表现如何？
2、DVLO 如何实现双向结构对齐？
3、DVLO 在场景流估计任务中的表现如何？
原文内容
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本文的主要作者来自上海交通大学智能机器人与机器视觉（IRMV）实验室。本文第一作者是实验室硕士生刘久铭，主要研究方向为点云配准，雷达里程计，多模态融合，nerf/3DGS 渲染，3D生成等。曾在CVPR，ICCV，ECCV，AAAI等会议发表论文多篇。
本文通讯作者及指导教师为王贺升教授，教授团队近年来在计算机视觉与机器人权威期刊（TPAMI，TRO）与国际顶级学术会议（CVPR，ICCV，ECCV，AAAI，ICRA，IROS）上发表多篇机器人移动定位导航相关论文，与国内外知名高校，科研机构展开广泛合作。
视觉 / 激光雷达里程计是计算机视觉和机器人学领域中的一项基本任务，用于估计两幅连续图像或点云之间的相对位姿变换。它被广泛应用于自动驾驶、SLAM、控制导航等领域。最近，多模态里程计越来越受到关注，因为它可以利用不同模态的互补信息，并对非对称传感器退化具有很强的鲁棒性。
以往基于学习的方法大多采用图 1 a) 所示的特征级融合策略，无法捕捉细粒度像素到点的对应关系。最近，一些网络设计了点到图像的投影和局部特征聚合，如图 1 b) 所示，但其性能仍然受到稀疏激光雷达点和密集相机像素之间内在数据结构错位的限制。
为了解决这些问题，来自上海交通大学、加州伯克利大学的研究团队提出了一种具有双向结构对齐功能的新型局部到全局融合网络 (DVLO)。
-
论文链接：https://arxiv.org/pdf/2403.18274
-
代码仓库：https://github.com/IRMVLab/DVLO
DVLO 的融合模块由两部分组成：1）首先将图像视为一组伪点，与激光雷达点进行细粒度局部融合（图像到点的结构对齐）。2) 点云也通过圆柱投影转换为伪图像，用于全局自适应融合（点到图像结构对齐）。
图 1：图像和点云的不同融合策略。之前的大多数研究都只进行全局融合或局部融合。DVLO 设计了一种局部到全局的融合策略，既能促进全局信息的交互，又能保留局部的细粒度信息。此外，还设计了双向结构对齐，以最大限度地提高模态间的互补性。
总体而言，该论文的贡献如下：
1. 提出了一种具有双向结构对齐功能的局部到全局融合里程测量网络。论文作者将图像像素视为一组伪点进行聚类，以便与激光雷达点进行局部融合。点云也通过圆柱投影转换为伪图像，用于全局自适应融合。
2. 设计了一个纯粹基于聚类的融合模块，以获得细粒度的局部融合特征。论文中提出的方法是首次基于深度聚类的多模态融合尝试，是 CNN 和 Transformer 之外的另一种高效融合策略。
在 KITTI 里程计数据集上进行的大量实验表明，DVLO 的方法在大多数序列上都优于最近所有的深度激光雷达、视觉和视觉激光雷达融合里程计方法。此外，DVLO 的融合策略还能很好地应用于其他多模态任务，如场景流估计，甚至超过了最近的 SOTA 方法 CamLiRAFT。
图 2：DVLO 流程图。
方法
总体结构
图 3：研究团队设计的局部到全局（LoGo）融合模块。
层次特征提取
点特征提取
由于原始点云的不规则性和稀疏性，首先将其投影到一个圆柱面 [30, 54] 上，以有序地组织点。其对应的二维位置为：
其中，x、y、z 是点云的原始三维坐标，u、v 是投影伪图像上相应的二维像素位置。∆θ 和 ∆ϕ 分别是激光雷达传感器的水平和垂直分辨率。
图像特征提取
局部融合器模块
从图像到伪点
伪点聚类
然后，根据中心特征和伪点特征 的成对余弦相似度，将所有伪点划分为若干个聚类。在此，将每个伪点分配到最相似的聚类中心，从而得到 N 个聚类。为了提高效率，按照 Swin Transformer，在计算相似度时使用区域分割。
局部特征聚合
全局融合模块
从点到伪图像
自适应融合
位姿迭代估计
然后，利用嵌入特征 E 上的加权嵌入掩码 M 来回归位姿变换。加权嵌入掩码 M 的计算公式为 ：
在初始估计 q 和 t 之后，通过 PWCLO 中的迭代细化模块对它们进行细化，从而得到最终姿势。第 l 层的细化四元数
和平移矢量
的计算公式为：
和平移矢量的计算公式为：
损失函数
其中，L 是层的总数（设为 4），
是代表第 l 层权重的超参数。
是代表第 l 层权重的超参数。
实验部分
表 1：在 KITTI 里程计数据集上与不同里程计网络的比较
表 2：在 KITTI 00-10 序列上与传统视觉 - 激光雷达里程计的比较。
表 4：不同多模态里程计在 KITTI 里程计数据集序列 07-10 上的平均推理时间。
图 4：论文作者估计的位姿轨迹。
图 5：LOAM 和 DVLO 在真实的 KITTI 序列 07 上的轨迹结果。
图 6：设计的基于局部聚类的融合机制在某个聚类内的可视化效果。红点表示聚类中心的二维位置。黄色区域是每个中心周围的聚类像素。
表 5：泛化到场景流估计任务
图 7：估计场景流的可视化。
消融实验
表 6：局部 - 全局融合网络中局部融合器（LoF）和全局融合器（GoF）的有效性
表 7：不同局部融合策略的消融研究
更多研究细节，可参考原论文。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com