MFuser框架利用Mamba连接视觉基础模型与视觉语言模型，实现跨领域语义分割，并在多个基准测试中表现出色。
原文标题：【CVPR2025】Mamba 作为桥梁：连接视觉基础模型与视觉语言模型以实现跨领域的语义分割
原文作者：数据派THU
冷月清谈：
本文介绍了一种名为MFuser的新型融合框架，旨在解决跨领域语义分割（DGSS）任务中，视觉基础模型（VFMs）与视觉语言模型（VLMs）难以有效融合的问题。MFuser基于Mamba架构，包含MVFuser和MTEnhancer两个关键模块，分别负责模型联合微调和文本嵌入表示优化。该框架能够高效整合VFMs在细粒度特征捕捉和VLMs在文本对齐方面的优势，同时保持线性扩展性，显著提升DGSS性能。实验结果表明，MFuser在多个基准任务上超越了现有最先进方法，并在合成到真实场景和真实到真实场景上均取得了优异的mIoU成绩。
怜星夜思：
1、MFuser框架中使用Mamba的主要优势是什么？它在处理长序列建模问题上比传统Attention机制有什么不同？
2、文章提到MFuser包含MVFuser和MTEnhancer两个模块，它们分别负责什么功能？如果缺少其中一个模块，会对整体性能产生什么影响？
3、MFuser在合成到真实场景和真实到真实场景上都取得了不错的成绩，你认为它在哪些实际应用场景中最有潜力？
2、文章提到MFuser包含MVFuser和MTEnhancer两个模块，它们分别负责什么功能？如果缺少其中一个模块，会对整体性能产生什么影响？
3、MFuser在合成到真实场景和真实到真实场景上都取得了不错的成绩，你认为它在哪些实际应用场景中最有潜力？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们提出了 MFuser——一种基于 Mamba 的新型融合框架，能够高效整合 VFMs 与 VLMs 的优势，并在序列长度上保持线性扩展性。
视觉基础模型（Vision Foundation Models，VFMs）与视觉语言模型（Vision-Language Models，VLMs）因其强大的泛化能力，在**跨领域语义分割（Domain Generalized Semantic Segmentation，DGSS）**任务中获得了广泛关注[^1]。然而，现有的 DGSS 方法通常仅依赖 VFMs 或 VLMs 中的一类，忽视了二者的互补优势。
VFMs（如 DINOv2）在捕捉细粒度特征方面表现优异，而 VLMs（如 CLIP）在文本对齐方面具有强大的鲁棒性，但在处理粗粒度信息时则存在一定困难。尽管它们在能力上互为补充，但利用注意力机制将 VFMs 与 VLMs 有效融合仍具有挑战性，因为更大量的 patch token 会加剧长序列建模的复杂性。
为了解决这一问题，我们提出了 MFuser——一种基于 Mamba 的新型融合框架，能够高效整合 VFMs 与 VLMs 的优势，并在序列长度上保持线性扩展性。MFuser 包含两个关键模块：
-
MVFuser：一个协同适配器（co-adapter），通过捕捉时序与空间动态，实现对两个模型的联合微调；
-
MTEnhancer：一个融合注意力机制与 Mamba 的模块，通过引入图像先验来优化文本嵌入表示。
我们的方法在实现精准的特征定位与强文本对齐能力的同时，并未带来显著的计算开销。大量实验证明，MFuser 在多个基准任务上显著优于当前最先进的 DGSS 方法：在合成到真实场景（synthetic-to-real）上取得 68.20 mIoU，在真实到真实场景（real-to-real）上取得 71.87 mIoU 的优异成绩。
项目代码已开源，地址：https://github.com/devinxzhang/MFuser
