提出MFuser框架，利用Mamba连接视觉基础模型与视觉语言模型，提升领域泛化语义分割性能，实验结果SOTA。
原文标题：【CVPR2025】Mamba 作为桥梁：连接视觉基础模型与视觉语言模型以实现领域泛化语义分割
原文作者：数据派THU
冷月清谈：
本文介绍了一种名为MFuser的新型融合框架，旨在解决领域泛化语义分割（DGSS）任务中，视觉基础模型（VFMs）和视觉语言模型（VLMs）难以有效融合的问题。MFuser基于Mamba架构，能够高效整合VFMs（如DINOv2）和VLMs（如CLIP）的优势，同时保持线性可扩展性。该框架包含两个关键组件：MVFuser作为协同适配器，联合微调两种模型并捕捉序列与空间动态信息；MTEnhancer融合注意力机制与Mamba，通过引入图像先验增强文本嵌入。实验结果表明，MFuser在多个DGSS基准测试上显著优于现有方法，在合成到真实场景中达到68.20 mIoU，在真实到真实场景中达到71.87 mIoU。项目代码已开源。
怜星夜思：
1、文章提到VFMs（如DINOv2）擅长捕捉细粒度特征，VLMs（如CLIP）擅长文本对齐，那么在实际应用中，有哪些场景更适合侧重使用VFMs，哪些场景更适合侧重使用VLMs呢？
2、MFuser框架中，Mamba起到了关键作用，那么除了文中提到的线性可扩展性，Mamba还有哪些优势，使其更适合作为VFMs和VLMs的桥梁？未来是否可能出现其他更优的架构替代Mamba？
3、文章提到MFuser在合成到真实和真实到真实场景中都取得了不错的效果，那么对于真实到合成的场景，MFuser的表现会如何？在哪些具体的工业场景中，这种DGSS技术有应用前景？
2、MFuser框架中，Mamba起到了关键作用，那么除了文中提到的线性可扩展性，Mamba还有哪些优势，使其更适合作为VFMs和VLMs的桥梁？未来是否可能出现其他更优的架构替代Mamba？
3、文章提到MFuser在合成到真实和真实到真实场景中都取得了不错的效果，那么对于真实到合成的场景，MFuser的表现会如何？在哪些具体的工业场景中，这种DGSS技术有应用前景？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们提出了 MFuser，一种基于 Mamba 的新型融合框架，可高效整合 VFMs 与 VLMs 的优势，同时在序列长度上保持线性可扩展性。
视觉基础模型（Vision Foundation Models, VFMs）和视觉语言模型（Vision-Language Models, VLMs）凭借其强大的泛化能力，近年来在领域泛化语义分割（Domain Generalized Semantic Segmentation, DGSS）任务中受到广泛关注。然而，现有的 DGSS 方法通常仅依赖 VFMs 或 VLMs 中的一种，忽视了它们之间的互补优势。以 DINOv2 为代表的 VFMs 擅长捕捉细粒度特征，而如 CLIP 等 VLMs 则在文本对齐方面表现优异，但往往难以处理粗粒度语义。
尽管 VFMs 和 VLMs 具备互补能力，但将两者有效融合仍具有挑战性，特别是在注意力机制中，因 patch tokens 数量增多而导致长序列建模难度增加。为此，我们提出了 MFuser，一种基于 Mamba 的新型融合框架，可高效整合 VFMs 与 VLMs 的优势，同时在序列长度上保持线性可扩展性。
MFuser 主要包括两个关键组件：
-
MVFuser：作为协同适配器（co-adapter），用于联合微调两种模型，同时捕捉序列与空间动态信息；
-
MTEnhancer：一种融合注意力机制与 Mamba 的混合模块，通过引入图像先验对文本嵌入进行增强。
我们的方法在实现精确特征定位的同时，也保持了强文本对齐能力，且不会引入显著的计算开销。大量实验表明，MFuser 在多个基准测试上显著优于现有的 DGSS 方法：在合成到真实（synthetic-to-real）场景中达到 68.20 mIoU，在真实到真实（real-to-real）场景中达到 71.87 mIoU。
项目代码已开源，地址为：
👉 https://github.com/devinxzhang/MFuser
👉 https://github.com/devinxzhang/MFuser
