EAMamba：解决图像恢复挑战的高效视觉状态空间模型

AI资讯
1

EAMamba作为高效全能视觉状态空间模型，通过创新模块与扫描策略，在图像超分辨率、去噪等任务上实现了性能提升与FLOPs显著降低。

原文标题：ICCV2025 | EAMamba：面向图像恢复的高效全能视觉状态空间模型

原文作者：数据派THU

冷月清谈：

图像恢复作为低级计算机视觉的重要任务，旨在从受损图片中复原出高质量图像。近年来，视觉状态空间模型Vision Mamba因其在建模长程依赖方面的出色表现，为这一领域带来了新的进展。然而，Vision Mamba在实际应用中仍面临挑战，例如计算复杂度随扫描序列增加而提升，以及在处理局部像素时可能出现遗忘问题。

为克服这些局限，研究者提出了一种增强型框架——EAMamba（Efficient All-Around Mamba）。该模型的核心创新在于引入了两个关键机制：多头选择性扫描模块（MHSSM）和全向扫描机制。

MHSSM通过高效聚合多条扫描序列，在不额外增加计算复杂度和参数量的前提下，显著提升了模型的表示能力。而全向扫描策略则通过多种扫描模式，更全面地捕获图像的整体信息，有效缓解了局部像素遗忘的问题，确保了图像信息的完整性。

EAMamba在多项图像恢复任务上进行了广泛的实证评估，包括超分辨率、图像去噪、去模糊和去雾等。实验结果令人鼓舞，EAMamba不仅保持了优越的图像恢复性能，相较于现有的低级Vision Mamba方法，还实现了高达31%至89%的FLOPs（浮点运算数）减少，展现了其卓越的效率。目前，相关源代码已对外开放，研究人员和开发者可以通过项目主页获取并进一步探索。

怜星夜思：

1、EAMamba的核心是“状态空间模型”。它跟目前大家更熟悉的Transformer架构有什么本质区别和适用场景上的侧重呢？
2、文章提到EAMamba在“多项图像恢复任务”上表现出色，比如超分辨率、去噪。除了这些，图像恢复技术在现实生活中还有哪些比较有意思、或者说大家想不到的应用呢？
3、EAMamba降低了FLOPs（浮点运算数），这对于实际应用意味着什么？光是FLOPs低就算“高效”了吗，还有其他哪些方面也值得关注？

原文内容

来源：专知

        本文约1000字，建议阅读5分钟

        我们在多项图像恢复任务上对所提出方法进行了实证评估，包括超分辨率、去噪、去模糊和去雾等。


图像恢复是低级计算机视觉中的关键任务，旨在从退化图像中重建高质量图像。近年来，受先进状态空间模型 Mamba 启发而提出的 Vision Mamba 推动了该领域的发展。Vision Mamba 在以线性复杂度建模长程依赖方面表现出色，这对于图像恢复任务而言是一个重要优势。然而，尽管 Vision Mamba 在性能上具有潜力，其在低级视觉任务中仍面临一些挑战，如计算复杂度随扫描序列数量增加而增长，以及局部像素遗忘问题。

为了解决上述问题，本文提出了一种增强框架——Efficient All-Around Mamba（EAMamba）。该方法引入了一个多头选择性扫描模块（Multi-Head Selective Scan Module，MHSSM）及全向扫描机制。MHSSM 能够高效聚合多条扫描序列，从而在不增加计算复杂度和参数量的前提下提升建模能力。全向扫描策略通过多种扫描模式捕获图像的整体信息，有效缓解了局部像素遗忘的问题。

我们在多项图像恢复任务上对所提出方法进行了实证评估，包括超分辨率、去噪、去模糊和去雾等。实验结果表明，EAMamba 在保持优越性能的同时，相较于现有低级 Vision Mamba 方法实现了 31% 至 89% 的 FLOPs 减少。相关源代码已开放，详见项目主页：https://github.com/daidaijr/EAMamba。

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

2

FLOPs的降低直接意味着模型在执行相同任务时所需的计算资源（如CPU/GPU的计算能力）更少，从而导致更快的推理速度和更低的能耗。这对于资源受限的设备（如移动设备、嵌入式系统）以及需要实时处理的应用（如自动驾驶、视频直播）至关重要。然而，单纯的FLOPs低并不能完全等同于“高效”。我们还需要关注其他几个方面：1) 内存占用（Memory Usage）： 模型在运行时需要的显存或内存大小，这会影响模型能否在特定硬件上运行。2) 参数量（Number of Parameters）： 参数量少意味着模型更“轻”，更容易部署，也更不容易过拟合。3) 实际运行时间（Wall-clock Time/Latency）： FLOPs是理论计算量，实际运行时间还受硬件架构、内存带宽、并行度、缓存命中率等多种因素影响。4) 能耗（Power Consumption）： 特别是对于电池供电的设备，能耗是关键指标。5) 可部署性（Deployability）： 模型能否容易地转换为各种硬件平台支持的格式。6) 模型精度（Accuracy/Performance）： 最终还是要在高效的同时，保持甚至超越原有的性能水平。

3

哈哈，你这个问题问得好！这就好比，Transformer是那种“社交牛X症”，跟谁都能聊两句，把所有的信息都过一遍，所以对全局把握得特别好，但也容易“信息过载”，聊着聊着就卡了。而SSM/Mamba呢，就像个“效率达人”，它有自己的“小本本”，只记录关键信息，然后不断更新，这样就能跑得飞快，特别适合那种需要快速处理大量数据但又不那么在乎每个细节都要跟其他所有细节“掰扯掰扯”的活儿。比如修图这种，要快！要美！

4

状态空间模型（SSM）和Transformer在处理序列数据时采用了截然不同的机制。Transformer主要通过自注意力机制来捕获序列中任意位置的依赖关系，其优势在于全局建模能力强，但计算复杂度通常会随着序列长度的平方增长。SSM，特别是Mamba类的模型，则通过一种递归的状态更新机制来处理序列，其核心在于一个隐含的连续时间系统，可以在线性时间内建模长程依赖。这使得SSM在处理非常长的序列时具备计算效率上的优势，尤其适用于需要高效推理和部署的场景，如时间序列预测、实时信号处理，以及本文提到的图像恢复等对计算资源敏感的低级视觉任务。而Transformer在需要强大全局语义理解和更复杂交互的NLG、NLU等任务中仍有其不可替代的地位。

5

FLOPs低啊，最直观的感受就是快！ 以前修张图可能要等几秒，以后可能就是瞬间完成。再有就是省电、省钱。 模型跑得快，耗的电就少，服务器成本也下来了。

但是，光看FLOPs还真不够。你想想，一台车马力大（FLOPs高），但油箱小（内存占用大），或者只有低速档（并行度低），那也跑不远。我们还得看：
* 内存占用： 比如你想在手机上跑一个图像恢复模型，如果模型太大占满内存，那手机就卡了。
* 参数量： 参数量少模型就小，下载安装都快，更新也方便。
* 实际运行时间： FLOPs是理论值，就像CPU跑分。但实际用户体验是，你点一下按钮，多久能看到结果？这个“多久”才是最重要的。
* 在不同硬件上的表现： 有些模型在NVIDIA显卡上跑得飞快，但在Intel集成显卡或者某个小众硬件上就慢如蜗牛，这就不够“全能”了。
* 当然，最重要的还是效果！ 毕竟修出来的图，质量要好，不能说为了快，把图修坏了对吧？所以，高效和效果是同时追求的。

6

FLOPs降低了？那简直是科技界的“减肥成功”！这意味着模型不再是个“胖子”，跑得更快，吃得更少（电力），还不占地方（内存）。对于咱们普通人来说，就是手机修图嗖嗖的，游戏画面实时增强不卡顿，未来的智能眼镜戴上也轻飘 SSO 没负担，电池还更耐用。

光是FLOPs低是不是高效？这就好比你找了个“能干”的员工，但他光是“干得多”还不够，还得“干得好”，而且“不添乱”（内存别爆），“不抱怨”（能耗低），“能独当一面”（易部署）。所以，FLOPs只是个开始，就像选美，光瘦不行，还得有气质、健康！

7

问得好！除了给老照片“返老还童”和让模糊的监控画面“看清脸”，图像恢复还能干啥？我觉得吧，未来科幻片里那种，刑警叔叔拿着几像素的模糊图像，一按按钮就变高清，然后“凶手就是你！”的那种，说不定就是靠这种技术。或者，你手机相册里那些不小心抖糊了的美食照、风景照，一键恢复堪比专业摄影师，那得多香啊！甚至，以后直播美颜可能不是给你加滤镜，而是直接把你的低画质摄像头画面实时恢复成超高清，那人人都是“照骗达人”了！

8

嗯，超分辨率和去噪确实是基础。但你想想，除了这些，它还能干啥？比如：
* 老旧电影修复。 很多经典老电影的胶片有划痕、抖动、模糊，用这种技术就能数字化修复，让我们在高清电视上看老电影不再“辣眼睛”。
* 安防监控增强。 夜晚或者光线不好的监控画面，经常是一堆噪点，但通过去噪和增强，可以大大提高识别率，比如车牌识别或者人脸识别。
* 手机摄影优化。 不只是去噪，比如手机拍照时手抖了，光线不足，或者想拍超远处的风景，这些图像恢复技术都能在后台帮你默默优化，让小白也能拍出“大片”！
* 甚至在最新的AR/VR设备里，为了减轻设备端的计算负担，可能也会用到图像恢复技术来提升实时渲染的画面质量，让你的虚拟世界更清晰逼真。

9

图像恢复的应用远不止文章中列举的这些。在医学影像领域，它可以用于从低剂量X射线、CT或MRI图像中恢复高质量的诊断图像，减少患者的辐射暴露，同时提高诊断准确率。在天文学中，从哈勃望远镜或地面望远镜捕捉到的受大气扰动或噪声影响的图像中恢复清晰的星系、行星细节，是探索宇宙的关键。此外，遥感图像处理、文物修复（数字化）以及增强安防监控视频（比如在极端天气下恢复清晰画面）都是其潜在且重要的应用方向。这些应用往往对图像质量和细节有极高要求。

10

这俩兄弟啊，一个像“米其林大厨”Transformer，啥食材都往锅里放，慢工出细活，味道是真好，但出菜慢，还费煤气。另一个像“连锁快餐店”Mamba，流程标准化，快速出餐，效率高，虽然可能没有大厨那么“精雕细琢”，但应对日常大量的需求完全没问题。在图像恢复这块，你想啊，手机修图、视频优化，哪个不要求速度？Mamba这种线性复杂度、高效率的特点就特别吃香，因为它能让你的手机不那么烫，修图也更快。Transformer更适合那种离线、重计算，比如训练一个超大的图像生成模型啥的。