EAMamba作为高效全能视觉状态空间模型,通过创新模块与扫描策略,在图像超分辨率、去噪等任务上实现了性能提升与FLOPs显著降低。
原文标题:ICCV2025 | EAMamba:面向图像恢复的高效全能视觉状态空间模型
原文作者:数据派THU
冷月清谈:
为克服这些局限,研究者提出了一种增强型框架——EAMamba(Efficient All-Around Mamba)。该模型的核心创新在于引入了两个关键机制:多头选择性扫描模块(MHSSM)和全向扫描机制。
MHSSM通过高效聚合多条扫描序列,在不额外增加计算复杂度和参数量的前提下,显著提升了模型的表示能力。而全向扫描策略则通过多种扫描模式,更全面地捕获图像的整体信息,有效缓解了局部像素遗忘的问题,确保了图像信息的完整性。
EAMamba在多项图像恢复任务上进行了广泛的实证评估,包括超分辨率、图像去噪、去模糊和去雾等。实验结果令人鼓舞,EAMamba不仅保持了优越的图像恢复性能,相较于现有的低级Vision Mamba方法,还实现了高达31%至89%的FLOPs(浮点运算数)减少,展现了其卓越的效率。目前,相关源代码已对外开放,研究人员和开发者可以通过项目主页获取并进一步探索。
怜星夜思:
2、文章提到EAMamba在“多项图像恢复任务”上表现出色,比如超分辨率、去噪。除了这些,图像恢复技术在现实生活中还有哪些比较有意思、或者说大家想不到的应用呢?
3、EAMamba降低了FLOPs(浮点运算数),这对于实际应用意味着什么?光是FLOPs低就算“高效”了吗,还有其他哪些方面也值得关注?
原文内容
来源:专知本文约1000字,建议阅读5分钟我们在多项图像恢复任务上对所提出方法进行了实证评估,包括超分辨率、去噪、去模糊和去雾等。
图像恢复是低级计算机视觉中的关键任务,旨在从退化图像中重建高质量图像。近年来,受先进状态空间模型 Mamba 启发而提出的 Vision Mamba 推动了该领域的发展。Vision Mamba 在以线性复杂度建模长程依赖方面表现出色,这对于图像恢复任务而言是一个重要优势。然而,尽管 Vision Mamba 在性能上具有潜力,其在低级视觉任务中仍面临一些挑战,如计算复杂度随扫描序列数量增加而增长,以及局部像素遗忘问题。
为了解决上述问题,本文提出了一种增强框架——Efficient All-Around Mamba(EAMamba)。该方法引入了一个多头选择性扫描模块(Multi-Head Selective Scan Module,MHSSM)及全向扫描机制。MHSSM 能够高效聚合多条扫描序列,从而在不增加计算复杂度和参数量的前提下提升建模能力。全向扫描策略通过多种扫描模式捕获图像的整体信息,有效缓解了局部像素遗忘的问题。
我们在多项图像恢复任务上对所提出方法进行了实证评估,包括超分辨率、去噪、去模糊和去雾等。实验结果表明,EAMamba 在保持优越性能的同时,相较于现有低级 Vision Mamba 方法实现了 31% 至 89% 的 FLOPs 减少。相关源代码已开放,详见项目主页:https://github.com/daidaijr/EAMamba。