SAMRefiner利用SAM优化粗略掩码，降低标注成本，提升分割模型训练效率。
原文标题：【ICLR2025】SAMREFINER：驯化“Segment Anything Model”进行通用掩码优化
原文作者：数据派THU
冷月清谈：
本文介绍了SAMRefiner，一种用于优化粗略掩码的新方法，旨在降低分割模型训练数据的标注成本。不同于以往针对特定模型或任务的优化技术，SAMRefiner将SAM（Segment Anything Model）适配到掩码精细化任务中，具有通用性和高效性。
该方法的核心是噪声容忍的多提示挖掘策略，它从初始粗略掩码中提取多种提示（基于距离的点、上下文感知的弹性边界框和高斯风格的掩码）输入给SAM，这些提示协同作用以减轻粗略掩码缺陷的影响。针对SAM处理多物体语义分割的局限性，SAMRefiner引入了“拆分后合并”（STM）流程。
此外，通过增加IoU适配步骤，SAMRefiner升级为SAMRefiner++，进一步提升了在目标数据集上的性能，且该步骤为自增强，无需额外标注。SAMRefiner具有高度的通用性，可以灵活地与现有分割方法结合使用，并在各种基准测试中展现出更优的准确性和效率。
该方法的核心是噪声容忍的多提示挖掘策略，它从初始粗略掩码中提取多种提示（基于距离的点、上下文感知的弹性边界框和高斯风格的掩码）输入给SAM，这些提示协同作用以减轻粗略掩码缺陷的影响。针对SAM处理多物体语义分割的局限性，SAMRefiner引入了“拆分后合并”（STM）流程。
此外，通过增加IoU适配步骤，SAMRefiner升级为SAMRefiner++，进一步提升了在目标数据集上的性能，且该步骤为自增强，无需额外标注。SAMRefiner具有高度的通用性，可以灵活地与现有分割方法结合使用，并在各种基准测试中展现出更优的准确性和效率。
怜星夜思：
1、SAMRefiner 的多提示策略如何具体实现，不同类型的提示是如何协同工作的？
2、论文中提到的“拆分后合并”（STM）流程，是如何解决SAM在处理多物体分割时的局限性的？
3、SAMRefiner++ 中的 IoU 适配步骤是如何实现自增强的？这个步骤不需要额外的标注，是如何提升性能的？
2、论文中提到的“拆分后合并”（STM）流程，是如何解决SAM在处理多物体分割时的局限性的？
3、SAMRefiner++ 中的 IoU 适配步骤是如何实现自增强的？这个步骤不需要额外的标注，是如何提升性能的？
原文内容
来源：专知本文约1000字，建议阅读5分钟
在本文中，我们探讨了一种主要方法，以提升广泛存在的粗略掩码的质量，使其能够作为可靠的训练数据，供分割模型使用，从而减少标注成本。
在本文中，我们探讨了一种主要方法，以提升广泛存在的粗略掩码的质量，使其能够作为可靠的训练数据，供分割模型使用，从而减少标注成本。与先前专门针对特定模型或任务的精细化技术不同，我们提出了SAMRefiner，这是一种通用且高效的方法，通过将SAM适配到掩码精细化任务中。我们模型的核心技术是噪声容忍的提示方案。具体而言，我们引入了一种多提示挖掘策略，从初始粗略掩码中挖掘出多样的输入提示，以供SAM使用（即，基于距离的点、上下文感知的弹性边界框和高斯风格的掩码）。这些提示可以相互协作，以减轻粗略掩码缺陷的影响。特别是考虑到SAM在处理语义分割中的多物体情形时的困难，我们引入了一个“拆分后合并”（STM）流程。此外，我们通过引入额外的IoU适配步骤，将我们的方法扩展为SAMRefiner++，进一步提升了通用SAMRefiner在目标数据集上的表现。这个步骤是自增强的，不需要额外的标注。所提出的框架具有高度的通用性，能够灵活地与现有的分割方法协作。我们在各种基准测试下评估了我们的掩码框架，在不同设置下展示了更好的准确性和效率。SAMRefiner具有显著的潜力，能够加速精细化工具的发展。我们的代码可在SAMRefiner上获取。
