ICML2025论文：研究表明，破坏ViT图像标记连续性，能有效提升跨领域少样本学习性能。新方法鼓励模型关注可迁移的小模式，缩小领域差距。
原文标题：【ICML2025】重新审视图像标记在跨领域少样本学习中的连续性
原文作者：数据派THU
冷月清谈：
本文研究了视觉变换器（ViT）在跨领域少样本学习（CDFSL）任务中，图像标记连续性对模型性能的影响。研究发现，破坏图像标记的连续性会导致ViT在通用（源）领域的性能下降，但在目标领域的性能影响较小。研究解释说，连续性有助于ViT学习较大的空间模式，而这些模式比小的模式更难以迁移，从而增加了领域间的领域差距。基于此，文章提出了一种新的CDFSL方法，通过破坏图像标记的连续性，鼓励模型减少对大模式的依赖，更多地依赖于小模式，从而提升跨领域少样本学习的性能。实验结果表明，该方法能够有效缩小领域差距并超越现有方法。
怜星夜思：
1、ViT中图像标记的连续性到底是什么？为什么会影响模型的泛化能力？
2、文章提出的方法只是简单地破坏图像标记的连续性吗？有没有其他更精细的方法来减少对大模式的依赖？
3、这个研究对实际应用有什么启发？在哪些场景下，这种“破坏连续性”的策略可能更有用？
2、文章提出的方法只是简单地破坏图像标记的连续性吗？有没有其他更精细的方法来减少对大模式的依赖？
3、这个研究对实际应用有什么启发？在哪些场景下，这种“破坏连续性”的策略可能更有用？
原文内容
来源：专知本文约1000字，建议阅读5分钟大量实验表明，我们的方法在缩小领域差距和超越现有最先进方法方面是有效的。
视觉变换器（ViT）由于在通用领域的大规模预训练，已经取得了显著的成功，但在应用于仅有稀缺训练数据的下游远程领域时，仍然面临挑战，这就产生了跨领域少样本学习（CDFSL）任务。受到自注意力对标记顺序不敏感的启发，我们发现了当前研究中被忽视的一个有趣现象：在ViT中破坏图像标记的连续性（即，使像素在各个块之间不平滑过渡）会导致在通用（源）领域的性能显著下降，但在下游目标领域的性能仅有轻微下降。这质疑了图像标记连续性在ViT在大领域差异下的泛化能力中的作用。本文深入探讨这一现象，并给出了解释。我们发现，连续性有助于ViT学习较大的空间模式，而这些模式比小的模式更难以迁移，从而增加了领域间的距离。同时，这也意味着在极端领域差异下，仅有每个块内的小模式可以被迁移。基于这一解释，我们进一步提出了一种简单而有效的CDFSL方法，能够更好地破坏图像标记的连续性，鼓励模型减少对大模式的依赖，更多地依赖于小模式。大量实验表明，我们的方法在缩小领域差距和超越现有最先进方法方面是有效的。代码和模型可通过以下链接获取：https://github.com/shuaiyi308/ReCIT。
