DPaRL是为开放世界动态视觉表征学习提出的创新方法,显著提升了泛化能力。
原文标题:【ECCV2024】开放世界动态提示与持续视觉表征学习
原文作者:数据派THU
冷月清谈:
本文介绍了动态提示与表征学习器(DPaRL),这是一种新的基于提示的持续学习方法,旨在适应开放世界动态环境下的视觉表征学习。开放世界的核心特征是不断演变的概念和类别分布,这对持续学习(CL)提出了较大的挑战。DPaRL通过在每个训练阶段学习生成动态提示,而不是依赖静态提示池,能够有效提升对未见类别的泛化能力。实验结果表明,该方法在开放世界图像检索基准中,平均提升了4.7%的Recall@1性能,证明了其有效性。
怜星夜思:
1、这种动态提示的生成过程具体是如何实现的?
2、如何评价当前开放世界学习的研究方向?
3、DPaRL相比以往方法有哪些具体优势?
2、如何评价当前开放世界学习的研究方向?
3、DPaRL相比以往方法有哪些具体优势?
原文内容

来源:专知本文约1000字,建议阅读5分钟
我们提出了动态提示与表征学习器 (DPaRL),这是一种简单但有效的基于提示的持续学习 (PCL) 方法。
开放世界本质上是动态的,其特征是不断演变的概念和分布。在这种动态开放世界环境中,持续学习 (CL) 面临着如何有效泛化到未见测试类别的重大挑战。为应对这一挑战,我们引入了一种新的实际 CL 设置,专为开放世界的视觉表征学习设计。在该设置中,后续数据流系统地引入了与先前训练阶段中所见类别不相交的全新类别,同时这些类别也与未见测试类别保持区别。对此,我们提出了动态提示与表征学习器 (DPaRL),这是一种简单但有效的基于提示的持续学习 (PCL) 方法。我们的 DPaRL 学会为推理生成动态提示,而不是依赖于以往 PCL 方法中的静态提示池。此外,DPaRL 在每个训练阶段共同学习动态提示生成和判别性表征,而以往的 PCL 方法仅在整个过程中细化提示学习。实验结果表明,我们的方法优于现有的最先进方法,在公认的开放世界图像检索基准上平均提高了 4.7% 的 Recall@1 性能。