SAFE框架利用慢速与快速参数高效调优策略，提升预训练模型在持续学习中的性能，有效避免灾难性遗忘。
原文标题：【NeurIPS2024】SAFE: 慢速与快速参数高效调优用于基于预训练模型的持续学习
原文作者：数据派THU
冷月清谈：
持续学习的目标是从连续的数据流中学习新知识，同时不忘记之前的知识。SAFE框架利用预训练模型，并通过慢速和快速参数高效调优来解决持续学习中的挑战。
首先，SAFE通过迁移损失函数，衡量预训练模型和应用参数高效调优后模型之间的相关性，保留预训练模型中的通用知识。这使得慢速高效调优的参数能够捕捉更多信息特征，提高对后续类别的泛化能力。
其次，SAFE在增量学习阶段平衡了稳定性和适应性。它固定慢速高效调优的参数，并持续更新快速参数，并利用跨分类损失和特征对齐方法来避免灾难性遗忘。
最后，在推理阶段，SAFE采用基于熵的聚合策略，动态地利用慢速和快速学习者之间的互补性。
实验结果表明，SAFE在多个基准数据集上优于现有的持续学习方法。
首先，SAFE通过迁移损失函数，衡量预训练模型和应用参数高效调优后模型之间的相关性，保留预训练模型中的通用知识。这使得慢速高效调优的参数能够捕捉更多信息特征，提高对后续类别的泛化能力。
其次，SAFE在增量学习阶段平衡了稳定性和适应性。它固定慢速高效调优的参数，并持续更新快速参数，并利用跨分类损失和特征对齐方法来避免灾难性遗忘。
最后，在推理阶段，SAFE采用基于熵的聚合策略，动态地利用慢速和快速学习者之间的互补性。
实验结果表明，SAFE在多个基准数据集上优于现有的持续学习方法。
怜星夜思：
1、SAFE框架中提到的“慢速”和“快速”参数高效调优具体是如何实现的？它们分别更新哪些参数，更新频率是多少？
2、文章提到了使用跨分类损失和特征对齐来避免灾难性遗忘，这两种方法具体是如何工作的？它们之间有什么联系和区别？
3、基于熵的聚合策略在推理阶段是如何动态利用慢速和快速学习者的？这种策略相比于简单的平均或加权平均有什么优势？
2、文章提到了使用跨分类损失和特征对齐来避免灾难性遗忘，这两种方法具体是如何工作的？它们之间有什么联系和区别？
3、基于熵的聚合策略在推理阶段是如何动态利用慢速和快速学习者的？这种策略相比于简单的平均或加权平均有什么优势？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们提出了一个慢速与快速参数高效调优（SAFE）框架。
持续学习旨在从数据流中逐步获取新概念，同时避免遗忘先前的知识。随着强大**预训练模型（PTMs）的兴起，越来越多的研究关注如何使用这些基础模型来训练增量学习系统，而不是从头开始学习。现有的研究通常将预训练模型视为一个强大的起点，并在第一阶段直接应用参数高效调优（PET）**以适应下游任务。在随后的阶段，大多数方法会冻结模型参数，以解决遗忘问题。然而，直接将PET应用于下游数据并不能充分挖掘预训练模型中的固有知识。此外，在增量学习阶段冻结参数会限制模型对第一阶段未涵盖的新概念的适应性。
为了解决上述问题，我们提出了一个慢速与快速参数高效调优（SAFE）框架。具体来说，为了继承基础模型中的通用知识，我们通过衡量预训练模型与应用PET后的模型之间的相关性，加入了一个迁移损失函数。在第一阶段进行校准后，慢速高效调优的参数能够捕捉到更多的信息特征，从而提高对后续类别的泛化能力。此外，为了进一步融入新概念，我们在稳定性和适应性之间找到了平衡，通过固定慢速高效调优参数并持续更新快速参数来实现这一目标。具体而言，我们提出了一种跨分类损失与特征对齐方法，用以规避灾难性遗忘。在推理阶段，我们引入了一种基于熵的聚合策略，动态地利用慢速和快速学习者之间的互补性。
在七个基准数据集上的广泛实验验证了我们方法的有效性，显著超越了当前的最新技术。代码将在 https://github.com/MIFA-Lab/SAFE 上发布。
