计算受限的持续学习：斯坦福博士论文解读与算法创新

AI资讯
1

斯坦福博士论文提出在计算受限下最大化无限时域平均回报的持续学习框架，并创新算法以平衡稳定性与可塑性。

原文标题：【斯坦福博士论文】计算受限的持续学习：基础与算法

原文作者：数据派THU

冷月清谈：

这篇斯坦福博士论文深入探讨了计算资源受限下的持续学习问题，旨在最大化无限时域平均回报。论文构建了信息论建模、智能体容量量化等基础工具，并形式化定义了持续学习中的稳定性-可塑性权衡。同时，论文还提出了多种创新算法，包括缓解神经网络可塑性退化的再生式正则化方法、用于高效长上下文推理的Conformal Sympow模型，以及提高智能体对环境扰动鲁棒性的多样性驱动强化学习方法。这些工作致力于将持续学习打造为一个更具原则性和可操作性的机器学习领域，促进理论与实践的结合。

怜星夜思：

1、论文中提到的“稳定性-可塑性权衡”具体是指什么？在实际应用中，我们应该如何去平衡这两者？
2、论文中提到的Conformal Sympow模型，通过学习型门控与数据依赖旋转机制实现了高效的长上下文推理，这个机制具体是怎么工作的？除了Transformer，还有哪些模型架构适合应用这种机制？
3、论文提到了一种以多样性驱动的强化学习方法，使智能体具备对环境扰动的少样本鲁棒性。这种方法是如何保证多样性的？在实际的强化学习应用中，我们应该如何评估智能体的鲁棒性？

原文内容

来源：专知

        本文约1000字，建议阅读5分钟

        在本论文中，我们提出了一种连贯的持续学习目标：在每个时间步受到计算资源限制的前提下，最大化无限时域平均回报。


持续学习依然是机器学习领域的一项长期挑战。成功实现持续学习需要不断吸收新的知识，同时保留仍然有用的旧知识。在本论文中，我们提出了一种连贯的持续学习目标：在每个时间步受到计算资源限制的前提下，最大化无限时域平均回报。这一框架使我们能够系统性地分析持续学习智能体的设计与评估，超越仅仅依赖准确率保持或可塑性等零散指标的方法。

论文的第一部分聚焦于基础工具与理论视角的构建，包括：对智能体状态的信息论建模、智能体容量的量化方法，以及持续学习中稳定性–可塑性权衡的形式化定义。第二部分则提出了多种新算法：一种用于缓解神经网络可塑性退化的再生式正则化方法；Conformal Sympow——一种基于Transformer的模型，借助学习型门控与数据依赖旋转机制，实现了高效的长上下文推理；以及一种以多样性驱动的强化学习方法，使智能体具备对环境扰动的少样本鲁棒性。

综上，这些工作有助于将持续学习确立为一个有原则、可操作的机器学习子领域，推动理论与实践的融合。

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

2

学习型门控可以理解为模型自己学会了哪些信息有用，哪些信息没用，然后自动进行过滤。数据依赖旋转听起来很fancy，我猜测可能是对特征进行某种自适应的变换，让模型更容易捕捉到数据中的关键信息。

我觉得任何需要处理序列数据的模型，都可以考虑借鉴这种机制。比如，语音识别里的CTC模型，或者自然语言处理里的seq2seq模型，都可以通过引入门控和旋转机制来提高性能。

3

从字面意思理解，就是让agent尽可能去尝试各种不同的动作，不要只局限于一种最优策略。就像人一样，如果只会一种解决问题的方法，一旦遇到新的情况就容易懵逼。鲁棒性评估的话，我觉得可以模拟一些异常场景，比如给环境增加一些噪声，或者改变环境的参数，看看agent的表现如何。

4

“稳定性-可塑性权衡”指的是模型在学习新知识时，既要保持对旧知识的记忆（稳定性），又要具备适应新知识的能力（可塑性）。如果模型过于稳定，就无法学习新知识；如果模型过于可塑，又容易遗忘旧知识。

平衡方法有很多，比如正则化、动态调整学习率等。关键是找到一个合适的策略，让模型在学习新知识的同时，尽可能减少对旧知识的干扰。也可以考虑引入一些记忆机制，例如知识蒸馏或者replay buffer，显式地保存一些历史数据，避免灾难性遗忘。

5

Conformal Sympow模型的细节我还没查到，但从描述来看，学习型门控可能类似于LSTM中的门控机制，用于控制哪些信息需要被记住或遗忘。数据依赖旋转机制，可能是指根据输入数据的不同，动态调整模型的参数或结构。

除了Transformer，RNN及其变体（如LSTM、GRU）也适合应用这种机制。此外，一些基于注意力机制的模型，例如Attention Augmented Convolutional Networks，也可以考虑引入类似的门控和旋转机制，以提高效率和处理长上下文的能力。

6

我猜这个多样性驱动的强化学习，是不是让agent变成一个多面手，什么都会一点？就像电影里的特工一样，既会开飞机，又会打枪，还会说外语。评估鲁棒性的话，我觉得可以搞一个“特工训练营”，让agent在各种奇怪的环境里进行训练，看看它能不能活到最后。

7

这个听起来有点像魔法，让模型自己学会魔法，然后用魔法去处理数据。我觉得很有意思。至于其他的模型，我觉得图神经网络也可以试试，毕竟图结构可以很好地表示数据之间的关系，如果再加上门控和旋转机制，说不定能搞出什么黑科技。

8

我觉得这就像是金庸小说里的左右互搏，要让大脑既能记住降龙十八掌，又能学乾坤大挪移，而且两套武功还能一起用，这才是最牛的。具体怎么平衡，可能需要用到一些特殊的技巧，比如把旧知识封印起来，等到需要的时候再解封，或者干脆创造一套新的神经网络结构，专门用来处理新知识。

9

多样性驱动的强化学习，通常会鼓励智能体探索不同的策略或状态空间。具体实现方式可能包括：使用信息熵作为奖励，鼓励智能体探索不确定性高的区域；使用不同的探索策略，例如ε-贪婪、UCB等；引入对抗训练，让智能体在面对恶意扰动时也能保持稳定。

评估鲁棒性可以采用以下方法：在不同的环境扰动下测试智能体的性能；计算智能体在面对扰动时的性能下降程度；使用对抗样本攻击智能体，观察其反应。

10

稳定性-可塑性权衡就像是学习外语一样，如果只想着记住新单词，很快就会忘记之前学过的；但如果一直复习之前的，又没时间学新的。论文里可能讨论的是更数学化的定义和方法，但我理解的工程实践上的平衡，关键在于数据的管理和模型的架构。要保证模型持续接触到能够代表历史任务的数据，并且模型架构上要有一定的模块化设计，这样新的知识学习可以尽量不影响到旧的知识。