研究发现，LLM 做 RL 后训练时，只训练中间关键层也能超过全参数训练。
原文标题：RL训练一层就够了！单层RL超越全参数训练，跨任务跨模型跨算法全部验证
原文作者：机器之心
冷月清谈：
怜星夜思：
2、为什么偏偏是中间层对 RL 后训练最关键？这和 Transformer 的分层功能有关吗？
3、这篇论文说单层训练能超过全参数训练，会不会只是某些 benchmark 或超参数造成的偶然现象？
4、如果低贡献层更新可能带来噪声，那全参数 RL 训练是不是一直在浪费算力？
原文内容
本文第一作者为明尼苏达大学博士生张子健，指导老师为洪明毅教授。其他作者包括北京大学的胡日臻，Amazon的Hongzhou Lin，明尼苏达大学的Athanasios Glentis、Dawei Li、Chung-Yiu Yau。
现有的 RL 后训练方法统一更新所有 Transformer 层，隐含假设每一层对 RL 收益的贡献是均等的。来自明尼苏达大学、北京大学和亚马逊的团队挑战了这一假设：通过对 7 个模型、跨越 2 个模型家族、3 种 RL 算法、3 个任务领域的系统性逐层研究，发现 RL 收益高度集中在一小部分中间层，而非均匀分布。更令人惊讶的是，训练单个 Transformer 层即可匹敌甚至超越全参数 RL 训练，而基于这一发现的策略可以持续超越标准全参数 RL 训练。
-
论文标题：《Is One Layer Enough? Training a Single Transformer Layer Can Match Full-Parameter RL Training》
-
论文链接：https://arxiv.org/abs/2607.01232
背景与动机：RL 后训练的收益究竟来自哪里？
强化学习与可验证奖励（RLVR）已成为大语言模型后训练的核心组件，在数学推理、代码生成和智能体决策等任务上取得了显著提升。然而，尽管大量研究关注于更有效的 RL 目标、奖励模型和优化算法，一个更基本的问题却很少被探讨：
RL 的收益究竟从网络的哪里产生？是所有层均等贡献，还是集中在特定层？
事实上，预训练 LLM 的层级结构高度不均匀这一现象已被多项研究证实。在推理阶段，研究者发现移除某些层会导致性能崩溃，而移除另一些层几乎没有影响；有研究识别出“基石层”，其移除会使性能退化到接近随机水平。在监督微调（SFT）阶段，也有工作提出了随机采样层更新、重要性感知采样、基于梯度统计的动态层选择等策略。更值得注意的是，被识别为重要的层在不同数据集和训练设置间保持高度一致，暗示预训练模型具有稳定的层级结构组织。
然而，这些研究主要集中在推理行为分析和监督微调场景。RL 后训练是否也具有和层有关的结构化模式（例如是否某些层对于RL的贡献很大），此前几乎没有被探索过。理解这一层级结构不仅能揭示 RL 如何重塑预训练模型，还可能为进一步改进 RL 后训练提供新的算法设计思路。
现有的 RL 后训练方法（如 GRPO、Dr. GRPO、GiGPO）统一更新所有 Transformer 层，隐含假设每一层对最终性能提升的贡献是相似的。这篇工作通过系统性的逐层实验，对这一假设提出了挑战。
核心方法：层贡献度（Layer Contribution）
为了量化每一层在 RL 后训练中的作用，研究团队提出了一个简单而有效的指标——层贡献度 C(k)：
对于一个有 L 层的 LLM，冻结除第 k 层以外的所有参数（包括 Embedding 和 LM Head），仅用 RL 训练该层，然后将其性能提升与全参数 RL 基线进行对比：
图1：层贡献度计算公式
其中 S_base 为预训练模型的评测分数，S_full 为全参数 RL 训练后的评测分数，S_k 为仅训练第 k 层后的评测分数。C(k) = 1.0 表示单层训练匹配全参数 RL，C(k) > 1.0 表示超越全参数 RL。
这一框架的关键设计在于：梯度仍然通过整个网络反向传播计算，仅参数更新被限制在第 k 层。这确保了每一层都在相同的信息环境下被评估，差异仅反映层本身的学习能力。
举一个具体的例子：在 Qwen3-1.7B-Base 上，预训练模型的数学（涵盖MATH，GSM8K，AMC，OlympiadBench）平均分为 44.1%。之后我们使用Numina-COT数据集对模型进行GRPO训练。经过我们的数轮对于全参数 GRPO的 训练与调优后，结果提升至 50.8%（提升 6.7 个百分点）。然而，当仅训练 Layer 10 时，分数达到 51.8%，对应的层贡献度 C = (51.8 − 44.1) / (50.8 − 44.1) = 1.14，意味着仅训练这一层就恢复了全参数训练 114% 的收益。而最弱的 Layer 24 仅达到 46.1%，C = 0.28，仅恢复了 28% 的收益。同一个模型内，最好层和最差层之间存在超过 4 倍的差距。
图2：以Qwen3-1.7B-base的训练结果为例，层贡献度指标衡量了单层本身的学习能力，Layer10可以超越全量RL，而Layer24仅有全量RL 28%的收益
实验设置
研究团队在 7 个模型上进行了系统性实验，覆盖多个维度的变化：
-
多种模型大小和家族：Qwen3（1.7B/4B/8B）、Qwen2.5（1.5B/3B/DeepSeek-Distilled-7B）
-
多种 RL 算法：GRPO、Dr. GRPO、GiGPO
-
多个任务领域：数学推理（NuminaMath-CoT、DeepScaleR、MATH、Skywork）、代码生成（DeepCoder）、智能体决策（ALFWorld）
评估体系：对于 Qwen3 主实验，研究团队在 12 个基准测试上进行评估，覆盖四大类别：数学（MATH500、GSM8K、OlympiadBench、AMC）作为域内评估，以及三个域外类别——代码（HumanEval+、MBPP、LiveCodeBench）、推理（GPQA-Diamond、MMLU-Pro）和语言（C-Eval、IFEval、MGSM）。总分为四个类别分数的等权平均。对于 Qwen2.5-Math-1.5B 和 DeepSeek-Distilled-Qwen-7B实验，则在 6 个数学基准（AIME 2024、AIME 2025、AMC、MATH500、Minerva Math、OlympiadBench）上评估。对于智能体实验，在 ALFWorld 的 6 类家务任务上评估成功率。
公平比较协议：为了确保单层训练与全参数训练的比较反映真实的层级差异而非超参数差异，研究团队采取了严格的实验协议：首先为全参数基线调优学习率并选择最佳值，然后将该学习率统一应用于所有单层训练，确保没有任何层获得不公平的优势。所有配置使用相同的超参数（batch size、KL 系数、clip range、epoch 数）并训练至收敛。此外还通过学习率消融实验验证了改变学习率不会改变层贡献度的排序。
发现一：中间层主导 RL 收益，具有与训练设置无关的高度一致性
在所有 7 个模型上，同样的结构性规律反复出现：位于网络深度 40–60% 的层始终拥有最高的层贡献度，而靠近输入端和输出端的层贡献显著偏低。
图3：7个模型的完整层贡献度-层相对深度图。7个模型均呈现出层贡献度中间高两边低的趋势，其中部分层单独训练可以超越全量RL，即处于层贡献度大于1的绿色区域
跨数据集一致性
为验证层贡献度是否依赖于特定训练数据，研究团队在 Qwen3-1.7B-Base 上使用三个不同数据集分别进行单层训练：NuminaMath-CoT（数学）、DeepScaleR（数学）和 DeepCoder（代码）。对比 NuminaMath-CoT 和 DeepScaleR 两个数学数据集，尽管数据组成和难度不同，28 层的贡献度排序呈现强相关（Spearman ρ = 0.76, p < 0.001）——在一个数据集上排名高的层，在另一个数据集上同样排名高。
跨任务一致性
更有意义的是跨任务的验证：将 NuminaMath-CoT（数学）与 DeepCoder
（代码）对比，这两个任务训练的是完全不同的能力，但层贡献度排序仍然显著相关（Spearman ρ = 0.59, p < 0.001）。即使训练目标从数学推理切换到代码生成，同样的层仍然倾向于拥有最高贡献。
图4：在Qwen3-1.7B-base上，对于不同任务的层贡献度进行了分析。结果显示，即使更换训练数据集和任务，层贡献度的排序依然有高度的一致性
跨模型家族和 RL 算法一致性
在 Qwen2.5-Math-1.5B 上使用 Dr. GRPO（而非 GRPO）训练，层贡献度曲线保持了相同的中间高、两端低的结构。最高贡献层集中在 Layer 14（C = 1.01）和 Layer 16（C = 1.00），而最低贡献层位于网络后段（Layer 23，C = 0.42）。最佳层的贡献度是最差层的两倍以上。
图5: Dr.GRPO训练Qwen2.5-Math-1.5B的实验结果
跨任务领域一致性
在智能体任务 ALFWorld 上使用 GiGPO 训练 Qwen2.5-1.5B-Instruct 和 Qwen2.5-3B-Instruct，虽然任务性质从数学推理完全切换到了多步交互式决策，且 RL 增益幅度远大于数学场景（83.7 和 66.0 个百分点 vs 数学任务的 6–10 个百分点），中间层集中的结构仍然保持不变。这说明该模式不局限于小幅度的适应，对大幅度的能力习得同样成立。结果显示，使用Layer 14训练Qwen2.5-1.5B-instruct模型，在ALFWorld任务上能够获得超越全量训练的结果（包括我们自己设立的训练baseline以及GiGPO的官方结果）。使用Layer 16训练Qwen2.5-3B-instruct模型也能一样获得超越全量训练的结果。
图6：GiGPO训练Qwen2.5-1.5B-instruct和训练Qwen2.5-3B-Instruct的实验结果
一个自然的推论是：标准的全参数 RL 训练可能本身就是次优的。当所有层被统一训练时，低贡献层的更新不仅没有贡献，反而可能引入噪声或与高贡献层的学习发生干扰，稀释整体提升。这一推论在下文的选择性训练实验中得到了直接验证——冻结低贡献层后，模型性能反而超过了全参数训练。
实用策略：基于层贡献度的训练优化
基于上述发现，研究团队提出了三种简单而有效的基于层贡献度的训练策略：
策略一：层自适应学习率
对高贡献层使用更高的学习率（1e-5），其他层保持默认率（5e-6）。在所有模型规模上均带来稳定提升：在 Qwen3-1.7B 上，Boost B10 达到 53.70%，vs 基线 50.82%（+2.88）；在 Qwen3-8B 上，Boost B10 达到 67.42%，vs 基线 66.43%（+0.99）。
作为对照实验，研究团队也测试了提升最低贡献层学习率的效果（Boost W5/W10）。结果在所有三个模型上均导致性能下降，确认了改进来自贡献度引导的选择而非学习率调整本身。
策略二：层选择性训练
仅训练贡献度最高的 k 层，冻结其余所有层。效果显著：
-
Qwen3-8B：仅训练 top-10 层 → 69.11%，全参数 RL 为 66.43%（+2.68，代表全参数 RL 总增益的 32%）
-
Qwen3-4B：仅训练 top-5 层 → 65.87%，全参数 RL 为 62.97%（+2.90，代表 25% 额外增益）
-
Qwen3-1.7B：仅训练 top-5 层 → 51.53%，全参数 RL 为 50.82%（+0.71）
相反，仅训练最低贡献的 k 层则导致性能大幅下降（如 Only W5 在 1.7B 上仅 46.87%，4B 上 59.40%，8B 上 62.04%）。这表明在较大规模上，低贡献层的更新可能并不有益，冻结它们反而产生更干净的优化。
策略三：零分析启发式
对于一个模型，我们可以不需要任何层贡献度信息，直接按位置选择中间 5 层进行训练，进而获得效果的提升。具体而言，对于 28 层的模型选择 Layer 11–15，对于 36 层的模型选择 Layer 15–19。
在 Qwen3-1.7B-Base 上，中间 5 层启发式达到 51.35%，vs 贡献度引导选择的 51.53%（Only B5）和全参数基线的 50.82%。在 Qwen3-8B-Base 上，达到 68.19%，vs 68.97%（Only B5）和 66.43%（Full），额外增益代表了全参数 RL 总增益的 21%。
实用启示：在所有三个模型规模上，这一简单启发式均超越了全参数 RL 基线。不需要对于新模型新任务去分析层贡献度，简单地训练中间层就是一个强大的默认策略。
图 8：基于层贡献度引导的训练策略在不同模型规模上的表现。蓝色：对高贡献层提升学习率。绿色：仅训练高贡献层。红色：使用低贡献层的对照实验。紫色：基于位置的中间层启发式。灰色：全参数基线（同时由虚线标示）。Bk/Wk：按层贡献度排序的最优/最差 k 层。误差棒表示 3 次独立训练的标准差。
深入分析：不是参数变化量，而是参数空间质量
一个自然的疑问是：中间层贡献高，是否只是因为它们在全参数训练中参数变化更大？如果全参数训练后只有中间层的权重发生了显著变化，那么中间层贡献度高就是一个自然且不令人吃惊的结论。
为此，研究团队在 Qwen3-1.7B-Base 上测量了每层的权重变化幅度 ‖Δθ_k‖₂，得到两个关键观察：
观察一：全参数训练下，权重变化是均匀的。所有层的权重L2范数的变化幅度在 0.5 到 0.8 之间，分布非常均匀。中间层并没有比其他层变化更多。然而它们在单独训练时却能产生远超其他层的性能提升。这种“权重变化均匀但贡献度高度不均匀”的脱钩，表明层贡献度不能用参数变化幅度来解释。
观察二：单层训练时，所有层的权重变化幅度也是相似的。当一个层被单独训练时，无论它是高贡献层还是低贡献层，其权重L2范数的变化幅度都在 0.8–1.0 之间——显著大于全参数训练时的变化（0.5–0.7），这表明单层需要在参数空间中移动更远来补偿其他层的冻结。但关键是：高贡献层和低贡献层经历了相似幅度的权重变化，却产生了截然不同的性能结果。
图 9：Qwen3-1.7B-Base 上每层的权重变化幅度的L2范数₂。蓝色：全参数训练（所有层均发生变化）。彩色尖峰：单层训练（仅被训练的层发生变化，其余层保持为零）。在全参数训练下，各层的权重变化幅度相对均匀，与高度不均匀的层贡献度形成鲜明对比。在单层训练下，所有被训练的层无论贡献度高低都经历了相近幅度的权重变化，表明层贡献度反映的是该层参数子空间的有效性，而非参数变化的幅度。
这两个观察共同表明：层贡献度反映的是一层参数子空间捕获 RL 改进的有效性，而非参数变化的幅度。某些层的参数空间天然更适合承载 RL 带来的能力提升。
总结
本文揭示了 RL 后训练的一个此前未被认识的结构性属性：
1. RL 收益高度集中：大部分 RL 提升集中在一小部分中间层，而非均匀分布在整个网络。训练单个层即可匹敌甚至超越全参数 RL。
2. 层贡献度具有一致的结构：中间层贡献最高这一规律在不同模型家族、RL 算法、数据集和任务领域间保持稳定，是预训练模型的内在属性。
3. 可直接指导训练优化：简单的基于层贡献度的训练策略（自适应学习率、选择性训练、中间层启发式）均持续超越标准全参数 RL 训练。
这些发现为理解 RL 如何改变大语言模型提供了新的视角，也为改进 RL 后训练提供了实用的新方向。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com