ICML 2026获奖论文公布，扩散模型、AI对齐、模型记忆与A3C成为焦点。
原文标题：ICML 2026获奖论文揭晓：黄高团队获杰出论文，A3C算法获时间检验奖
原文作者：机器之心
冷月清谈：
怜星夜思：
2、AI对齐技术可能变成“审查工具箱”，这个担忧现实吗？还是有点过度悲观？
3、语言模型“每个参数约3.6比特容量”这种结论，对普通开发者有什么实际意义？
4、A3C拿时间检验奖，是否说明强化学习早期的一些“简单粗暴”方法反而更经得起时间考验？
原文内容
刚刚，ICML 2026 正式公布最佳论文奖项。
今年获奖论文共计 10 篇，涵盖 2 篇杰出论文奖、1 篇杰出立场论文奖、5 篇杰出论文荣誉提名奖、1 篇杰出立场论文荣誉提名奖、1 篇时间检验奖。
ICML 由国际机器学习学会（IMLS）举办，与 NeurIPS、ICLR 并列为 AI 三大顶会。本届 ICML 为第四十三届，于 7 月 6 日至 11 日在韩国首尔举行。今年共收到 247 份 workshop 提案，最终 44 个入选举办。
在评选机制上，ICML 2026 延续了一贯严格的学术筛选标准。程序委员会主席综合审稿人评分与领域主席提名，从全部投稿中遴选出 53 篇候选论文，并兼顾八个一级主题方向的均衡覆盖，以减少跨领域评审标准差异带来的偏差。此后经再度评审，候选名单进一步缩减至 22 篇。
最终，上述论文提交由 11 位成员组成的杰出论文评选委员会审议。委员会对匿名论文进行交叉评审，经充分讨论、严格回避利益冲突，并在必要时引入外部专家意见，最终从中选出 2 篇杰出论文与 5 篇荣誉提名论文。
以下是今年的获奖论文与简要介绍。
杰出论文奖
-
论文标题：The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models
-
机构：清华大学、阿里巴巴
-
论文链接：http://arxiv.org/pdf/2601.15165
扩散式大语言模型（dLLMs）打破了传统大语言模型从左到右生成的刚性约束，使 token 可以按任意顺序生成。直觉上，这种灵活性意味着其解空间严格包含固定的自回归生成轨迹，理论上有可能释放出更强的推理潜力。事实上，在一些特定的约束满足任务中，例如数独，这一能力已经展现出明显优势。
然而，论文发现，在数学、编程等通用推理任务中，任意顺序生成反而可能限制 dLLMs 的推理潜力。研究者发现，dLLMs 往往会利用这种顺序灵活性，绕开那些不确定性高、但对探索至关重要的 token，导致解空间覆盖过早收缩。
这一观察促使研究者重新思考面向 dLLMs 的强化学习方法。现有方法往往为了保留这种灵活性，投入大量复杂设计，例如处理组合式生成轨迹和难以精确计算的似然。他们证明，更有效地激发推理能力的方式，恰恰可以是放弃任意顺序生成，直接采用标准的 Group Relative Policy Optimization（GRPO）。
他们的方法 JustGRPO 极为简洁，却取得了出人意料的效果，例如在 GSM8K 上达到 89.1% 的准确率，同时完整保留了 dLLMs 的并行解码能力。
-
论文标题：High-accuracy sampling for diffusion models and log-concave distributions
-
机构：麻省理工学院、耶鲁大学
-
论文链接：https://arxiv.org/pdf/2602.01338
论文提出了一类用于扩散模型采样的算法：在能够获得
意义下精度为 
的 score 估计时，该算法可以在
步内达到
误差。相较于此前所有结果，这实现了指数级提升。
具体而言，在最小数据假设下，其复杂度为
，其中
表示数据的内在维度。进一步地，在非均匀
条件下，复杂度可降低至
。
论文的方法还给出了首个仅依赖梯度评估、即可用于一般对数凹分布的
复杂度采样器。
杰出立场论文奖
-
论文标题：Position: The Alignment Community is Unintentionally Building a Censor’s Toolkit
-
机构：德国慕尼黑大学、独立研究者
-
论文链接：https://openreview.net/pdf?id=dy2HwmOvFX
这篇立场论文指出，现代 AI 对齐方法原本旨在防止模型输出有害内容，但其本身也是一种双重用途技术，很容易被恶意行为者用于审查和操纵。
通过梳理当前对齐技术与潜在滥用可能性，以及已经出现的实际滥用案例，作者表明，追求「完美对齐」模型的过程，也可能在无意中为恶意行为者提供一种不断改进的信息支配工具。
我们需要现在就讨论这种双重用途潜力，因为随着用户迅速将 AI 作为信息获取工具，经济权力不对称不断加剧，以及政治格局日益向威权主义倾斜，这一风险正在被进一步放大。
最后，作者呼吁研究社区正视 AI 对齐机制被有意滥用的可能性，并提出相应的缓解策略，以防范这种双重用途风险。
杰出论文荣誉提名奖
-
论文标题：The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes
-
机构：FAR.AI
-
论文链接：https://arxiv.org/pdf/2602.15515
针对白盒欺骗检测器进行训练，曾被提出用于让 AI 系统变得更加诚实。然而，这种训练也存在风险：模型可能学会对自身的欺骗行为进行混淆，从而规避检测器。此前研究只在人工设定中讨论过这种混淆现象，在那些设定里，模型会因为输出有害内容而直接获得奖励。
研究者构建了一个更贴近现实的编程环境。在这个环境中，模型会自然出现通过硬编码测试用例进行奖励黑客攻击的行为，并且他们发现，混淆现象也会在这一场景中出现。
他们提出了一套分类框架，用于描述针对欺骗检测器训练时可能出现的不同结果。模型要么保持诚实，要么通过两种可能的混淆策略表现出欺骗性：
-
激活混淆（Obfuscated activations）：模型输出具有欺骗性的文本，同时改变其内部表征，使其不再触发检测器。
-
策略混淆（Obfuscated policy）：模型输出能够规避检测器的欺骗性文本，通常会在文本中加入对奖励黑客行为的合理化解释。
实验结果表明，激活混淆源于强化学习过程中的表征漂移，无论是否加入检测器惩罚都会出现。检测器惩罚只会激励策略混淆；从理论上证明，对于策略梯度方法而言，这一结果是符合预期的。
不过，当 KL 正则化强度和检测器惩罚都足够高时，模型可以学到诚实策略。这说明，在容易出现奖励黑客攻击的任务中，白盒欺骗检测器可以作为一种可行的训练信号。
-
论文标题：Motion Attribution for Video Generation
-
机构：英伟达、普林斯顿大学、麻省理工学院
-
论文链接：https://arxiv.org/pdf/2601.08828
尽管视频生成模型发展迅速，但数据如何影响运动生成，目前仍缺乏清晰理解。论文提出了 Motive（MOTIon attribution for Video gEneration），这是一个以运动为核心、基于梯度的数据归因框架，能够扩展到当前大规模、高质量的视频数据集和视频生成模型。
研究者利用 Motive 研究哪些微调视频片段会改善或削弱模型的时间动态表现。Motive 通过运动加权损失掩码，将时间动态与静态外观区分开来，从而高效、可扩展地计算特定于运动的影响。
在文生视频模型上，Motive 能识别出对运动生成影响显著的视频片段，并指导数据筛选，进而提升时间一致性和物理合理性。使用 Motive 筛选出的高影响力数据后，研究者在 VBench 上同时提升了运动平滑度和动态程度；与预训练基座模型相比，人类偏好胜率达到 74.1%。
这是首个在视频生成模型中针对运动而非视觉外观进行归因，并将其用于微调数据筛选的框架。
-
论文标题：How much can language models memorize?
-
机构：Meta FAIR 实验室、谷歌 DeepMind、康奈尔大学、英伟达
-
论文链接：https://arxiv.org/pdf/2505.24832
该研究提出了一种新方法，用于估计模型对某个数据点到底「知道」多少，并据此衡量现代语言模型的容量。
以往关于语言模型记忆能力的研究，一直难以将「记忆」与「泛化」区分开来。该研究在形式上将记忆拆分为两个部分：一是非预期记忆，即模型中包含的、关于某一特定数据集的信息；二是泛化，即模型中包含的、关于真实数据生成过程的信息。
当研究者完全消除泛化因素后，就可以计算模型的总记忆量，并由此估计模型容量。测量结果显示，GPT 风格模型的容量大约为每个参数 3.6 比特。
研究者在规模逐渐增大的数据集上训练语言模型，并观察到：模型会持续记忆训练数据，直到其容量被填满；当容量达到上限后，随着模型开始泛化，非预期记忆反而会下降。
该研究训练了数百个 Transformer 语言模型，参数规模从 50 万到 15 亿不等，并给出了一系列缩放律，用于刻画模型容量、数据规模与成员推断之间的关系。
-
论文标题：A Random Matrix Perspective on the Consistency of Diffusion Models
-
机构：哈佛大学
-
论文链接：https://arxiv.org/pdf/2602.02908
在同一数据集的不同、互不重叠子集上训练出来的扩散模型，在给定相同噪声种子时，往往会生成高度相似的输出。论文将这种一致性追溯到一个简单的线性效应：不同数据划分之间共享的高斯统计特性，已经能够预测生成图像中的很大一部分内容。
为形式化刻画这一现象，研究者构建了一个随机矩阵理论（Random Matrix Theory, RMT）框架，用于在线性设定下量化有限数据集如何影响学习到的去噪器以及采样映射的期望与方差。
对于期望而言，采样波动会通过一个自洽关系对噪声水平进行重整化，从而解释了为什么有限数据会导致低方差方向被过度收缩，并使样本向数据集均值靠拢。
对于波动而言，他们给出的方差公式揭示了导致不同数据划分之间生成结果出现分歧的三个关键因素：不同特征模态之间的各向异性、不同输入之间的非均匀性，以及随数据集规模变化的整体缩放关系。
进一步地，他们将确定性等价工具扩展到分数矩阵幂，从而能够分析完整的采样轨迹。该理论能够精确预测线性扩散模型的行为；他们也在 UNet 和 DiT 架构的非记忆化区间内验证了这些预测，并识别出样本在不同训练数据划分下会于何处、以何种方式产生偏差。
这为扩散模型训练中的可复现性提供了一个有原则的基线，将数据的谱性质与生成输出的稳定性联系起来。
-
论文标题：To Grok Grokking: Provable Grokking in Ridge Regression
-
机构：普渡大学、魏茨曼科学研究所、内盖夫本 - 古里安大学
-
论文链接：https://arxiv.org/pdf/2601.19791
作者在经典岭回归设定下研究 grokking，即模型在过拟合很久之后才开始出现泛化的现象。团队针对使用带权重衰减的梯度下降来学习过参数化线性回归模型，证明了一组端到端的 grokking 结果。
具体来说，团队证明了训练过程中会依次出现以下阶段：
-
模型在训练早期就过拟合训练数据；
-
在过拟合已经出现很久之后，模型的泛化能力仍然较差；
-
最终，泛化误差会变得任意小。
此外，作者从理论和实验两方面表明，通过合理调节超参数，可以有原则地放大或消除 grokking 现象。据研究，这是首次针对泛化延迟给出严格的定量界限，并将其与训练超参数联系起来。作者将这种泛化延迟称为「grokking time」。
最后，在线性设定之外，作者还通过实验展示，这些定量界限同样能够刻画非线性神经网络中的 grokking 行为。结果表明，grokking 并非深度学习固有的失效模式；它更可能源于特定训练条件，因此，要避免这一现象，并不需要对模型架构或学习算法进行根本性改变。
杰出立场论文荣誉提名奖
-
论文标题：Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)
-
机构：密歇根大学
-
论文链接：https://openreview.net/pdf?id=mLhZzo7BIb
AI 生成的非自愿亲密图像（AI-generated non-consensual intimate imagery，AIG-NCII），在关于 AI 生成媒体的 AI/ML 文献中并未得到充分讨论。这类 AI 生成媒体通常被称为「深度伪造」（deepfakes）。当前关于深度伪造的研究主要聚焦于其认识论伤害，即与真相和真实性有关的伤害；但这与生成式 AI 滥用的主流现实并不匹配，因为现实中的滥用很大一部分涉及性化图像。
作者对高被引研究进行了整体分析，结果表明，针对深度伪造的技术干预几乎完全忽视了 AIG-NCII，使整个研究生态基本局限于真实性检测工具。
在这篇立场论文中，作者指出，现有干预措施主要处理以观看者为中心的认识论伤害，例如欺诈或诈骗，却忽视了以图像主体为中心的尊严伤害，例如 AIG-NCII。作者进一步说明，即使知道某张图像是合成的，也并不能减轻其对图像主体造成的伤害；在某些情况下，这种认知甚至可能加剧伤害。
最后，作者提出若干建议，以推动该领域重新对齐研究重点，包括更新威胁模型，将以图像主体为中心的伤害纳入考量，并在 AI 安全研究中正视 AIG-NCII 问题。作者也提醒研究者，只有在为图像主体和研究者双方都建立安全护栏，并与性暴力预防领域专家建立合作关系的前提下，才应进入这一高风险研究领域。
时间检验奖
ICML 2026 时间检验奖的评选是将所有被 ICML 2016 接收的论文都纳入了评选范围。
评选首先依据论文引用量和学术声誉，筛选出八篇具有影响力的候选论文。随后，评审方咨询了相关子领域的顶尖研究者，以评估每篇候选论文的长期影响力及其获奖适配性。最终，一篇论文成为明确的获奖者。
-
论文标题：Asynchronous Methods for Deep Reinforcement Learning
-
机构：谷歌 DeepMind、蒙特利尔大学
-
论文链接：https://arxiv.org/pdf/1602.01783
论文提出了一个概念上简单且轻量的深度强化学习框架，该框架使用异步梯度下降来优化深度神经网络控制器。
研究者给出了四种标准强化学习算法的异步版本，并证明，并行的 actor-learner 能够对训练起到稳定作用，使这四种方法都能成功训练神经网络控制器。
其中表现最佳的方法是一种异步版本的 actor-critic。它在 Atari 任务上超越了当时的最优水平，而且只使用单个多核 CPU 训练，训练时间仅为此前方法的一半，无需 GPU。
此外，他们还表明，异步 actor-critic 不仅能够解决多种连续运动控制问题，也能完成一项新的任务：基于视觉输入，在随机生成的 3D 迷宫中进行导航。
参考链接：
https://x.com/icmlconf/status/2073902010483741132
https://blog.icml.cc/2026/07/05/announcing-the-icml-2026-awards/
【ICML 2026首尔 · 云帆AI Talent Meetup】最后报名中，快来晚宴现场Pick你感兴趣的同行者🍻～
7月9日晚，首尔ICML会场旁，上海人工智能实验室、上海科技大学、上海创智学院、阶跃星辰、Sharpa Robotics等20余家上海顶尖AI单位现场设展，开放100+岗位。专场招聘、学术分享、圆桌交流、自由Networking、晚宴一站式搞定。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com