Diffusion模型在NLP领域取得突破，引发业界思考其是否能通过并行生成等优势，率先实现多模态大一统，挑战自回归架构的主导地位。
原文标题：Diffusion 一定比自回归更有机会实现大一统吗？
原文作者：机器之心
冷月清谈：
然而，近期扩散语言模型（DLM/dLLM）在自然语言处理领域的显著突破，使得扩散（Diffusion）架构作为实现多模态大一统的“潜力种子”选手，重新进入了人们的视野。尽管扩散模型此前主要在视觉生成领域大放异彩（如Stable Diffusion），但研究者们开始审视其在复杂推理和多模态整合方面的独特潜力。
多项研究指出，Diffusion架构具有几个关键优势，使其在追逐大一统的道路上可能超越自回归模型。首先，Diffusion天然支持并行生成、精细化控制和动态感知，这些能力对于AR模型而言实现难度较大。例如，DLM能够通过并行生成和迭代式去噪，有效解决自回归模型在文本推理速度上的瓶颈，这在理论上带来更高的效率。其次，从信息论角度看，如果说自回归模型通过最小化序列描述长度实现无损压缩，那么扩散架构则是一种强大的纠错机制，其正向加噪和反向去噪过程同样构成一种强大的压缩框架，并且天然支持不同的压缩模式。这些特性使得扩散模型在扩展至不同模态时，展现出巨大的灵活性和广阔的应用前景，预示着它有望更早地实现真正的多模态“大一统”。
怜星夜思：
2、如果Diffusion真的能在大模型领域“大一统”成功，那未来我们用AI的方式会发生啥大变化啊？有没有人展望一下？
3、Diffusion模型看下来好像优点挺多，特别是并行生成。但它在实现真正的多模态“大一统”过程中，有没有什么目前还没解决的硬伤或者说隐藏的挑战啊？
原文内容
机器之心PRO · 会员通讯 Week 35
--- 本周为您解读 ③ 个值得细品的 AI & Robotics 业内要事 ---
1. Diffusion 一定比自回归更有机会实现大一统吗？
有哪些工作认为 Diffusion 有望取代主流的 AR 架构？Diffusion 做大一统有何理论基础？为什么 Diffusion 的并行生成理论上更高效，但还是比 AR 慢？是什么解锁了 DLM 的文本推理能力？近期工作挖掘了 DLM 的哪些潜力？...
2. 合成数据的「毒」与「药」，模型崩溃有何新解？
合成数据为什么会在迭代训练中逐代污染训练集？模型在早期和晚期崩溃表现出了怎样的差异？不同类型生成模型（LLM、VAE、GMM）崩溃机制有何共性和差异？合成数据在预训练、微调、后训练、评估各阶段分别发挥了哪些功能？在什么情况下会反而降低模型性能？「Token-Level Editing」、「黄金比例混合」和「递归训练样本控制」等方法各自解决了崩溃问题的哪一环？在实际训练中，如何量化「合成数据带来的信息增益」以保证模型泛化能力？...
3. 智能体靠 Oak 架构自进化，Sutton 揭秘强化学习才是驱动力！
Sutton 为什么认为强化学习是通向 AGI 的关键路径？「大世界」视角下，AI 为什么无法依赖预装知识？Oak 架构的「感知-玩耍-预测-规划」循环如何推动智能体自我进化？在 Oak 中，子问题和选项机制如何实现经验到高层知识的涌现？Oak 架构的开放式发现循环能否保证智能体无限成长？...
要事解读① Diffusion 一定比自回归更有机会实现大一统吗？
引言：GPT-4o 在 2025 年 3 月的发布时引发了一波对多模态模型的热度。但在自回归（AR）架构主导的多模态范式下，扩散语言模型（DLM/dLLM）近期在 NLP 领域的突破引发了另一种思潮，即扩散架构或许有望先一步实现真正的「大一统」。
从初现端倪到日趋成熟，Diffusion 成为多模态大一统「潜力种子」选手？
1、在 AI 的发展中，模型的多模态能力被认为是实现人类级别智能的必要条件。这使得构建「大一统」模型被认为是其中的关键一步。
2、对于业内所探讨的「大一统」模型，其目标是对模态的统一，旨在用一个单一、连贯的架构实现对异构数据类型（如文本、图像、音频、视频、3D 模型乃至机器人动作信号）的理解与生成。通过整合多源信息，AI 模型能够形成更接近人类认知的、整体性的世界理解，从而在复杂推理和决策任务中表现更佳。[1-1]
3、在追求「大一统」模型的道路上，自回归（AR）架构长期占据主导地位。以 Transformer 为代表的自回归 LLM 最初在 NLP 领域实现突破，然后衍生至多模态领域，催生出 LLaVa、Qwen-VL、InternVL、Ovis 和 GPT4 等强大的多模态理解模型。[1-2]
3、扩散模型此前在视觉领域得到广泛的应用，相关成果包含 Stable Diffusion 和 DiT 等。相比之下，扩散（Diffusion）架构此前流行于视觉生成领域，但近期伴随扩散语言模型（DLM/dLLM）在自然语言处理任务上取得突破，让人们开始重新审视这种架构在推理和实现多模态大一统的潜力。
① 香港大学和阿里等机构的研究者在 2025 年 5 月的综述中强调，扩散范式天然支持并行生成、精细化控制和动态感知，这些是 AR 模型难以实现的能力，使其在多模态领域极具潜力。[1-2]
② 同年 6 月，新加坡国立大学的研究者在一篇综述中强调了离散扩散架构的前景，并将其作为替代 AR 实现多模态大一统处理能力的潜在方案进行总结。[1-3]
③ 而后在 2025 年 8 月，MBZUAI 和清华的研究者则在其综述中界定了扩散语言模型通过并行生成和迭代式去噪解决 AR 模型推理速度瓶颈的根本优势，以及后续扩散架构扩展至不同其他模态的潜力论证。[1-5]
走向「大一统」，Diffusion 的潜力源自何方？
1、从信息论的角度出发，生成式建模本质上是一种复杂的数据压缩算法。以 Transformer 为代表的 AR 架构中的 NTP 目标本质上等同于最小化序列的描述长度，这使其成为一种强大的无损压缩机。
① 自回归（AR）模型的本质是预测下个 token，这种架构最初用于语言建模，因此尤其适应 NLP 任务。对于多模态任务（如视觉），自回归模型需要将输入转换为一维序列（像素、图像块或潜在代码）来适应任务。
② 基于 AR 的多模态方法有早期的双编码器架构，需要单独编码图像和文本输入，然后通过对齐的潜在表征来进行推理。随着 LLM 兴起，AR 多模态模型逐渐转向仅解码器架构，一般会通过一个连接器来转换图像嵌入。
2、扩散架构的本质是一种纠错机制，其正向加噪和反向去噪的过程虽然在操作上与 Transformer 不同，但同样可以被理解为一个强大的压缩框架，且天然地支持两种压缩模式。[1-7] [1-8]
到时候可能直接意念一动，AI就把你脑子里想的全部具现化了，还给你配上背景音效和触感反馈。是不是以后连做梦都会变得更清晰，因为AI可以直接把梦境解析成多模态输出？想想都刺激！不过也可能像《黑客帝国》那样，我们都活在AI创造的完美“幻象”里，哈哈。