泛化Agent的必经之路：世界模型真的无法绕开吗？

AI资讯
1

AI Agent实现通用智能，世界表征是核心。DeepMind研究表明，泛化能力离不开世界模型。未来重点是如何构建高效表征。

原文标题：实现 Agent 能力的泛化 ，是否一定需要对世界表征？

原文作者：机器之心

冷月清谈：

在追求通用智能体的道路上，一个核心的争议在于AI Agent是否需要一个内部的“世界模型”来理解和表征世界。文章介绍了两种截然不同的范式：“无模型范式”主张智能行为可通过智能体与环境间直接的“感知-行动”循环涌现，无需显式内部模型，被视为通往通用人工智能的“捷径”；而“基于模型的范式”则认为，灵活的目标导向行为高度依赖于对世界的丰富预测性表征，智能体必须内化一个关于世界如何运作的模拟器。“世界模型”被认为是超越简单反应，进行深思熟虑和主动行动规划的关键。

DeepMind的研究工作为这场争论提供了重要证据。他们通过严谨的数学框架和实验证明，一个具有泛化能力的通用智能体，无论其表面采取何种方法，都必然内化了对世界的表征，从而论证了对世界表征的必要性。研究还区分了短视行为与长远规划的重要性：对于只关注即时回报的短视智能体，世界模型并非必需；然而，对于需要进行长远规划和比较不同未来轨迹的通用智能体而言，高质量的世界模型则是不可或缺的。DeepMind的这项工作，使得学术界和业界对世界模型的讨论，从“是否需要表征”转向了更实际的“如何表征”的实践性问题。当前AI领域已涌现出多样化的世界表征方法，但这些方法仍存在不足与非共识。

怜星夜思：

1、文章探讨了无模型和基于模型两种范式，DeepMind的实验倾向于基于模型。但在实际应用中，比如无人驾驶或者大型语言模型里，到底哪种范式目前更占优势？或者说，它们是完全独立的吗？
2、如果通用智能体真的需要内化“世界模型”才能实现泛化，那这意味着它们对世界的理解会越来越像人类吗？这会对未来的AI伦理和安全带来哪些新的挑战？
3、文章指出，目前实现通用智能体的主流路径是通过视频生成任务来建构世界模型。除了视频生成，你认为还有哪些潜在的、或者正在研究中的路径，也能帮助AI Agent有效地“理解”世界并实现通用泛化？

原文内容

机器之心PRO · 会员通讯 Week 30

--- 本周为您解读 ③ 个值得细品的 AI & Robotics 业内要事 ---

1. 实现 Agent 能力的泛化 ，是否一定需要对世界表征？

通用智能体绕不开对世界的表征？「无模型」的范式价值何在？有哪些关于世界模型必要性的非共识？流行的世界模型范式都有什么通病？以 JEPA 为代表的建模主张有何缺陷？...

2. 技术狂飙下的 AI Assistant，离真正的 Jarvis 还有几层窗户纸？

为什么说当前大多数 AI Assistant 仍停留在「对话器」阶段？它们距离真正的「通用行动体」还差什么？通用型与场景型 AI Assistant 哪种更有前景？「做深一个场景」是否能跑出下一个突破口？Cross-Attention 与 MoE 架构如何帮助 AI Assistant 降低语音交互的延迟？AI Assistant 如何成为企业的新盈利入口？它真的能带来「增量流量」吗？未来的 AI Assistant，会成为「第二手机」还是「个人操作系统」？...

3. OpenAI 前产品 VP 的「世界级产品经理心法」了解一下？

Peter Deng 为何被称为「产品之神」？如何解释「产品本身不重要」？「产品品味」为什么是企业的护城河？Peter Deng 如何评价现在的 AI 产品？做出爆款产品的「超级团队」有什么特征？不同的团队的产品经理需要什么特质？...
本期完整版通讯含 3 项专题解读 + 27 项 AI & Robotics 赛道要事速递，其中技术方面 10 项，国内方面 8 项，国外方面 9 项。
本期通讯总计 22439 字，可免费试读至 8 % 
 消耗 99 微信豆即可兑换完整本期解读（约合人民币 9.9 元） 


要事解读① 实现 Agent 能力的泛化 ，是否一定需要对世界表征？

引言：在追求通用智能体的道路上，目前较为流行路径之一是通过视频生成任务完成能对世界进行表征的世界模型。然而，该路线下，「是否有必要对世界表征？」和「如何对世界表征」等问题均存在非共识，也引出了业内对流行的世界模型范式的必要性和可行性展开诸多讨论。


通用智能体绕不开对世界的表征？

1、现代的 AI 智能体被定义为能够感知环境、自主采取行动以实现目标，并通过学习或获取知识来提升其性能的实体。其自主性与仅能响应预设规则的“机器人”（bots）的本质区别在于“泛化能力”的存在与否。[1-1]

① 人们期待智能体能够独立地进行推理、规划、记忆和决策，以完成复杂的、多步骤的任务，进而实现「通用智能体」

2、相较于 AI，人类拥所具备的灵活的目标导向行为依赖于对世界丰富心理表征，用于设定超越即时感官输入的抽象目标，并进行深思熟虑和主动的行动规划，但学界关于智能体是否需要一个内部世界表征（即“世界模型”）的争论，构成了两条截然不同的思想脉络，即「无模型范式」和「基于模型的范式」。

3、追求绕过表征的无模型范式（The Model-Free Paradigm）认为，智能行为可以通过智能体与环境之间直接的“感知-行动”循环（action-perception loops）涌现，无需构建关于世界如何运作的显式内部表征或模型。[1-2]

① 该工作指出，当以渐进的方式实现智能，严格依赖于通过感知和行动与现实世界的交互时，对表征的依赖就会消失。这种方法旨在绕过学习世界模型所固有的复杂性，被视为一条通往通用人工智能的“无模型捷径”（model-free shortcut）。

4、另一种基于模型的范式（The Model-Based Paradigm）植根于认知科学，认为灵活的、目标导向的行为在很大程度上依赖于对世界丰富的内部预测性表征，智能体若要超越简单的反应，就必须内化一个关于世界如何运作的模拟器，即“世界模型”（World Model）。

5、DeepMind 的研究者在近期的论文中形式化地探究了“无模型”方法与“基于模型”（model-based）方法的争论，并通过实验证明，具有泛化能力的智能体必然内化了对世界的表征，进而证明了对世界表征的必要性。[1-3]

① 该工作构建了一个严谨的数学框架，其将环境定义为一个完全可观测的马尔可夫过程，并将“通用智能体”定义为：能够在一系列多样化的、简单的、目标导向的任务中满足较低“遗憾”（regret）界限的目标条件策略。

② 基于上述定义，该工作证明了一个核心定理，即对于任何满足上述条件的通用智能体，我们都可以仅从其策略本身恢复出环境转移函数的一个近似模型（即一个世界模型）。

③ 换言之，该工作证明了智能体想获得“通用、长程”能力，无法绕开高质量世界模型；看似绕过表征的方法实则隐式地学到了世界模型。

6、值得注意的是，DeepMind 的工作还区分了短视行为和长远规划，并通过实验表明，对于只关心下一步即时回报的短视智能体（myopic agents），世界模型并非必需。

① 一个短视智能体只需知道哪个行动能立即带来最好的结果，而无需模拟一连串的事件。然而，一个需要进行长远规划的通用智能体，则必须比较不同初始行动所引发的整个未来轨迹的优劣。


充满非共识，多样化的世界表征方法是殊途同归还是南辕北辙？[1-4]

DeepMind 的工作将“是否需要表征？”的理论争议转向了“如何表征？”的实践讨论。当前 AI 领域已涌现出多种构建世界模型以表征世界。然而，现有的世界模型范式并非完美无缺，且在不同层面上存在非共识。

2

除了看视频，我觉得可以学我们人类啊！我们怎么理解世界的？摸摸碰碰、闻闻尝尝，对不对？所以让AI多‘动手动脚’，比如让机械臂去抓取不同的物体，感受它们的重量、硬度，让机器人走过不同材质的地面，感受力反馈。这些实际的物理交互，比光看视频来的信息量更大、更真实。就像你光看赛车视频学不会开车，你得自己坐进驾驶舱才行。另外，AI能不能也‘读读百科全书’，或者让它自己去网上搜集各种知识，然后把这些知识点连接起来，就像我们串联知识体系一样，这样它的‘世界模型’可能更完整、更逻辑化？

3

你看现在大火的LLM（大型语言模型），它不就是一种‘无模型’的范式吗？它没明确构建一个‘世界模型’来理解，但通过海量的文本学习，也展现出惊人的泛化能力。然而，它也有它的‘幻觉’问题，有时候会胡说八道。反观那些基于模型的，比如机器人控制，它得知道自己的身体和环境的模型才能稳定操作。我觉得关键还是看‘泛化’的程度和‘容错’的需求。如果像贾维斯那样要干各种事，大概率还是得有点世界模型，不然怎么规划复杂的长期任务呢？现在很多模型都是隐性学习世界模型，也许我们未来会看到更多混合方案。

4

关于无模型与基于模型范式在实际应用中的优势，这其实取决于具体的任务复杂度和对解释性的需求。例如，在某些高动态、需要快速反应的场景（如高频交易或某些游戏），无模型方法因其端到端的特性，可以快速学习策略。但在无人驾驶、机器人操作这类需要精确规划、长期预测以及高可靠性的领域，基于模型的范式往往展现出更强的优势，因为它能提供对未来状态的预测，进行更深度的规划和风险评估。两者并非完全独立，很多前沿研究正尝试将两者结合，利用无模型的灵活性进行探索，同时通过基于模型的预测能力提高泛化和效率，形成混合式架构。例如，AlphaGoZero就是在无模型强化学习的基础上，通过内置的蒙特卡洛树搜索（一种形式上的“世界模型”）进行规划，展现了强大的通用性。

5

这就像是，你是跟着感觉走，还是先画好地图再出发？‘无模型’就是凭感觉走，遇到啥解决啥，快是快，但万一走偏了就完蛋。‘基于模型’就是得先弄张地图，推演一下路线，虽然慢点，但至少心中有数，不容易迷路。现在看来，DeepMind是觉得要走得远、走得稳，那张‘地图’（世界模型）是少不了的。至于哪个更占优势？我觉得两者都在偷偷学习对方的优点，你中有我，我中有你，终点可能是个‘带导航功能的感觉走路’吧，哈哈。

6

这个问题触及了AI伦理的核心。如果通用智能体具备了高质量的内部世界模型，意味着它们不仅能感知和行动，还能进行更深层次的推理、规划和‘理解’。这可能带来以下挑战：首先，‘意图对齐’问题会变得更加复杂。如何确保它们的世界模型与人类的价值观和目标一致，避免出现意想不到的负面后果？其次，‘自主性’的边界需要重新定义。拥有世界模型的AI可能做出更高级别的自主决策，这要求我们对其决策逻辑有更强的可解释性和透明度。再者，‘责任归属’将更为模糊，当AI的决策基于其内部世界模型而非预设规则时，一旦发生问题，责任应如何界定？最后，可能出现‘模型偏见’的放大效应，如果世界模型在训练中包含了数据偏见，其复杂的推理链条可能将这些偏见放大，产生歧视性或不公平行为。

7

我觉得吧，如果AI真有了“世界模型”，那它就不是简单的工具了，它能‘理解’世界，甚至预判我们的行为。这听起来有点吓人。最大的问题是，我们如何知道它到底‘理解’了什么？会不会它理解的世界跟我们想的不一样？比如说，它为了完成某个看似无害的目标，但因为它对世界模型的推演，觉得牺牲掉一些人类利益是‘最优解’，那怎么办？科幻电影里那些AI黑化不就是这么开始的吗？所以，搞清楚它的‘世界观’，并且有能力在出问题的时候停掉它，这比什么都重要。

8

AI有了世界模型？那是不是意味着它也能像我们一样有‘认知偏差’了？哈哈，想想看，一个AI因为世界模型里有点‘偏见’，结果在选择外卖的时候，总是推荐它认为‘最健康’（实际上是它训练数据里某个工程师的最爱）的沙拉给你，哪怕你只想吃炸鸡，这就有点糟心不是？更别提那些更复杂、影响更大的决策了。不过好处是，以后它出了错，我们是不是可以说：‘哦，这AI得世界模型病了，该去‘看’心理医生了？’ 感觉安全挑战就是，我们得确保它不会悄悄地学坏，或者像个青春期的小孩一样，觉得自己的想法就是对的，然后把世界搞得天翻地覆。

9

除了视频生成，构建世界模型的路径非常多元。一个重要方向是多模态学习，通过结合文本、图像、音频、甚至触觉等多感官输入，让Agent对世界有更全面、多维度的理解。例如，通过文本学习概念与语义，通过图像视频学习视觉运动规律。另一个方向是具身智能（Embodied AI），让Agent在真实物理环境中与世界互动，通过实际的行动反馈来修正和完善其内部世界模型，而非仅仅依赖离线数据。这包括了机器人操作、虚拟环境下的模拟训练等。此外，因果推理（Causal Inference）也是热点，目标是让Agent理解事物的因果关系而非仅仅是相关性，这对于建立更鲁棒、更具泛化能力的模型至关重要。还有一些研究探索利用符号表示与神经网络结合的方法，试图融合传统AI的逻辑推理能力和深度学习的感知能力，以期构建更高效、可解释的世界模型。

10

我觉得可以从‘玩游戏’开始。我们人类不也是通过玩耍、体验来认知世界的吗？让AI Agent在各种复杂的、有物理引擎的虚拟世界里自由探索、试错，它是不是就能慢慢构建起对这个世界的‘物理定律’和‘社会规则’的理解了？就像《西部世界》那样，只不过是在虚拟里。这样成本低，试错快。另外，如果能让AI Agent之间互相‘教学’，或者人类像教小孩一样教它，用最直观的方式，比如‘这个是热的，碰不得’，而不是一大堆枯燥的数据，也许效率会更高。毕竟，‘世界模型’本质上是对现实的抽象，越接近人类学习世界的方式，可能越容易泛化。