世界模型通过预测环境变化支撑智能体决策，并走向机器人、驾驶与工业仿真。
冷月清谈：
怜星夜思：
2、机器人主要在虚拟环境训练时，怎样缩小仿真与现实之间的差距？
3、未来更可能出现一个通用世界模型，还是各行业长期使用专用模型？
4、只观看海量视频，世界模型能学到因果关系吗？还需要哪些额外数据？
原文标题：科普之旅丨世界模型：从认知科学到智能体，AI所构建“内在宇宙”
原文作者：数据派THU
原文内容
作者：李媛媛本文约6000字，建议阅读12分钟本文介绍了 AI 世界模型的原理、技术、落地场景及发展挑战与展望。
在这个信息爆炸的时代，你是否曾幻想过与机器流畅交谈，或是让AI助你笔下生花，创作出惊艳的文章？这一切，都离不开大语言模型的神奇魔力。今天，让我们一起揭开这层神秘的面纱，走进大语言模型的科普奇幻之旅！
在日常生活中，人类的行为判断往往依托对环境变化的基本认知。拿起水杯、横穿马路、规避高温物体，这些行为都不需要反复试错，依靠的是大脑对外部环境变化规律的基本判断能力。人类会在思维中建立一套简化的环境认知方式，用来预判行为结果、调整动作选择，这也是认知层面最基础的世界模型形式。
在人工智能领域，世界模型是近几年智能体研究的重要研究方向。不同于传统大模型侧重文本、图像内容生成，世界模型更关注环境状态变化的规律学习。它通过对外部环境的观察，学习物体运动、场景变化、行为联动的基本规律，形成可预测、可推演的环境表达形式，辅助人工智能系统完成决策、规划、控制等任务。目前，世界模型已经逐步应用在自动驾驶、机器人仿真、工业仿真、视频生成、生物模拟等领域，推动人工智能从数据拟合向环境理解方向过渡。
一、生物认知与人工智能环境建模逻辑
人类和动物的环境判断能力，来自长期认知积累形成的环境认知方式。相关认知科学研究，为人工智能世界模型的设计提供了基础参考思路。
1948年，心理学家Edward C. Tolman完成经典的老鼠迷宫实验，提出“认知地图”理论。研究人员让实验动物自由探索陌生迷宫环境，不设置奖励引导。在探索完成后，在固定位置放置食物。实验结果显示，经历过自由探索的动物，能够更快找到通行路径，整体通行效率高于反复试错学习的对照组。
实验现象说明，生物在无奖励探索的过程中，能够逐步建立空间环境的认知结构，记录道路分布、空间位置、可行路径等信息，后续可以依托已有认知完成路径选择，不依赖逐次试错。
图1：托尔曼认知地图实验示意图
*注：实验中老鼠能够利用认知地图选择捷径，证明生物大脑可构建环境的内在表征，而非仅依赖行为试错。
1971年，Roger N. Shepard与Jacqueline Metzler开展心理旋转实验。受试者判断两个立体图形是否为同一物体时，反应时长和图形旋转角度呈线性关系。这说明人会在思维中完成虚拟比对和空间推演，依靠已有物理认知得出判断结果。这种在思维中模拟环境变化的方式，大幅降低了现实试错成本，提升了行为判断的稳定性。
传统人工智能模型主要依托大规模数据训练，学习输入与输出之间的对应关系。这种学习方式在固定场景中可以稳定工作，但存在一定局限。模型对新场景适应性偏弱，对环境变化规律缺少理解，仅能学习数据中出现过的关联特征。
参考生物的环境认知逻辑，研究人员开始探索让人工智能学习环境动态变化规律，而非单纯学习数据特征，世界模型的研究思路由此逐步成型。
二、人工智能世界模型的基本定义与发展过程
2.1 基本定义
人工智能领域的世界模型，是一种用于表达外部环境状态与动态变化规律的建模方式。它基于环境观测数据，建立环境状态、物体属性、行为变化之间的对应关系，能够根据当前环境状态和智能体动作，推算下一时刻的环境变化。
从技术角度来看，世界模型主要用于拟合环境状态的转移过程，记录环境随行为、时间产生的动态变化。其工作逻辑可以简单理解为：基于现有场景信息，结合即将执行的动作，预测场景接下来的变化状态。
需要明确的是，世界模型不属于单一模型产品，而是一类建模思路。不同研究场景下，世界模型可以结合神经网络、物理引擎、多模态数据完成搭建，适配视觉感知、运动控制、场景仿真等不同任务。
2.2 技术发展过程
世界模型的技术基础来自强化学习的环境建模研究。早期强化学习算法多以直接试错训练为主，智能体在真实环境中不断交互，通过奖励信号调整行为策略。该方式训练周期长、数据消耗量大，在实体设备场景中容易产生设备损耗，落地成本较高。
为降低训练成本，研究人员提出模型基强化学习思路。先搭建简易环境模型，通过模型生成模拟数据，再使用模拟数据训练智能体策略，减少真实环境的交互次数。早期环境模型仅适配简单低维数据，无法处理图像、视频等高维场景信息，应用范围有限。
2018年，David Ha与Jürgen Schmidhuber发表论文《World Models》，完善了现代世界模型的基础框架。研究在游戏场景中完成验证，让智能体通过视觉观察学习场景规律，在模拟环境中完成训练，再迁移至真实场景使用。实验结果证明，依托环境模拟训练的智能体，可以达到常规算法相近的效果，为后续世界模型的研究和应用提供了可行路径。
2.3 基础架构组成
《World Models》论文提出的经典世界模型，主要由三部分模块组成，各模块分工明确，形成完整的环境学习与决策闭环。
图2：World Models三模块架构图
*注：视觉编码器（V）、记忆转移模型（M）、控制器（C）构成世界模型经典范式
第一部分为视觉编码模块。主要用于处理图像类高维数据，对场景画面进行特征压缩，过滤冗余像素信息，保留物体位置、轮廓、状态、相对距离等关键环境信息，将复杂图像数据转化为标准化特征向量，方便后续模型计算。
第二部分为状态转移模块。这是环境规律学习的主要模块。基于编码后的环境特征和智能体执行的动作，推演下一时刻的环境状态变化，记录场景动态规律，实现环境的时序模拟。
第三部分为控制模块。根据模型推演的环境状态，输出对应的行为策略，完成场景中的动作执行与任务推进，适配游戏控制、机械运动、路径行走等任务场景。
整套架构通过数据压缩、规律学习、动作输出的流程，简化了复杂环境的建模难度，提升了智能体与虚拟环境的适配效率。
三、世界模型与传统生成模型的区别
现阶段大语言模型、视觉生成模型已经具备较强的内容生成能力，能够输出符合日常认知的文本和图像内容。从外在效果来看，传统大模型与世界模型都可以输出符合常识的结果，但二者的建模逻辑和工作方式存在明显区别。
3.1 建模目标不同
传统生成模型以数据拟合为主要目标，学习文本、图像、视频数据中的特征分布，生成风格、内容、结构与训练数据相近的结果。模型不需要理解物理规律和环境逻辑，仅依托数据特征完成生成任务。因此，传统生成内容偶尔会出现物体结构异常、运动逻辑混乱、透视关系错误等问题。
世界模型以环境动态规律学习为目标，重点关注场景状态的变化逻辑。模型训练过程更看重物体运动、碰撞、位移、形变等动态变化的合理性，优先保证推演结果符合场景运行规律，对画面精细度的要求相对更低。
3.2 建模对象不同
大语言模型以文本序列为建模对象，基于字词排列规律学习语言知识，所有常识认知都来自文本数据的关联特征。模型缺少真实环境的空间结构认知，对场景动态变化的判断，依赖文本描述的出现频率。面对条件改动、场景变体、新型组合场景时，判断稳定性不足。
世界模型以连续的环境状态为建模对象，建立空间、物体、动作、变化的结构化对应关系。模型可以根据参数变化，推演不同条件下的场景结果，适配多种场景变体，不局限于已有训练样本。
3.3 学习方式不同
传统大模型主要学习数据中的相关性特征，统计不同信息的共现概率，无法区分关联关系与因果关系。部分高频共现内容会被模型固化为认知特征，在特殊场景中容易出现判断偏差。
世界模型在学习环境变化的同时，逐步建立变量之间的对应关系，区分行为与结果的联动逻辑，能够在陌生场景中做出相对合理的推演判断，适配开放场景变化。
3.4 实际应用差异
在常识问答、文字创作、画面生成等静态任务中，传统大模型可以稳定输出合格结果。但在动态场景判断、连续动作控制、环境变化推演、实体设备操控等任务中，传统大模型缺少闭环能力，无法直接落地。
世界模型更适配动态连续任务，能够持续跟踪环境变化、更新状态判断、调整执行动作，可直接对接机器人、自动驾驶等实体控制场景，形成感知、推演、决策、执行的完整闭环。
两类模型不存在替代关系，现阶段多数智能系统会结合二者优势，使用大模型完成语义理解和任务规划，使用世界模型完成场景推演和动作验证。
四、世界模型的主流技术实现方式
经过多年迭代，世界模型逐步形成三类稳定的技术实现路径，分别适配仿真训练、高精度物理场景、多模态通用场景。
4.1 隐空间数据建模方案
该方案是目前应用较广的通用建模方式，整体依托数据驱动训练，不需要人工预设大量物理规则。通过压缩高维场景数据，在低维特征空间完成环境推演，再还原场景结果，适配多数通用视觉场景。
这类方案的代表性研究为Dreamer系列模型。2019年，Danijar Hafner等人发布Dreamer v1，提出循环状态空间模型RSSM，通过拆分环境状态的固定特征和随机变化特征，优化时序推演效果，降低长时间模拟产生的误差累积，提升环境推演的稳定性。相比于传统算法，该方案的数据利用效率更高，适合游戏场景、虚拟仿真、视觉推演等任务。后续团队在2020、2023年陆续推出Dreamer v2、Dreamer v3，持续改进模型性能。
图3：Dreamer循环状态空间模型（RSSM）架构图
*注：RSSM分离确定性与随机性状态，是当前生成式世界模型的主流核心结构。
后续结合扩散模型的图像生成能力，研究人员进一步优化了场景还原精度，生成画面的细节效果更好，适配视频生成、虚拟场景搭建等视觉要求更高的场景，但计算成本相对更高，实时性表现一般。
4.2 物理规则嵌入建模方案
该方案依托成熟的物理引擎完成环境建模，将已知的力学、运动学规则引入模型，不需要AI从零学习基础物理规律。比较常用的物理引擎包括MuJoCo（由Emanuel Todorov主导开发）、Bullet Physics。AI负责识别物体位置、质量、摩擦系数等参数，由物理引擎计算碰撞、运动结果。物理结果稳定可靠，计算速度快，适合机器人、自动驾驶这类结构化场景。
为兼顾泛化性和物理准确性，学界提出软物理约束方案：不完整嵌入物理引擎，而是将物理守恒规则作为损失约束，引导模型学习符合物理规律的表征，适合柔性物体、复杂地形这类半结构化场景。
4.3 端到端多模态范式
大模型时代的前沿方向，使用海量多模态数据端到端训练通用世界模型，自动归纳物理常识与因果逻辑。
纯视觉世界模型依靠海量视频学习物理常识，通用性强，但因果推理偏弱，物理精度不如物理引擎。而语言驱动的分层世界模型，把大语言模型作为抽象认知层，世界模型作为仿真执行层，结合语言规划能力和物理仿真能力，是当前具身智能的主流方案。
目前前沿研究正在构建统一多模态隐空间，融合视觉、文本、触觉、音频信息，为通用多模态世界模型打下基础。
五、产业落地：五大核心应用场景
世界模型已经走出实验室，在多个垂直行业落地，成为数字化升级的底层技术。
5.1 机器人：仿真训练降低试错成本
机器人是世界模型应用较多的场景。实体机器人调试成本高，碰撞极易造成硬件损坏。依托世界模型做虚拟预演，能够大量减少实体调试次数。工业机械臂、仓储分拣机器人，会在虚拟环境反复练习抓取、摆放、路径规划，验证稳定后再部署到实体设备，降低训练成本。
人形机器人普遍采用“仿真为主，实体微调”的开发模式，在虚拟环境练习行走、抓取、摔倒保护等动作，验证通过后再上实体样机，缩短研发周期。
图4：特斯拉Optimus人形机器人仿真训练示意图
*注：人形机器人多数动作训练都在虚拟世界模型中完成，大幅降低实体试错成本。
5.2 自动驾驶：场景建模与闭环仿真
自动驾驶是世界模型落地较为成熟的领域。自动驾驶的预测模块本质就是交通场景专用世界模型，融合多传感器感知信息构建3D环境，预测车辆、行人、非机动车的运动轨迹，给决策模块提供依据。
真实道路上极端危险场景样本稀少，依靠世界模型搭建的闭环仿真平台，可以批量生成各类危险工况。主流自动驾驶企业每天在虚拟环境跑数百万公里仿真里程，算法大部分训练来自仿真，真实路测主要用于最终验证。
图5：Waymo自动驾驶仿真世界示意图
*注：仿真系统可生成海量交通场景，是自动驾驶算法迭代的核心数据来源。
5.3 工业仿真与制造：全流程数字化支撑
汽车、航空航天、高端装备制造领域，可以依靠世界模型开展虚拟试验，替代大量物理原型测试，模拟碰撞、风阻、材料疲劳等性能，优化产品设计，减少原型车、原型样机的制作成本，缩短研发周期。
在产线运行阶段，世界模型可以模拟整条生产线运转，优化物料调度；结合设备历史数据预测故障，实现预测性维护，减少非计划停机。在电网、油气等大型基础设施领域，世界模型支撑数字孪生平台，用于系统调度和安全隐患排查。
5.4 内容生成：提升画面物理一致性
Sora这类视频生成模型，核心改进之一就是引入世界模型思想：先构建3D环境表征，模拟物体运动、光影、镜头变化，再渲染成2D视频。对比早期逐帧生成方案，物体形态、运动连贯性、透视合理性都明显提升。（注：Sora目前已关停，时间线参考下表）
表1：Sora服务现状与关停时间线
|
Sora服务现状与关停说明 |
|
2026年10月，Sora消费者服务已正式关停，无法通过官方渠道使用，时间线如下： 2026年3月25日：OpenAI宣布停止Sora视频生成服务 2026年4月26日：消费者应用体验正式结束 2026年9月24日：SoraAPI完全关闭 官方披露的关停核心原因为运营成本过高，单日亏损规模约100万美元。 |
游戏与影视行业同样受益：基于世界模型的NPC不再只按固定脚本行动，可以根据环境变化自主做出反应；AI物理仿真可以快速生成流体、破碎、爆炸特效，降低影视特效制作成本。
5.5 生命科学：微观分子建模
分子动力学模拟，本质就是分子尺度的世界模型。传统模拟计算开销巨大，AI增强的分子世界模型能够加速蛋白质动态变化、药物分子结合过程的模拟，提升新药筛选效率。数字人体、虚拟临床试验也是重要方向，在模型中模拟药物在体内的代谢过程，辅助降低真实临床试验风险。
六、核心挑战与发展展望
6.1 当前核心挑战
目前世界模型距离通用开放场景应用，仍存在不少难点：
一是长时序漂移：每一步预测都会产生微小误差，随着推演时间拉长，误差不断累积，模拟结果和真实世界偏离。这是混沌系统本身的特性，现阶段主要依靠定期接入真实观测数据校准、分层建模来缓解。
二是分布外泛化不足：模型在训练见过的场景表现稳定，遇到陌生物体、环境时性能下滑，解决方向是因果表示学习，提取跨场景不变的因果规律。
三是因果混淆：模型容易学到数据中的虚假关联，而不是真实因果关系，需要引入干预学习、反事实推理能力加以改进。
四是多尺度建模困难：现实世界横跨微观分子、宏观物体、城市系统，不同尺度遵循不同物理规律，很难用单一模型统一表征。
五是实时性瓶颈：大参数量世界模型推理速度慢，无法满足机器人、自动驾驶低延迟的硬性要求，需要模型压缩、硬件加速等工程手段优化。
6.2 发展展望
全球科研机构与科技企业都在布局世界模型，技术路线各有侧重。短期内，世界模型持续在工业机器人、自动驾驶、视频生成等垂直场景落地深化；中期而言，有望出现适配日常物理场景的通用物理世界模型，支撑家政、陪护类具身智能产品；长期来看，世界模型会从物理世界逐步延伸到社会规则、抽象推理，成为通用智能的认知底座。
kepu & zhilv
欢迎
在下方评论区留言
说出你最关心的科普话题吧
作者简介
作者简介
李媛媛，毕业于武汉大学信息管理学院，学术硕士，前中国移动全栈研发工程师。
数据派研究部介绍
数据派研究部成立于2017年初，以兴趣为核心划分多个组别，各组既遵循研究部整体的知识分享和实践项目规划，又各具特色：
算法模型组：积极组队参加kaggle等比赛，原创手把手教系列文章；
调研分析组：通过专访等方式调研大数据的应用，探索数据产品之美；
系统平台组：追踪大数据&人工智能系统平台技术前沿，对话专家；
自然语言处理组：重于实践，积极参加比赛及策划各类文本分析项目；
制造业大数据组：秉工业强国之梦，产学研政结合，挖掘数据价值；
数据可视化组：将信息与艺术融合，探索数据之美，学用可视化讲故事；
网络爬虫组：爬取网络信息，配合其他各组开发创意项目。
点击文末“阅读原文”，报名数据派研究部志愿者，总有一组适合你~
转载须知
如需转载，请在开篇显著位置注明作者和出处（转自：数据派THUID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。
未经许可的转载以及改编者，我们将依法追究其法律责任。
