Matrix-Game 4.0开源，单卡5090实现480p、60 FPS实时AI游戏。
冷月清谈：
怜星夜思：
2、单张RTX 5090与8张GB200的性能对比到底公平吗？还需要补哪些测试？
3、这套方案真能降低独立开发者的门槛吗？新的瓶颈可能出现在哪里？
4、如果AI生成游戏只能提供480p画面，但能实时改变场景和玩法，你愿意牺牲画质体验吗？
原文标题：Matrix Game 4.0击败英伟达同期竞品，实现全球首个消费级显卡落地
原文作者：机器之心
原文内容
游戏玩家们，开发者们，时代变了。
只需一张消费级显卡，AI 实时生成的可交互游戏就能以 60 FPS 流畅运行，开始有了真正能玩的样子。
让我们直接来看演示视频。
如果不提前告诉你，其实还蛮难想象这些游戏画面竟然是 AI 实时生成的。视频中的游戏由 Coding Agent 编写，画面则交给视频模型实时重渲染。
一组数据足以让人震撼。基于 Wan2.2 5B，在单张 RTX 5090 上以 480p 分辨率，能够实现游戏 60 FPS 运行，按键到画面响应端到端延迟低于 150ms。在 1 步去噪下稳态生成速度高达 83 FPS，显存峰值约 18.5 GiB。
对比而言，英伟达研究团队本周刚刚推出的 StreamRender-H3，采用类似的技术路线。根据其公开的技术报告，StreamRender-H3 在 8 张 GB200 GPU 上，将流式扩散渲染的单步耗时优化至 218ms，而其交互延迟约为 500ms。
当英伟达研究团队还在动用 8 张数据中心 GPU 探索实时生成游戏时，中国团队经过锲而不舍的研发，已经拿出了单张消费级显卡运行的方案，在同样的技术逻辑下超越了英伟达！
实现这一重大技术突破的，是昆仑万维最新发布的 Matrix-Game 4.0，全球第一款消费级显卡实时运行的视频大模型游戏，并且同步开源。此次开源的不只有模型权重，还包括可供开发者直接修改、扩展和二次创作的游戏代码。这意味着，开发者可以在现有基础上快速构建，也为 Matrix-Game 4.0 吸引更多开发者、培育开源生态提供了更大的想象空间。
-
GIthub 链接：https://github.com/SkyworkAI/Matrix-Game.git
-
Hugging Face 链接：https://huggingface.co/Skywork/Matrix-Game-4.0
视频模型的「Harness」：三角分工
过去两年，以 Genie 系列为代表的交互式世界模型走的是一条「全托管」路线，一个视频模型同时承担世界建模、状态记忆和画面生成三重任务。
这条路上的困境已经被反复验证。Genie 3 虽然实现了实时生成、记忆窗口拉到约一分钟，但世界状态只隐式地存在于生成的像素中。一旦物体离开视野就没有任何东西在「记着」它，微小误差在自回归过程中不断累积，场景会在几分钟内逐渐丧失真实感。
在最初的三十秒左右的时间里，那片 “尘暴地带” 的场景看起来非常真实，具有空间上的连贯性、一致的照明效果、逼真的建筑风格以及符合那个时代的细节特征。不过，随着我继续浏览画面，画面的质量逐渐下降：纹理变得柔和，几何形状也失去了真实感。（来源：斯坦福大学 Starling Lab）
事实上，世界模型领域已经有不少团队意识到，单靠视频模型很难维持一个长期稳定的交互世界，并开始探索将世界状态与画面生成分离的技术路线。
例如与 Matrix-Game 4.0 架构相似的同期工作，Programmable World Model 尝试通过可编程引擎维护世界状态，StatePlay 采用视频与状态双分支联合预测，MASS 则探索利用学习式逻辑引擎维护多人共享的世界状态。
Matrix-Game 4.0 在此之上进行了创新，不只是在画面生成质量，还在算力要求和实时响应，更在于把「状态维护 — 实时交互 — 开发生态」三个分散的能力进行了整合，这正是 Matrix-Game 4.0 与同期工作拉开差距的地方。
表：交互式世界模型路线对比。Matrix-Game 4.0 首次在消费级显卡上实现实时可玩，并将模型权重与可改编游戏代码同步开源。
昆仑万维 Matrix-Game 4.0 团队的判断是，现阶段的扩散模型学到的主要是统计相关性，能让生成结果看起来真实，却很难真正掌握因果关系和物理规律。既然视频模型独自记住整个世界这条路走不通，那就为它套上一个外部「harness」，由三个模块各司其职。
游戏引擎，充当世界的「裁判」
游戏引擎的能力，是整个世界构成的基石：道路是平面，建筑是盒子，人物是骨架。血量、重力、碰撞、任务进度等游戏规则，都由引擎直接计算。每一帧，引擎都会输出一份「结构草图」，明确相机和物体的位置，以及发生了哪些碰撞事件。这样一来，世界的真实状态始终真实，有根据，不再随机变化。
有意思的是，这位「裁判」本身也可以由 AI 来编写。Matrix-Game 4.0 中的游戏，就是由编程智能体（Coding Agent）通过代码构建的轻量级游戏，GPT-6 也参与了代码编写。血量、碰撞、检查点等游戏规则，本质上都是一段段可以修改的代码。引擎每一帧输出的结构画面，则是视频模型重渲染的起点。
这带来了一个很直接的好处：想修改游戏玩法，让 Coding Agent 改代码就行。我们举几个例子：
在射击 Demo 中，团队通过 Coding Agent 给游戏加入了血量和装备管理机制：敌我双方盾牌有耐久度，耐久耗尽便会失效；玩家血量归零，游戏随即结束。
盾牌耐久耗尽消失
破坏敌人盾牌后击杀
血量耗尽游戏结束
赛车 Demo 的玩法变化更有意思。团队先构建了一个带有检查点的计时赛，随后又将其改造成车辆追击任务：玩家需要接近目标车辆，并保持五秒，才能完成拦截。
检查点计时赛，碰撞罚时示意
追击任务过程中
追击任务拦截成功
从计时竞速到车辆追击，游戏规则变了，底层视频模型却无须重新训练。 这也体现了将游戏逻辑与画面生成分离的价值：开发者可以更灵活地调整玩法，而视频模型只需要负责呈现游戏世界。
Coding Agent，充当世界的「编剧」
它负责将玩家的创意转化为真正可以运行的游戏，主要有两个任务。一是为游戏场景赋予具体的视觉风格。比如，引擎中一个简单的建筑模型，既可以被描述为「海边的一栋老旧木屋」，也可以变成「未来都市中的科技商店」。这些描述会作为文本条件，与引擎输出的结构画面一起，指导视频模型完成实时渲染。二是负责即兴创作。玩家只需要用自然语言提出需求，从调整地形、布置物件，到修改 NPC 行为、设计新玩法，Coding Agent 就能将这些想法落实为具体的场景配置和游戏代码。
视频生成模型，充当世界的「画师」
传统游戏开发中需要耗费大量人力制作的美术资产，以及复杂的光影、烟雾、液体等视觉效果，如今交给视频模型实时生成。不过，这位「画师」也有明确的权限边界：外观细节可以自由发挥，并保持前后的一致性；画面中凭空出现的新物体，需要经过智能体识别和引擎检查；至于血量、背包等核心游戏数据，视频模型无权修改。它可以决定世界看起来是什么样子，却不能擅自改变世界的运行规则。
我们可以通过下面的对比画面，直观的感受一下游戏引擎输出的结构画面和实际画面的区别。
第三人称射击
赛车（1.5 倍速演示）
至此，我们能清晰地发现：Coding Agent 即兴创作新场景、剧情与 NPC 对话、多人共享同一世界，是 Matrix-Game 这条路线的设计目标。
游戏引擎维护一个规则明确的世界，Coding Agent 负责理解和扩展这个世界，视频模型则不断赋予它丰富、逼真的视觉表现。Matrix-Game 4.0 是这条路线落地的第一步，优先侧重于实时性和低延迟。
创新技术链路，把一切塞进 5090
这套分工要真正跑起来，还有一个关键前提：视频模型的重渲染速度必须足够快。
游戏引擎只需运行轻量级模拟，维护世界状态和游戏规则，实时生成高质量画面的压力则主要落在视频模型身上。
为了将这一切塞进消费级显卡，Matrix-Game 4.0 围绕数据构建、模型训练和推理加速三个环节，进行了一整套针对性的优化。从让模型学会根据结构画面生成高质量场景，到通过少步蒸馏减少计算量，再到压榨单张显卡的推理性能，每个环节都直接影响最终的实时体验。
数据：UE5 结构画面 - 精细画面对齐
团队基于虚幻引擎 5（UE5）构建了面向世界模型的结构画面 - 精细画面跨域对齐数据集，覆盖超大城市、开放沙漠、复杂城堡、高动态空战四类场景。自研的轻量化几何抽象采集管线，在保持相机轨迹与时间戳严格时空同步的基准下，将高复杂度场景抽象为保留空间拓扑和刚体位姿的「结构表征」，与精细的影视级画面逐帧做像素级对齐。系统还并行捕获物体实例 ID、可见性状态和因果交互事件，构建富语义的动态元数据流，为生成模型建立从「轻量几何」到「高保真视觉」的条件映射。
动态 Caption：让语义跟随玩家
游戏画面随玩家操作不断变化，转动视角可见物体不同，触发事件后状态也会更新。固定的文字描述跟不上这些变化。Matrix-Game 4.0 引入了动态 Caption 机制，系统将场景物体 ID 与语义描述关联，从引擎实时获取当前可见对象及其状态，运行时填入提示词模板，使语义条件随游戏世界同步更新。结构画面提供位置、布局等结构信息，Caption 补充「画面中有哪些对象、处于什么状态」等语义信息，两者共同约束生成。
可控生成与空间记忆
视频模型基于 Wan2.2 5B（Fun Control）改造为视频到视频（V2V）模式，引擎渲染的结构画面与待生成视频按通道拼接（共 148 通道输入），配合动态合成的场景事件 prompt、空间记忆参考图和第一帧，分别负责细节描述、场景一致和画面衔接。训练分两步，先做 SFT 训练双向模型，再参考 Causal Forcing++ 的方式训练为自回归少步生成模型。最终模型每次 rollout 去噪 1 至 2 步，生成一个四帧的块。
推理加速：把每一毫秒都榨干
Matrix-Game 4.0 最大的难点在于：如何把原本需要大量计算的视频生成过程，压缩到消费级显卡能够实时处理的程度。
四帧一块的生成方式意味着模型调用频率非常高，GPU 有大量时间在等待 CPU 发射计算任务。团队做了一系列针对性优化。
-
CUDA Graph，将 DiT 主干计算预先录制，运行时一次性重放，大幅降低 CPU-GPU 交互开销
-
融合 GPU Kernel，为 RoPE、归一化与 FP8 量化编写融合专用算子，同一层的 Q/K/V 共用一次输入量化
-
环形 KV 缓存，视频历史 KV 改用环形缓存，窗口滑动时不再搬移历史数据
-
文本 KV 复用，文本条件的 KV 只在 Caption 更新时重新计算
-
轻量编解码，编解码器换用 TAEHV，进一步压缩开销
经过这些优化，文本编码器、30 层因果 DiT 与 VAE 全部常驻一张 RTX 5090。单步去噪的稳态生成速度达 83 FPS（两步约 57 FPS），显存峰值 18.5 GiB。游戏以 60 FPS 运行时，按键到画面响应的端到端延迟低于 150ms。
从少步蒸馏减少计算量，到 CUDA Graph 降低调度开销，再到融合 Kernel 与缓存优化提高执行效率，Matrix-Game 4.0 打通了一整条面向实时视频生成的优化链路。
这也是它能够将视频大模型游戏带到消费级显卡上的关键。Matrix-Game 4.0 的技术含量，很大程度上就体现在这套难以复刻的完整系统协同效率上。
让世界模型真正落地到游戏
让世界模型真正「走进游戏」，需要同时过好几关。
画面质量只是其中一环。能否在普通显卡上流畅运行，能否准确执行游戏规则，能否让开发者自由修改玩法，这些问题共同决定了 AI 生成的世界，究竟能走多远。
过去两年，Google DeepMind 的 Genie、Decart 的 Oasis、AlayaWorld 等项目不断刷新着世界模型的生成能力。Genie 3 已经实现 720p / 24 FPS 的实时生成，视觉记忆延长至约一分钟，但实际体验仍依赖云端，单次生成时长也受到限制。其他模型同样在画面质量、长时间生成与实时性之间寻找平衡。
如何跨过这些门槛？昆仑万维是这条赛道上持续投入时间最长的团队之一。
-
2025 年 5 月，Matrix-Game 1.0 开源，以 17B+ 参数规模面向 Minecraft 场景，成为工业界首个开源的 10B+ 交互式世界模型。
-
2025 年 8 月，Matrix-Game 2.0 开源，后来被 DiT 作者谢赛宁团队用作全球首个多人视频世界模型 Solaris 的技术基座。
-
2026 年 3 月，Matrix-Game 3.0 开始系统性地解决长期记忆问题。
-
2026 年 7 月 WAIC 上发布的 Matrix-Game 3.5，团队又引入 Patch Memory，在 NVIDIA H100 GPU 上实现 720p / 20 FPS 的单卡实时生成。其自动化数据管线已产出超过 500 万段视频切片，覆盖 1200 多个游戏场景。
到了 Matrix-Game 4.0，这条技术路线出现了更明显的提升。
从 3.5 的 720p / 20 FPS 到 4.0 的 480p / 60 FPS，背后是技术路线的一次主动取舍。3.5 更侧重画面质量与长期空间一致性，4.0 则优先解决低延迟、高帧率和消费级硬件部署问题。
4.0 是团队沿着「为视频模型套上 harness」这条路线完成的第一个工作：为视频模型搭建外部 Harness，让游戏引擎维护世界状态，让 Coding Agent 编写游戏规则，视频模型则专注于实时画面生成。
这条路线，恰好回应了 AI 世界模型走进游戏需要跨过的几道关卡。
第一关，突破视频模型的能力边界。不再让模型包办一切。 世界状态交给引擎维护，视频模型只负责把简单几何渲染成精细画面。状态不再只藏在生成的像素里，视频模型也有了持续的外部校正依据，不必单靠自己的隐式记忆撑住整个世界。
第二关，从云端走向本地。Matrix-Game 4.0 将文本编码器、DiT 和 VAE 全部部署在单张 RTX 5090 上，实现 480p / 60 FPS 的游戏运行帧率，按键到画面的端到端延迟低于 150ms。这意味着，具备明确游戏规则的 AI 生成游戏，已经能够在消费级显卡上实时运行，向普通玩家的本地游戏体验迈出了重要一步。
第三关，从能漫游到真正可玩。在 AI 生成的场景中自由行走，只是交互的起点。真正的游戏还需要明确、稳定的规则。在 Matrix-Game 4.0 中，规则由游戏引擎直接执行，玩家的操作也会产生明确的结果。当然，4.0 目前仍采用固定的场地和动作空间。多人共享同一个世界的联机体验，团队将在未来呈现。
第四关，从技术 Demo 走向开发生态。Matrix-Game 4.0 的游戏由 Coding Agent 编写，游戏规则以代码形式存在。想调整玩法，可以直接修改代码，无须为每一种新机制重新训练视频模型。
更重要的是，此次开源的不只有模型权重，还包括可供开发者修改、扩展和二次创作的游戏代码。这让 Matrix-Game 的潜在使用者从世界模型研究者，进一步扩展到游戏开发者和 UGC 创作者。
事实上，昆仑万维此前的持续开源已经产生了一定的生态效应。除了谢赛宁团队的 Solaris，NVIDIA 与浙江大学联合提出的 Light Interaction 也基于 Matrix-Game 3.0 构建，Adobe 的 RELIC 则将 Matrix-Game 纳入对比基准。而 4.0 将游戏代码也一并开放，为更多开发者参与提供了新的入口。
对于独立开发者，尤其是 OPC（一人公司）来说，这可能带来一种新的游戏开发方式：用 Coding Agent 将玩法写成代码，用视频模型生成视觉表现，先快速做出一个能够亲自上手的游戏原型，再决定是否投入更多资源。
从这个角度看，Matrix-Game 4.0 的意义已经超出了视频生成模型本身。它正在尝试降低 AI 游戏从想法到可玩原型的门槛，而这也可能成为世界模型走向实际应用的一条重要路径。
下一关，交给真正的玩家
Matrix-Game 4.0 的思路很好理解：让不同的模块各司其职。引擎负责维护状态，Coding Agent 负责规划，视频模型专注画面生成。
这套分工在传统游戏行业早已是常识。但在 AI 世界模型领域，过去两年，人们一直在探索如何让一个模型包办所有事情。Matrix-Game 4.0 提供了另一条路线：通过系统层面的协作，让不同模型发挥各自的长处。
Matrix Game 团队的判断是，「扩散模型更像一个渲染器，它擅长的是把画面画得真实，不擅长记住世界的状态、遵守游戏的规则。让它同时承担这些事，误差会越积越多。这几年编程智能体进步很快，搭一个轻量引擎的成本已经大幅降低，所以让引擎管世界、视频模型管画面，这条路现在走得通。」
当然，这套方案距离成熟还有不少工程问题需要解决，480p 的分辨率距离主流游戏的画质标准还有差距，当前演示也局限于固定场地和预设的动作空间，但它代表了 AI 生成的游戏，已经跨越了从「交互视频」到「上手畅玩」的门槛。
昆仑万维董事长兼 CEO 方汉此前在 WAIC 2026 上曾判断，2026 年将是「世界模型元年」。
如果 Matrix-Game 4.0 的技术路线得到进一步验证，世界模型的下一阶段，或许未必需要一个越来越庞大的视频模型，而是需要一套分工明确、协作高效的系统。随着这套方案走向开源，更多开发者也将有机会参与其中，探索新的玩法和交互形式。
过去，世界模型的进步主要由研究者定义：画面是否逼真、动作是否连贯、生成时间有多长。而当 AI 游戏真正变得可交互，评价标准也将悄然改变。
未来，AI 生成的世界也许会拥有接近 3A 游戏的视觉表现；实现跨玩家视角的一致性，让多个玩家从不同位置进入同一个世界；提供更细粒度的画面控制，让开发者自由调整场景、材质、光影和角色动作…
衡量世界模型的标准，将不只有分辨率、帧率和生成时长，还要看它能否支撑一个足够丰富、足够稳定，也足够好玩的世界，让玩家愿意一次又一次地回来。
技术演示可以让人惊叹几分钟，但一款真正好玩的游戏，需要让人愿意投入几十个小时，甚至成百上千个小时。
一个好消息是，昆仑万维计划在进一步优化运行效率、降低硬件门槛后，通过 Steam 推出技术预览版本，让更多玩家亲自体验。
Matrix-Game 4.0 已经展示了技术上的可能性。至于这条路线最终能走多远，下一关，或许该交给真正的玩家了。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com