小鹏汽车发布72B世界基座模型,加速端到端智驾发展

小鹏汽车发布720亿参数世界基座模型,加速端到端智驾发展,并自研AI芯片,预计2025年底落地L3级智能驾驶。

原文标题:72B世界基座模型启动,小鹏的端到端智驾正在验证Scaling Laws

原文作者:机器之心

冷月清谈:

小鹏汽车在AI技术分享会上,首次披露了正在研发的720亿参数“小鹏世界基座模型”,该模型以大语言模型为骨干,利用海量多模态驾驶数据训练,具备视觉理解、链式推理和动作生成能力,并通过强化学习不断自我进化。小鹏汽车还建成了国内汽车行业首个万卡智算集群,用于支持基座模型的训练,并构建了从云到端的“云端模型工厂”。小鹏汽车通过验证规模法则在自动驾驶领域的有效性、在后装算力的车端上实现基模控车、启动72B参数模型训练等三大阶段性成果,推进世界模型(World Model)的研发,从而构建一个闭环的反馈网络,帮助基座模型不断进化,逐渐突破过去「模仿学习」的天花板。小鹏汽车还宣布开启自研AI芯片计划,预计将在2025年底在中国内地率先实现L3级智能驾驶落地。

怜星夜思:

1、小鹏此次发布的72B世界基座模型,强调了Scaling Laws在自动驾驶领域的持续生效。那么,这种参数规模的扩大,对自动驾驶的安全性、泛化能力能带来什么实际提升?会带来哪些新的挑战?
2、小鹏的“云端模型工厂”概念很有意思,可以为不同需求的汽车定制不同的“大脑”。你觉得这种定制化,未来可能体现在哪些方面?例如驾驶风格、特定场景优化等等?
3、小鹏提到未来会将基模部署到AI机器人、飞行汽车等设备上。你认为这种通用模型思路,在不同物理形态的AI终端上,会面临哪些技术挑战和伦理考量?

原文内容

机器之心报道

作者:泽南


最近一段时间,各家新势力都在角力部署端到端的智能驾驶系统。


作为公认的新范式,它可以让整个智能驾驶系统反应更快,更加拟人,能处理以往方法无法解决的大量 corner case,被认为是自动驾驶通向 L3、L4 的正确方向。


在国内,小鹏于去年 7 月就宣布了量产端到端大模型上车,并构建了从算力、算法到数据的全面体系,在端到端方向上一直保持着领先的身位。


本周,小鹏在 AI 技术分享会上介绍了自己在智能驾驶领域的重要突破和进展,首次披露了正在研发 720 亿参数的超大规模自动驾驶大模型,即「小鹏世界基座模型」。


小鹏的技术人员表示,在物理世界,信息和模态的复杂程度要比数字世界复杂数倍,自动驾驶本质上是物理世界中的复杂 AI 问题,也是具身智能的第一步。


小鹏发展的云端世界基座模型以大语言模型为骨干,使用海量的优质多模态驾驶数据进行训练,具备视觉理解、链式推理和动作生成能力。通过强化学习训练,其基座模型可以不断自我进化,逐步发展出更全面、更拟人的自动驾驶技术。



小鹏汽车自动驾驶负责人李力耘表示,小鹏早在去年就开始布局 AI 基础设施,建成了国内汽车行业首个万卡智算集群,用以支持基座模型的预训练、后训练、模型蒸馏、车端模型训练等任务,小鹏将这套从云到端的生产流程称为「云端模型工厂」。


端到端大模型虽然是各家车企的共识,但仍然面临着算力等瓶颈。当前主流的智驾系统,如运行在 2× 英伟达 Orin 芯片上的系统,大部分只能支持 0.5-1 亿参数,在部署时必须对学习到的知识进行取舍。相比之下,云端大模型体量可以达到车端模型的 140 倍以上。


自去年下半年开始,小鹏面向 L4 级别的自动驾驶启动研发全新的「AI 大脑」,即小鹏世界基座模型。


其团队利用优质自动驾驶训练数据先后开发了多个尺寸的基座模型,目前正在着手推进 72B(72 Billion,即 720 亿)超大规模参数世界基座模型的研发,参数量是主流 VLA 模型的 35 倍左右。



据介绍,该模型的一大优势是具备链式推理能力(CoT),能在充分理解现实世界的基础上像人类一样进行复杂常识推理,并做出行动决策,如输出方向盘、刹车等控制信号,实现和物理世界的交互。


小鹏希望通过基座模型的能力让智驾系统从「模仿人类」进化到「超越人类」,最终能够处理全场景的自动驾驶问题,包括一些模型从未在训练数据中遇到的问题。


更进一步,端到端模型的研究也可以延伸到整个具身智能领域。李力耘表示:「世界基座模型是小鹏自动驾驶真正走向 L3、L4 的基础,也会是未来小鹏所有物理 AI 终端的通用模型。」


从零打造云端模型工厂


小鹏的云端模型工厂「车间」涵盖基座模型预训练和后训练(强化学习)、模型蒸馏、车端模型预训练到部署上车的完整生产链路。整个体系采用强化学习、模型蒸馏的技术路线,能够生产出小体量、高智能的端侧模型,甚至为不同需求的汽车定制不同的「大脑」,让「千人千面」的模型研发成为可能。



目前,小鹏依靠自有万卡集群已拥有 10 EFLOPS 的算力,集群运行效率常年保持在 90% 以上,从云到端的全链路迭代周期可达平均 5 天一次。


小鹏世界基座模型负责人刘博士介绍,多模态模型训练的主要瓶颈不仅是 GPU,也需要解决数据访问的效率问题。小鹏汽车自主开发了底层的数据基础设施(Data Infra),使数据上传规模提升 22 倍、训练中的数据带宽提升 15 倍;通过联合优化 GPU / CPU 以及网络 I/O,最终使模型训练速度提升了 5 倍。目前,小鹏汽车用于训练基座模型的视频数据量已达到 2000 万 clips,这一数字今年还将增加到 2 亿 clips。


依托强大的 AI 算力基础设施和数据处理机制,小鹏开启了全新的基座模型研发范式,从云端模型预训练到车端模型部署,整个「云端模型工厂」的迭代周期达到平均 5 天一次。


三大阶段性成果


在率先量产端到端大模型的同时,小鹏在物理世界大模型研发上也再进一步,其分享了基础大模型研发的三个阶段性成果:


验证了 Scaling Laws 在自动驾驶领域持续生效:



在后装算力的车端上成功实现基模控车:



启动 72B 参数模型训练,搭建针对强化学习的模型训练框架:



规模法则(Scaling Law)揭示了大模型的性能随着模型的计算量、训练数据量和参数量的提升而提升,在大语言模型(LLM)领域一直是人们追逐的目标。而在自动驾驶领域上,训练数据远不止单模态的文本数据,还包括摄像头、激光雷达等关于物理世界的多模态数据,本质上,这要求模型对物理世界形成认知和理解。


小鹏团队首次验证了 Scaling Laws 在自动驾驶领域持续生效,刘博士表示:「过去一年,我们做了大量实验,在 10 亿、30 亿、70 亿、720 亿参数的模型上都看到了明显的规模法则效应:参数规模越大,模型的能力越强。同样的模型大小,训练数据量越大,模型的能力也会越强。」


不久前,小鹏实践了理论,在后装算力的车端上用小尺寸模型实现了控车。尽管只是非常早期的实车测试,全新基模已经展现出令人惊讶的智驾能力。例如模型在未训练的情况下就能适应香港的右舵驾驶环境。


在 AI 技术上,小鹏也一直在探索最新方向,自去年就已开始研发大模型中的强化学习技术。强化学习能够帮助模型自我进化,学会处理训练数据中未出现的长尾问题,做到更安全的自动驾驶。只有足够强大的基座模型,才能被强化学习不断激发出能力上限。这也是小鹏汽车选择云端蒸馏路线的原因之一:在云端不计成本地训练出高智能、泛化能力强的模型,再将其蒸馏到适配车端算力的小模型上,才可以让车端模型的性能超越算力限制。


值得一提的是,强化学习、云端蒸馏等技术的思路,在今年初爆火的 DeepSeek R1 中得到了验证,目前正在逐渐成为行业共识。


基础模型是小鹏汽车 AI 化转型的重要一步,不过在智能驾驶的大模型时代,过去规则时代的经验仍能发挥作用。在开发强化学习的奖励模型(Reward Model)时,小鹏研发团队基于规则经验设计了奖励函数,将规则时代的沉淀转化为了新的生产力。



小鹏也在推动世界模型(World Model)的研发,小鹏的世界模型是一种实时建模和反馈系统,能够基于动作信号模拟出真实环境状态,渲染场景,并生成场景内其他智能体(即交通参与者)的响应,从而构建一个闭环的反馈网络,可以帮助基座模型不断进化,逐渐突破过去「模仿学习」的天花板。


这也意味着人们能够以更有效的方式构建新模型,产生新能力。小鹏工程师表示,我们或许可以像黄仁勋展望的那样,用 AI 模型来生成一个新模型。


据介绍,小鹏世界基座模型研发和训练成果更多的细节,预计还会再今年 6 月的全球 AI 顶会 CVPR 上进行分享。


昨天,小鹏又宣布开启自研 AI 芯片计划,预计将在 2025 年底在中国内地率先实现 L3 级智能驾驶落地。



未来,小鹏还希望通过云端蒸馏小模型的方式将基模部署到车端,给「AI 汽车」配备全新的大脑。这款模型的能力同时也将拓展至小鹏的 AI 机器人、飞行汽车等。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

Scaling Laws在自动驾驶中的应用,就好比给一个学习能力超强的学生配备了更大的书架和更多的教材。理论上, TA能学到更多知识,解决更复杂的问题,从而提升自动驾驶的安全性(减少事故)和泛化能力(适应各种路况)。但问题也随之而来:

1. 算力需求:更大的模型需要更强大的计算能力,这不仅增加了车辆的硬件成本,也对算法的效率提出了更高的要求。
2. 数据需求:模型需要海量的数据进行训练,而且这些数据需要覆盖各种corner cases,收集和标注这些数据本身就是一项巨大的工程。
3. 模型解释性:大模型的决策过程往往难以解释,这给安全验证和问题排查带来了挑战。
4. 工程挑战:如此大规模的模型如何部署到车端,如何保证实时性,都是需要解决的问题。

总的来说, Scaling Laws 提供了一种提升自动驾驶能力的途径,但同时也带来了一系列需要解决的挑战。我们需要在追求模型规模的同时,关注算法效率、数据质量和模型解释性等方面的问题。

这个问题很有意思!参数规模扩大,理论上模型能学到更多复杂的模式,对 corner case 的处理会更稳,泛化能力更强,遇到没见过的路况也能 hold 住。安全性肯定会提升,但具体提升多少,得看实际路测数据。

挑战嘛,算力肯定是个大问题,车端部署是个难题。另外,数据质量也很关键,如果喂给模型的是垃圾数据,再大的模型也白搭。

我觉得,Scaling Laws 在自动驾驶领域生效是必然趋势,但也要结合实际情况,不能盲目追求参数量,还得在算法优化、数据清洗上下功夫。

将基模部署到不同物理形态的AI终端,例如AI机器人、飞行汽车等,确实是一个很有前景的方向。然而,这也带来了一系列技术挑战和伦理考量:

技术挑战:

1. 异构数据融合:不同AI终端的传感器类型和数据格式可能存在差异,如何将这些异构数据有效地融合到基模中是一个挑战。
2. 实时性和资源约束:不同AI终端对实时性和计算资源的要求不同。例如,飞行汽车需要极高的实时性,而AI机器人的计算资源可能相对有限。如何根据不同终端的特点,优化基模的性能和资源占用是一个挑战。
3. 环境适应性:不同AI终端所处的环境不同。例如,飞行汽车需要在空中飞行,而AI机器人可能在室内或室外地面活动。如何让基模适应不同的环境是一个挑战。

伦理考量:

1. 责任归属:如果AI终端出现故障或造成损害,责任应该由谁承担?是开发者、制造商还是用户?
2. 数据隐私:AI终端需要收集和处理大量的数据,如何保护用户的数据隐私是一个重要问题。
3. 算法偏见:基模可能存在算法偏见,导致AI终端在某些情况下做出不公正或歧视性的决策。如何消除算法偏见,确保AI终端的公平性是一个挑战。
4. 安全性:如何保证AI终端的安全性,防止被黑客攻击或滥用,是一个重要问题。

总的来说,将基模部署到不同物理形态的AI终端,需要综合考虑技术、伦理和社会等多方面的因素,才能确保AI技术的安全、可靠和可持续发展。

Scaling Laws 在自动驾驶领域的应用确实令人期待。参数规模的扩大,意味着模型有更大的容量去学习和记忆各种驾驶场景的特征,从而提高对复杂环境的感知和预测能力。这对于提高自动驾驶的安全性至关重要。

然而,参数规模的扩大也带来了计算成本和数据需求的挑战。更大的模型需要更多的计算资源进行训练和推理,这可能需要更强大的硬件设备和更高效的算法。同时,为了充分发挥大模型的潜力,需要更多高质量的训练数据来覆盖各种驾驶场景。例如,需要大量应对极端天气、复杂交通状况等场景的数据。

此外,大模型的引入还可能带来过拟合的风险。为了解决这个问题,需要采用合适的正则化方法,并进行充分的验证和测试。总的来说,Scaling Laws 在自动驾驶领域的应用前景广阔,但也需要克服一些挑战才能真正实现其潜力。

这个脑洞很大!把自动驾驶的“大脑”移植到机器人和飞行汽车上,听起来很科幻。

技术挑战肯定不少。首先,不同设备的传感器类型和数据格式不一样,模型需要适应不同的输入。其次,不同设备对实时性的要求也不一样,飞行汽车对延迟的容忍度肯定比扫地机器人低。最后,功耗也是个问题,机器人和飞行汽车的电池容量有限,模型不能太耗电。

伦理方面,更复杂了。如果 AI 机器人犯了错,谁来负责?如果飞行汽车出了事故,责任怎么划分?这些都需要提前考虑。

我觉得,通用模型是个好方向,但也要循序渐进,不能一口吃个胖子。可以先在相似的设备上尝试,比如先在不同型号的汽车上推广,然后再考虑机器人和飞行汽车。

小鹏的云端模型工厂, 相当于给每辆车配备了一个可以不断升级和定制的“大脑”。这种定制化绝不仅仅是简单的驾驶风格选择,而是可以深入到以下几个层面:

* 驾驶习惯: 系统可以学习你的驾驶习惯(例如:加速/减速的力度,变道频率,跟车距离),并在此基础上提供更符合你个人习惯的自动驾驶体验。
* 场景优化:针对你经常行驶的路线和场景进行优化。比如,如果你经常在某个特定的环岛行驶,系统可以专门学习这个环岛的通行规则,提高通过效率。
* 功能定制:根据个人需求,定制不同的自动驾驶功能。例如:喜欢音乐的用户,可以定制一个“音乐模式”,让系统根据音乐节奏调整驾驶风格;对安全性有更高要求的用户,可以定制一个“安全模式”,让系统更加谨慎。
* 车辆特性匹配:针对不同型号的车辆,定制不同的控制策略。例如,对于操控性好的车辆,可以允许系统进行更激进的驾驶操作;对于舒适性好的车辆,则可以更加注重平稳性。

这种定制化,甚至可以延伸到车辆之外。例如,可以与智能家居系统联动,根据用户的日程安排,自动规划路线,并在到达目的地前提前打开家里的空调和灯光。

当然,实现这种高度定制化,仍然面临着很多挑战,例如:如何高效地收集和利用用户数据,如何保证定制化过程的安全性,如何平衡定制化与通用性之间的关系等等。

将世界基座模型推广到各种AI设备,是小鹏构建AI生态的关键一步。但这种“All in One”的思路也面临着不少挑战:

1. 适配性问题:不同设备的传感器、硬件配置、应用场景千差万别,如何让一个模型同时胜任不同的任务,是一个巨大的挑战。例如, 自动驾驶需要处理高清摄像头和激光雷达数据,而扫地机器人可能只需要处理简单的图像和距离信息。直接套用同一个模型,很可能导致性能下降。
2. 资源分配问题:不同设备对计算资源、存储空间、功耗的要求不同,如何合理分配资源,才能保证所有设备都能流畅运行,是一个需要仔细考量的问题。
3. 安全风险:如果一个模型被攻破,可能会影响到所有使用该模型的设备,从而带来巨大的安全风险。
4. 伦理困境:不同设备所涉及的伦理问题不同。例如,自动驾驶涉及交通安全和责任划分,而AI机器人可能涉及隐私和自主性。如何制定统一的伦理规范,以应对各种复杂情况,是一个需要全社会共同思考的问题。

要解决这些问题,需要采用模块化设计、迁移学习、联邦学习等技术手段,并建立完善的安全机制和伦理规范。只有这样,才能让通用模型真正发挥其潜力,为人类带来福祉。

“云端模型工厂”的定制化潜力确实值得探讨。我的想法是,这种定制化可以体现在以下几个方面:

1. 驾驶风格:可以根据用户的驾驶习惯和偏好,调整自动驾驶系统的行为。比如,有些人喜欢平稳的驾驶风格,而另一些人则喜欢更加激进的驾驶风格。通过定制化,可以满足不同用户的需求。
2. 特定场景优化:可以针对特定的驾驶场景进行优化。比如,在高速公路上,可以优化自动驾驶系统的速度和车道保持策略;在城市道路上,可以优化自动驾驶系统对行人、自行车和交通信号灯的识别和响应。
3. 个性化功能:可以为用户提供一些个性化的功能。比如,可以根据用户的日程安排,自动规划路线和避开拥堵;可以根据用户的喜好,自动选择音乐或播客。

当然,这种定制化也需要考虑到安全性和可靠性。例如,不能允许用户将自动驾驶系统调整到不安全的驾驶模式。此外,还需要建立完善的测试和验证机制,以确保定制化的自动驾驶系统能够安全可靠地运行。

我觉得这种定制化潜力很大!想象一下,你可以定制自动驾驶的“性格”:激进型、稳健型、舒适型,满足不同人的驾驶习惯。比如我喜欢开快车,就选个激进型的,超车变道更果断。

特定场景优化更不用说了,比如经常跑山路,就可以定制一个“山路模式”,提高过弯的精准度。如果经常在市区拥堵路段行驶,可以定制一个“拥堵模式”,更擅长走走停停。

甚至可以根据地域文化定制,比如在南方,可能更注重避让行人,在北方,可能更注重效率和快速通过。

总之,未来的自动驾驶,就像手机 App 一样,可以根据自己的需求随意搭配,想想就觉得很酷!