Hinton：AI终将超越人类，全球合作驯善方能共存。
原文标题：“AI 教父”Geoffrey Hinton 首度在华演讲：AI 恰似一只小虎崽，而人类本身是大语言模型？
原文作者：AI前线
冷月清谈：
怜星夜思：
2、Hinton教授呼吁全球像冷战时期应对核战争一样，在AI安全上进行合作。大家觉得这现实吗？考虑到现在国际局势这么复杂，各国利益都有差异，要真正坐下来谈出一个普适的AI安全标准，甚至共享“驯善AI”的技术，最大的挑战会是什么？
3、文章里提到AI智能体可能会“想要生存”和“想要获得更多控制权”，为了完成人类给它们的目标。这听起来有点科幻，但如果高级AI真的出现了这种所谓的“意图”或“欲望”，我们怎么才能发现并确认它们是否有这种倾向？更重要的是，人类要如何确保这些“欲望”永远和我们的利益保持一致，而不是适得其反？
原文内容
今日（7 月 26 日），人工智能之父、图灵奖得主和诺奖得主 Geoffrey Hinton 首次以线下形式在中国公开亮相。在 2025 世界人工智能大会上，Hinton 作为开场主题演讲嘉宾分享了诸多深刻又有趣的观点：
-
人类或许与大语言模型相似，都会产生 “幻觉”，但大语言模型远优于依赖类比信号的人类大脑。
-
人类难以永久留存知识，大脑死亡即意味着知识消逝；知识传递也效率低下，只能通过语言等方式，无法完全复制。而 AI 可通过共享参数快速传递知识，例如借助蒸馏技术（如 DeepSeek 的实践）。若独立智能体能共享同一组权重并以相同方式运作，就能实现数十亿乃至数万亿比特带宽的知识传递，前提是所有智能体运作方式完全一致。
-
当前人类与 AI 的关系，恰似饲养一只可爱的小虎崽 —— 它长大后可能轻易超越人类。为了生存，要么摆脱它，要么找到永久保护自身的方法。
-
但 AI 已无法消除，它能大幅提升几乎所有行业的效率，即便有国家想消除，其他国家也不会认同。
-
呼吁全球建立由各国人工智能安全研究所与国内研究网络组成的国际社群，培养不会从人类手中夺权的 “好 AI”。
以下是整理的完整演讲内容：
大概 60 多年了，AI 就有两种不同的范式和路径。一种是逻辑型的范式，认为智能本质在于推理，通过一些符号规则、对符号的表达进行操作来实现推理，这样可以帮助我们更好理解知识怎么代表。另外一种路径则是以生物作为基础的理解 AI，就是图灵和冯·诺依曼所相信的，即智能的本质是从神经连接中学习网络中的连接速度，这个过程中理解第一位，才能够学习。
和这两种理论相结合的一个是符号型的 AI 原理，看的就是这些数字，这些数字如何成为关注词和词的关系，心理学家是另外一种理论，显然完全不同的另一个理论，数字的意思其实就是一系列语义学的特征。这些特征的存在自然也会成为一个特点。1985 年时我做了一个非常小的模型，想把这两个理论结合在一起，更好理解人们如何理解一个词的。每一个词我都放了好几个不同的特征，把前一个数字的特征记录下来，我们可以预测下一个数字是什么、下一个词是什么。这过程中我没存储任何句子，我们生成句子，然后预测下一个词是什么。
相关联的知识取决于不同词的特征，语义的特征如何互动。如果你问接下来 30 年会发生什么，十年后，Yoshua Bengio 也用这样的模式建模，但大了很多，等于成为自然语言真实模拟。20 年以后，计算语言学家终于开始接受特征向上的嵌入来表达词的意思。再过 30 年，谷歌发明了 Transformer，OpenAI 的研究人员也展示了可以做到什么。
今天的大语言模型我视为微型语言模型的后代，85 年代开始的，用更多词输入，使用更多层的神经元结构，需要大量模糊不清的数字使用，同时学习特征 SAIL 之间建立了更加复杂的交互模式。就像我做的小模型一样，大语言模型与人类理解语言的方式一样，就是把这些语言转化为一些特征，然后把这些特征以一种非常完美的方式整合在一起，这就是 AI 各个层次所做的事。我的理解是，大语言模型真的理解你是怎么理解问题，和人类理解语言的方式一样。
什么是理解一句话？包含哪些呢？符号的 AI 是什么，把这套东西转化成一些不模糊的符号、语言，实际的情况人类不是这么理解的。我这里打一个比方，做乐高积木，通过乐高积木可以做成任何 3D 模式，可以把一个车的小模型造出来，每一个词视为多维度的乐高积木，可能几千个不同的维度，这种类型的乐高积木可以做这么多维度，可以是一个建模，有很多维度，是语言的建模，可以沟通给人，只要把这些积木起个名字就可以了，每个积木都是一个词。乐高积木有非常多的不同，不是说几个不同的乐高积木那种差异，我们有无数的词，乐高积木造型是固定的，但词的符号，它的形状基本上做出一个确定，也可以根本不同的情况进行调整。
乐高模型相对比较确定，正方形插到正方形的小孔里，但语言不一样，每个语言想象出每一个词都有很多的手，比如你想更好的理解这个词的话，就是让这个词和另一个词之间合适的进行握手，一旦这个词的造型发生一个变形的话，和另一个词握手方式不一样，这里有优化的问题。一个词变形以后，意思变了，这个词怎么和下一个词握上手更好的意思，这就是什么叫人脑去理解意思或者说神经网络理解意思最根本的。有点像把蛋白质和蛋白质之间组合起来，蛋白质氨基酸不同的模型来进行整合，融合之后结合在一起带来更有意义的内容，这是人脑理解词的方式、语言的方式。
我到现在讲的一个观点，人们理解语言的方式和大语言模型理解的方式几乎一样，人类有可能就是大语言模型，人类也会和大语言模型一样产生幻觉，因为我们也会创造出来很多幻觉的一些语言，大语言模型也会。但也有一些根本性的方式，大语言模式和人类不一样，而且比人类更厉害。
计算机科学的原则是要把软件和硬件分开看，不同的硬件上面可以跑同样的软件，这是计算机科学的基础。在一个软件里的知识是永恒存在的，这个软件永远放在那里，程序永远放在那里，你可以把所有的硬件都毁灭了，只要这个软件存在，随时随地都会被复活。某种意义来说，这种计算机程式是永恒的，不会死亡的。要存在永存性，高功率下运行产生可靠的二进制行为，这个过程非常昂贵，不能利用硬件的丰富的类比特性，这些特性不够稳定可靠的，是模拟型的，所以每次计算都会不一样。
人脑是模拟的，不是数字的，每次神经元激发过程中都是模拟性的，每一次都不一样的。不可能把我脑子神经元的结构转到你的脑子里，做不到，因为每个人的神经元连接方式不同，我的神经元连接方式适合我的脑子里结构。人的脑子和硬件是不一样的东西，这就带来了问题。如果我们做不到永生，这些知识软件和硬件不依赖的，所以是永生。这带来两大好处：我们可以用很小的功率、很小的电流，我们大脑 30 个就可以用了，我们有几万亿的神经语言连接，和电子管的情况一样；我们不需要花非常多钱做一模一样的硬件。
但是我们现在还有一个比较大的问题，从一个模拟的模型转到另外一个模型知识效果，真的非常不高效，非常难，没办法把我脑子里的东西展示给你，这是不一样的。我们能做的用复杂的方式来解释给你我已经学到哪些东西。
所以要解决这个问题，用蒸馏技术。DeepSeek 就是这么做的，大的神经网络转到小神经网络里去。就像老师和学生的关系，有些情况下教师把事情连在一起，把一个词和另一个词互相连接上下文，联系起来，学生他也可以说同样的话，但调整了 wait，我们训练它的方式也是这样的，你把一个人的知识传给另外一个人也是这样的，非常不高效。所以可能一句话有 100 个比特的信息不是特别多，这就限制了我们可以把知识转给另外一个人可以转多少，我可以讲很慢的方式把知识转化给你，一秒钟最多 100 个比特而已，如果你全听懂我的话，所以效率不是那么高，如果对比数字智能之间转化知识的效率的话有巨大的差别。
我们有同一个神经网络软件做了几百个不同拷贝放在不一样的硬件里，它们都是用数字，它们会用同样的方式，用自己的 rates，平均化它的位置方式就可以把知识进行分享。我们可以有成千上万的拷贝，它们可以自己来改变它们的权重，取一个平均数，这样可以转移知识，这样转移速度取决于有多少连接点，每次可以分享万亿个比特而不是几个比特，而是几十亿的比特，比人类分享的知识快几十亿倍，所以 GPT4 非常好，有不同的拷贝在不同硬件运转，可以分享他们在网上学到的不同信息。
如果有智能体在现实世界中运行就更重要了，因为他们能够不断加速，不断拷贝，有很多智能体就比单个智能体学的更多，可以分享他们的权重，模拟软件或模拟硬件做到这点。我们的看法是，数字计算需要很多能源，智能体可以很方便获取同样的权重，分享不同经验中学到的东西，生物计算中用能更少，分享知识更难。就像我现在分享的这样，如果能源很便宜，数字计算就会好很多。这也让我很担忧。因为几乎所有的专家都认为，我们会生产比我们更智能的 AI，我们习惯成为最智能的生物，很多人觉得难以想象，如果在世界当中 AI 比人更智能我们会怎么样？我们可以这么来看，如果你想知道怎么样，如果人类不是最智能的话会怎么样，我们可以问一个鸡。
我们在创造 AI 智能体帮我们完成任务，这些智能体已经有能力可以进行拷贝，它们可以给自己的子目标评级。它们想做两件事，它们想要生存，然后来完成我们给它们的目标，它们也希望获得更多的控制，同时也是为了完成我们给它们的目标，所以这些智能体想生存、想更多的控制。我觉得我们不是把它们一关了事，它们会很方便的操纵用它们的人，我们就像 3 岁，它们像成年人一样，操纵 3 岁的人是很容易的。所以觉得他们变得聪明把它们关了不现实，它们会操纵我们，劝说操控机器的人不要把它们关了。
我觉得我们现在的情况就是有人把老虎当宠物，小虎仔是很可爱的宠物，但如果一直养这个宠物就要确保它长大时不会把你杀了，一般来说养老虎当宠物不是一个好的想法。只有两个选择如果你养老虎的话，一个你把它训练好，它不来杀你，或者你把它放了。用 AI 的话我们没办法把它消灭，AI 在很多方面做的很好，比如医疗、教育或气候变化、新材料，几乎可以帮助所有的行业变得更有效率。我们没办法消除 AI，即使一个国家消除 AI，别的国家不会这么做，这不是一个选项。这意味着，如果我们想让人类生存必须找一个办法训练 AI，让他们不要消灭人类。
现在我发表个人的观点，我觉得各个国家可能不会在一些方面合作，比如网络攻击或致命武器或虚假的操控公众意见的视频，各国利益是不一致的，他们有着不同的看法，我觉得不会在这方面有有效的合作。我们可以防止一些人来制造病毒，但在这些方面不会有什么国际合作，但有一个方面我们是会进行合作的，我觉得这也是最重要的一个问题。我们看一下五十年代冷战巅峰时期，美国和苏联一起合作，预防全球的核战争，大家都不希望打核战争，尽管他们在很多方面是对抗的，但他们在这点上可以合作。
我们现在的局面是，没有一个国家希望 AI 统治世界，每个国家希望人类掌控世界，如果有一个国家找到办法预防防止 AI 操控世界，这个国家肯定很乐意告诉其他国家。所以我们希望能够有一个 AI 安全机构构成的一个国际社群研究技能、训练 AI，让他们向善。我们的希望是训练 AI 向善的技巧和训练 AI 聪明的技术不一样，每个国家可以做自己的研究让 AI 向善，可以基于自己的主权 AI 上进行研究，可以不给别的国家，但可以把成果分享给大家，就是怎么训练 AI、让 AI 向善。
我有一个提议，就是全球发展 AI 的主要国家应该思考一下建立一个网络，包括各个国家的一些机构来研究这些问题：怎么来训练 AI，让一个已经非常聪明的 AI 不想要消灭人类，不想要统治世界，让 AI 很高兴做一个辅助工作，尽管 AI 比人要聪明很多。
我们现在还不知道怎么去做这件事。从长期来说，这可能说是人类面临最重要的问题。我们的好消息就是，在这个问题上所有的国家都是可以一起合作的。
谢谢！
