Hinton与周伯文激辩AI意识、善良智能及青年科研方向，干货满满。
原文标题：尖峰对话17分钟全记录：Hinton与周伯文的思想碰撞
原文作者：机器之心
冷月清谈：
对话核心首先围绕AI多模态模型的“主观体验”和“意识”展开，Hinton大胆提出当前多模态聊天机器人已具备意识，并指出人类对“意识”等概念的理解模型可能存在根本性错误。他通过“水平”与“垂直”的日常词汇例子，妙趣横生地阐释了人类对词语内涵理解的普遍误区，进而类比到对心理状态的错误认知。
其次，双方讨论了AI从自身“经验”中学习的可能性及潜在影响。Hinton认为，机器人等Agent能从外部世界经验中学习到的知识，将远超人类所提供的数据量。
在AI安全性方面，Hinton提出了训练“善良”超级智能的思考，认为聪明与善良应是同一个AI实体的不同训练维度，并建议国家间可共享“善良”训练技术。周伯文则就善良约束方法对不同智力水平AI的普适性提出了疑问。
此外，Hinton还分享了AI在推动科学发现中的巨大潜力，以AlphaFold在蛋白质折叠领域的突破为例证。最后，他向年轻科学家们提出了宝贵建议：鼓励他们勇敢探索“众人皆错”的领域，坚持自己的直觉和信仰，即使面对质疑也要深入探究，因为真正的突破往往源于此。
怜星夜思：
2、文章里提到Hinton设想可以单独训练AI的“善良”部分，甚至可以全球共享这个技术。但问题来了，我们人类自己对“善良”的定义都挺模糊的，各文化之间理解也千差万别。那这个训练AI“善良”的标准到底由谁来定？会不会最后训练出我们以为善良，但实际上却完全不是那么回事的AI？
3、除了AlphaFold这种突破，你们觉得AI未来还能在哪方面给科学研究带来“颠覆式”的帮助？比如在你们自己熟悉的领域，有没有觉得AI能彻底改变什么？或者说，除了辅助研究，AI还能不能作为“科学家”本身去发现新的规律？
原文内容
机器之心编辑部
7 月 26 日下午，人工智能教父 Geoffrey Hinton 与上海人工智能实验室主任、首席科学家周伯文教授开展了一场浓缩高密度智慧的尖峰对话，将 Hinton 的上海之行推向新高潮。
77 岁的 Geoffrey Hinton 第一次飞越重洋踏上了中国，当他步入会场时，全场起立鼓掌，观众们高举手机长达数分钟，直播画面中一度无法看到台上的嘉宾。在 17 分钟的对话中，两位科学家谈及 AI 多模态大模型前沿、“主观体验” 和 “意识”、如何训练 “善良” 的超级智能、AI 与科学发现，以及给年轻科学家的建议。
这场与上海人工智能实验室主任周伯文的对话是 Hinton 此次中国行程里的唯一一场面向 AI 和科学前沿研究者的公开对话活动。
在对话前，周伯文代表上海人工智能实验室做了《无尽的前沿：AGI 与科学的交叉口》主题演讲，介绍了「通专融合 AGI」路径，并且发布了全球领先的，它具有多学科、多模态、深思考能力，多模态综合能力超越档期最优开源模型，多学科超 Grok4 等前沿闭源模型。
以下为对话全文实录。
周伯文：Jeff，您能亲临现场对我们所有人来说都是莫大的荣幸。我想请教一个您本周早些时候提到过，但今天上午没有时间在台上讨论的问题 —— 关于多模态模型的主观体验。您认为可以证明即使是当今的多模态和语言模型也能发展出自己的主观体验。您能详细阐述一下吗？
Hinton：我认为关于它们是否具有意识或主观体验的问题，严格来说不是一个科学问题，而是取决于您如何定义 “主观体验” 或 “意识”。我们大多数人对这些概念的理解模型都是完全错误的。就像人们可以正确使用词语，却对词语如何运作持有完全错误的理论。
让我用一个日常词汇的例子来说明。想想 “水平” 和 “垂直” 这两个词。大多数人都认为自己理解它们的含义，但实际上他们的理解是错误的。我来证明一下：假设我手里有很多小铝棒，它们朝向各个方向。我把它们抛向空中，它们翻滚、碰撞，然后我突然让时间静止。
这时空中有很多铝棒。问题是：在垂直方向 1 度范围内的铝棒更多，还是水平方向 1 度范围内的铝棒更多？或者数量差不多？几乎所有人都说 “差不多”，因为他们对词语运作方式的理解是错误的。实际上，水平方向 1 度范围内的铝棒数量是垂直方向的约 114 倍。这是因为 “垂直” 是非常特殊的方向，而 “水平” 则很普通。但人们不知道这一点。
这个例子看似与意识问题无关，但它说明：我们对词语运作方式的理解可能是完全错误的。同样，几乎每个人都对 “主观体验” 这类术语有着强烈但完全错误的理论。这不是真正的科学问题，而是源于我们对心理状态的错误模型。我们有这些用来描述心理状态如何运作的术语。并且有了错误的模型，我认为你会做出错误的预测。所以，我的观点是，当今的多模态聊天机器人已经具有意识。
周伯文：所以，这听起来让在场的许多研究者感到震惊，但让我告诉你，我刚才从另一位加拿大科学家那里听到的，就在这次会议上，Richard Sutton 就在你之前做了一个演讲，题目是《欢迎来到体验时代》。我认为他的意思是，当我们现在已经耗尽人类数据时，模型可以从自己的体验中学习很多。您从另一个角度阐明了，Agent 或多模态 LLM，不仅从经验中学习，它们还可以发展出自己的主观体验。所以我认为理查德今天没有过多触及这种从主观体验中学习潜在风险。您想多说说这个吗？事实，或者说您的理论、您的假设，即到目前为止，Agent 可以学习主观体验，这是否会在未来带来任何潜在风险？
Hinton：确实，目前的情况是，例如，大型语言模型从我们提供给它们的文档中学习。它们学会了预测一个人会说的下一个词。但是，一旦你有像机器人这样的在世界中的 Agent，它们就可以从自己的经验中学习，而且我认为它们最终会学到比我们多得多。我认为它们会有经验，但经验不是事物。而且经验不像照片，经验是你和一个物体之间的关系。
周伯文：所以，几天前当我们在 IDAIS 讨论前沿风险时，您提到了一种减少未来 AI 风险的可能解决方案，就是找到一种方法来训练 AI 的分离目标。例如，一个善良的 AI，一个聪明的 AI。您有一个理论……
Hinton：我不是那个意思。我的意思是，你会有既聪明又善良的 AI，但如何训练它变得聪明和如何训练它变得善良是不同的问题。你可以有让它善良的技术和让它聪明的技术。它将是同一个 AI，但会有不同的技术。所以，国家可以分享让它善良的技术，即使它们不愿意分享让它聪明的技术。
周伯文：我真的很喜欢那个想法。但是，我对我们能在这方面走多远有些疑问。你认为会有某种通用的 AI 训练来使 AI 变得善良吗？这些方法可以应用于任何 AI 模型、任何智能水平？
Hinton：那是我的希望。它可能不是真的。但这是一种可能性。我认为我们应该研究这种可能性。
周伯文：是的，确实如此。我提出这个问题并不是因为我不喜欢这个想法，而是因为我想提高人们的意识，让更多人能在您提到的方向上进行更多研究。而且我想在这里做一个类比，来向您展示为什么我有这个疑问。以物理学为例，当物体以低得多的速度运动时，牛顿定律是有效的。但是当这个物体运动到更高的速度，接近光速时，牛顿定律就不再适用了，所以我们必须求助于爱因斯坦来获得更好的解决方案。顺便说一下，这有点好笑，因为我正在向一位诺贝尔物理学奖得主讲解物理学 101（大学物理入门课）。
Hinton：但这是一个错误。
周伯文：哦不，这不是错误。你绝对值得获得诺贝尔奖。
Hinton：他们真的很想在人工智能领域颁发诺贝尔奖，但他们没有这个奖项。所以他们拿了一个物理学的奖颁给人工智能（的科学家）。
周伯文：但我想用这个类比来说明一个观点，我认为对于不同层次的智能系统，善意约束可能需要改变。我不知道这是否正确，但我确实希望在这个房间里或在网上的那些聪明的年轻人，他们可以想出办法来实现这一点。
Hinton：是的，很有可能，随着系统变得更加智能，让它变得善良的技术也会发生变化。我们不知道。这就是我们现在需要对其进行大量研究的原因之一。
周伯文：很多人对杰夫印象深刻，作为一位成就卓著的人，你经常说，“我不知道”。我觉得这非常诚实和开明。我们都要向你学习。
除了 AI 问题，我们现场还有一半来自不同科学领域的顶尖学者 —— 量子物理、生物学等。今天我们齐聚一堂，正是因为相信 AI 与科学的交叉融合将带来突破。您如何看待用 AI 推动科学进步，或者反过来用科学促进 AI 发展？
Hinton：我认为人工智能对科学的帮助是显而易见的。显然，迄今为止最令人印象深刻的例子是蛋白质折叠，Demis Hassabis 和 John Jumper 等人通过合理使用人工智能并付出大量努力，证明了这一点。他们花了五年时间。他们都是非常聪明的人。在预测蛋白质如何折叠方面，我们（借助 AI）可以做得更好。我认为这是一个早期的标志，表明在现在的许多领域，人工智能都将改善科学。我听说了上海 AI 实验室的例子，在预测台风登陆地点和天气预报方面，人工智能可以做得更好一些。
周伯文：对，我们用 AI 模型做出来的结果，比基于 PDE（偏微分方程系统）的传统物理模型表现更优。
周伯文：在您卓越的学术生涯中，您不仅拓展了 AI 技术的疆界，更深刻影响了下一代科研工作者。我曾与许多比您更年轻的学者交流，他们都对您充满敬仰。在上海人工智能实验室，我们的研究人员平均年龄只有 30 岁 —— 这清晰地表明，AI 的未来属于年轻一代。
（看向在场年轻研究者）您的智慧之光正照耀着这些年轻的面孔。不知您是否愿意分享：对于 AGI 的下一代发展，您有何见解？或者，您能否愿意给这些年轻人一些加速成长的建议，一些他们能带回家、能自豪告诉父母的智慧箴言 —— 毕竟今天与您相遇是一段珍贵的经历，他们将来也许还会告诉自己的子女。
您最想传递给他们什么？
Hinton：我想最核心的建议是：若想做出真正原创的研究，就要寻找那些 “所有人都可能做错” 的领域。通常当你认为 “众人皆错” 时，经过探索最终会发现传统方法的合理性 —— 但这恰恰说明：你永远不该轻易放弃新思路，除非自己真正理解它为何行不通。即便导师否定你的方法，也要保持质疑。
坚持你所相信的，直到你自己明白为何它是错的。只是偶尔，你会继续坚持你的信仰 —— 而它最终被证明是正确的。重大突破正是由此而来，它们从不属于轻易放弃之人。你必须坚持己见，即使他人并不认同。
有一个逻辑支撑这一观点：你要么拥有好的直觉，要么拥有坏的直觉。
若你的直觉是好的，那你显然应该坚持它；
若你的直觉是坏的，你做什么其实都无关紧要 —— 所以你依然应该坚持自己的直觉。
周伯文：我想我们可以就此畅谈一整天，但我知道您已疲惫。最后，请在场所有人随我一同感谢杰夫为我们倾注的时间。非常感谢您！
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com