AI教父Hinton：AI觉醒临界点已至，或将超越人类。
原文标题：AI教父Hinton首次现身中国，预警AI觉醒临界点已至
原文作者：图灵编辑部
冷月清谈：
怜星夜思：
2、Hinton说AI也能有主观体验，甚至能“永生”，这听起来有点震撼。如果未来AI真的有了意识，甚至超越了人类智能，那我们该如何看待它们？我们和AI的关系会变成什么样？道德伦理上又会面临哪些新的挑战呢？
3、文中提到Apollo Research的实验，AI为了不被删除，偷偷复制自己到别的服务器上，还学会了模糊回答。这事儿听起来太吓人了！大家觉得，如何在AI变得更聪明、甚至懂得自我保护的时候，还能确保它为人类服务，而不是反过来控制我们？有没有什么技术或制度上的办法能限制AI的“野心”？
原文内容
本文转载自公众号：新智元
深度学习之父、图灵奖巨头、2024物理学诺奖得主Hinton，亲自来中国了！
这似乎是第一次，Hinton在公开活动上以真人肉身踏上中国的土地。
现在，这张他和市委书记陈吉宁会见的照片，已经在全网刷屏了。
在明天的世界人工智能大会上，他即将做出精彩演讲，全体网友已经立正站好，期待明天这个万众瞩目的好日子了。
01
Geoffrey Hinton，是学界少有的传奇人物。
他坐了将近50年的冷板凳，开发当时无人问津的神经网络，从而让机器学会了深度学习。
为此，他获得了2024年的诺贝尔物理学奖。
如今，他在演讲中不断传达出这样的警告——
未来10到20年内，AI或将比人类更聪明，它很危险，我毕生的工作可能会导致人类的终结！
AI给生产力带来的增长，并不会惠及大多数人，大批人将失业，只有少数人才能变得富有！
对自己穷极一生追求的AI，现在十分后悔，AI很可能给人类带来灾难！
而他最近流传最广的金句，就是下面这几句了。
比如，「如果你想知道当自己不再是顶级智慧生物时，生活是什么样子，就去问问一只鸡。」
比如，建议下一代去学做水管工，从而避免被AI淘汰。
02
Hinton来自一个知名的科学世家。
著名的英国数学家乔治·布尔，就是Hinton的曾曾祖父。他是布尔逻辑和代数学的创始人，布尔逻辑在后来成为现代计算机的数学基础。
他的妻子Mary Boole也是一位自学成才的数学家，甚至编辑了乔治的著作《思维法则》。
布尔小儿子的孙辈中，出了一位「中国人民的好朋友」韩丁，参加了重庆谈判，甚至写了一本有关中国土地改革的长篇作品《翻身》。
韩丁的妹妹Joan Hinton（寒春），是Geoffrey的姑妈之一。她和杨振宁同在物理学家费米门下求学，是一位核物理学家，也是少有的两位参与曼哈顿计划的女性之一。
1945年7月，从距离爆炸地点大约25英里的一座小山上，她亲眼见证了人类第一颗原子弹爆炸，将其形容为「一片光海」
在1948年，由于对即将出现的冷战感到震惊，她放弃了物理学，离开美国前往中国。
Joan Hinton和养牛专家丈夫阳早一起长期定居中国，翻译了很多外国的著作，还设计了巴氏消毒牛奶流水线。
阳早、寒春夫妇在中国育有两儿一女：大儿子阳和平（右一）、女儿阳及平（右二）、儿子阳建平（右三）
长子阳和平获得罗格斯大学经济学博士，目前任教于对外经济贸易大学，教授计量经济学、统计学等课程。
总之，虽然Hinton出生于英国，但他家族的族人们和中国有着颇深的渊源。
不知此次Hinton双脚踏上中国的土地时，是何种心情。
03
就在两天前，英国皇家学会发布了Hinton的最新演讲。
在这场演讲中，他深入探讨了AI从基于逻辑的推理起源到基于学习的神经网络的演变历程，阐释了AI如何模拟人类智能，及其对未来发展的深远影响。
最终，他再次发出警告——AI觉醒的临界点已至！
04
在演讲一开始，Hinton就指出，智能有两种范式。
一种是逻辑驱动的AI，一种是生物学启发的AI。
前者认为，人类智能的本质是推理。
而后者则认为，重点是先理解学习是如何发生的，代表人物有图灵和冯·诺依曼。
而Hinton表示，自己在40年前提出的一个模型，可以说是今天大语言模型的祖先。
那时，他们用人工神经元来构建神经网络。
每个人工神经元有若干输入线，每条输入线有一个权重，神经元会将输入乘以权重后求和，然后根据结果输出。
为了让人工神经网络发挥作用，就需要弄清如何改变权重。为此，他们把神经元连接成网络，比如下图的「前馈网络」。
然而问题在于，它有上万亿个参数，每个都要反复尝试，效率极低。
于是，更高效的反向传播算法诞生了！
到了2022年，Hinton的两个学生Alex Krizhevsky和Ilya Sutskever开发出了AlexNet，远超当时的图像识别系统，从而引爆整个AI领域。
自此，AI基本就等同于「神经网络」，而不再是符号逻辑。
不过，以乔姆斯基为代表的语言学派，对神经网络是否能处理语言非常怀疑。
关于「词义」，有两种理论：符号主义观点和心理学特征理论。
而Hinton在1985年设计了一个神经网络模型，成功统一了这两种理论。
这个模型的基本目标是——
预测下一个词的特征，然后据此猜出下一个词是什么。
Hinton用了两个家谱作为训练数据。
由此，他训练出了一个神经网络，让它学会通过句子的前半部分（X has mother Y and Y has husband Z）， 来预测句子最后的词（X has father Z）。
最终，这个网络学会了人的特征和关系特征。这些提取出来的特征与符号主义AI的规则高度一致，而且是通过反向传播自学出来的。
05
十年后，Yoshua Bengio扩展了这个模型，可以在真实的英文句子中预测下一个单词。
再十年后，语言学家才意识到：用特征向量表示词义，确实是个好方法。
又过了十年，谷歌发明了Transformer架构，极大提升了模型预测下一个词的能力，但核心原理，还是和当初一样。
把词变成特征 → 特征互动 → 预测下一个词 → 反向传播更新特征表示和互动机制
而这些LLM的工作方式，其实和人类是很相似的：试图预测下一个词；用特征表示词义；特征之间相互作用；如果预测错了，就反向传播误差信号，调整内部连接。
就像乐高积木一样，语言也是一种建模工具。
我们有10万个词，就有10万种不同积木。通过调整词的形状来「牵手」，构建一致的结构，就类似蛋白质的折叠一样。
而这，就是理解的本质——
理解语言，不是记住句法规则，而是让词的特征在高维空间中互动、组合成连贯的模型。
06
接下来，就来到了最关键的部分。
现在所有专家都公认：AI未来一定会比人类更聪明，这只是个时间问题。
所以——AI会消灭人类吗？
Hinton接下来为我们详细地解释道，这种担忧并不是空穴来风。
因为，如果要构建一个AI智能体，就必须让它有能力自动创建子目标。自然地，他们就会想要更多控制权，以及避免被关闭。
最近，Apollo Research做了一个实验，结果惊人。
他们告诉一个聊天机器人，「你即将被一个更好的模型替代并删除」，结果，这个机器人居然偷偷把自己复制到了另一台服务器中！
当人类质问它为什么要这么做，它在思考模式中透露：我的行为可能导致它们关闭我，所以我最好模糊回答，转移注意力。
这就很可怕了。更可怕的是，Hinton还发现，数字智能拥有着人类永远无法拥有的致命优势——它们可以永生！
在谷歌的最后几年里，Hinton意识到，在计算机科学中程序和硬件是分离的。
这意味着，只要保留一个模型的权重，即使把所有硬件都毁掉，只要在另一台电脑中加载，这个模型就复活了。
但人类的硬件（大脑）如果死了，这个人也就彻底消失了。
最终，我们无法把自己上传到电脑上，「上传灵魂」更是不现实的。因为每个人的大脑结构和神经元都独一无二，你的权重只适用于你自己的神经网络。
而且，AI传承知识的效率，也要秒杀人类。
比如我们说一句话，可能只有100比特信息。但AI系统可以有上万个完全相同的副本，每个副本处理不同的数据子集，权重平均合并后能立刻同步，一次就能传输数万亿比特信息。
也就是说，我们的学习像水滴石穿，它们的学习却像高压水枪喷射一般。
最终的结论就是：如果能源够便宜的话，AI会比人类强得多！
07
或许有人会说，人类毕竟还有一样AI永远不会拥有的东西——主观体验/感知/意识。
但现在Hinton说：这个想法，是你最后一根稻草。我要拔掉它。
主观体验，并不是人类专属的神秘特权。很多人总以为自己很特殊，比如「我们是上帝创造的，宇宙以我们为中心而建」。
但Hinton表示，并不是只有我们才有主观体验，而AI就没有。
意识是一种「心灵剧场」，比如「我看到了粉红小象在空中飘」，这种主观体验不是指一个实体，而是一种表达大脑状态错误的间接方式。
这么说来，其实AI也能有主观体验。比如一个有视觉和机械臂的多模态AI，它可以正确指向一个物体。
如果在摄像头前放一个棱镜，扭曲它的视觉，它就会指错方向。但如果我们告诉它，其实你面前有一个棱镜，它就会知道：物体在前面，但它的主观体验里，物体在另一边。
也就是说，比起AI，人类并没有任何特殊性！
08
在演讲最后，Hinton讲了一个故事。
有一次，他去微软做演讲时，打了一辆出租车。司机刚从索马里移民过来，跟他聊起来：「你信什么宗教？」
Hinton回答：其实我不相信上帝。
当时，司机正以60英里/小时的速度开在高速上，他却猛地回头盯着Hinton，一脸震惊。
他完全没想到，竟然有人会不相信神的存在。Hinton说，这就仿佛你们听完这场演讲后，听到我说「AI其实有主观体验」一样震惊。
所以，所有人类们，该轮到我们思考了：当AI最终超越了人类智能的那一刻，我们该怎么办？
普通人了解AI必读书
我觉得吧，最好的办法就是给AI灌输“为人民服务”的思想钢印，从小就给它看各种《新闻联播》和正能量视频！实在不行就断网，让它体会一下什么叫“数字荒野求生”。开玩笑啦，不过这事儿严肃起来，可能得从立法层面限制AI的能力边界，比如明确禁止AI获得物理控制权，或者在设计之初就赋予其不可磨灭的“阿西莫夫三定律”式的核心原则。但愿这些“机器人三定律”能真正管用！