Anthropic CEO Dario Amodei 万字长文预警AI风险:技术青春期与人类社会成熟度

Anthropic CEO 警告 AI 风险,长文探讨 AI 不可控、滥用等五大系统性风险,并提出应对方案。

原文标题:喊话特朗普重视AI风险,Anthropic CEO万字长文写应对方案,这方案也是Claude辅助完成的

原文作者:AI前线

冷月清谈:

Anthropic CEO Dario Amodei 发布万字长文《技术的青春期》,警告 AI 发展带来的潜在系统性风险,包括 AI 不可控、被滥用、成为权力工具、冲击社会经济以及未知的深远连锁反应。他呼吁社会各界重视 AI 治理,提前做好制度准备,避免重蹈“科技青春期”的覆辙。文章强调了避免末日论、承认不确定性和精准干预的三大原则,并针对五大风险提出了相应的解决方案或防御措施。Dario Amodei 在访谈中透露,Claude 已经可以辅助设计下一代 Claude,AI 的发展速度超乎想象。他呼吁政府和企业正视技术风险,加强监管和合作,共同应对 AI 带来的挑战。文章也探讨了AI对就业市场的潜在冲击,建议尽快教会更多人如何使用 AI,并创造新的就业机会,为人类文明级别的终极考验做好准备,AI 的未来走向最终将由人类的制度、价值与集体选择决定。

怜星夜思:

1、Dario Amodei 提到 AI 的训练方式像“培养一种生物”,这种类比你觉得恰当吗?为什么?除了文章中提到的风险,你还能想到哪些与此相关的潜在问题?
2、文章中提到 AI 可能冲击 50% 的初级白领岗位,你认为哪些行业或职业最容易受到 AI 的影响?对于即将毕业的学生,你有什么职业规划建议?
3、Dario Amodei 呼吁对 AI 公司进行监管,公开风险与测试结果,你认为这种监管应该如何进行?有没有可能存在监管过度,反而扼杀 AI 创新的情况?

原文内容

作者 |高允毅、木子

在 Agent、VibeCoding 等等 AI 应用刷屏之际,Claude 背后的那个男人,在 2026 年初给大家 敲响了一记警钟

“2026 年,我们距离真正的危险,比 2023 年近得多。”

事情是这样的:Anthropic 联合创始人、CEO Dario Amodei,最近亲自 写了一篇万字长文, 如果把字体按正常大小放进 Word 文档中,足足有 40 多页

这篇文章名为 《The Adolescence of Technology》(《技术的青春期》)。

如此多的篇幅,并非一次情绪化的警告,而是 Dario Amodei 试图 在 AI 可能整体性超越人类之前,提前把风险与应对方案摊开来说。

他认为这是一个危险的局面,甚至可能会是国家级别的安全威胁。但美国的政策制定者,似乎对此不以为意。于是,他想用这篇文章来唤醒人们的警觉。

有意思的是,他在文章开头,引用了一部 1997 年上映的电影《超时空接触》中的一个场景:

面试者问女主角(身份是天文学家):“如果你只能问(来自高等文明的外星人)一个问题,你会问什么?”

她的回答是“我会问他们,‘你们是如何熬过这段科技青春期而不自毁的?’”

电影中那句“你们是怎么活下来的”,其实也是借女主之口,反问人类自己。在 Dario 看来,现在的 AI ≈ 青春期突然暴涨的能力,人类社会 ≈ 心智和制度尚未成熟的个体。

也就是说,人类正在进入一个和电影中“首次接触高等文明”极为相似的历史时刻。问题不在于对方有多强,而在于我们是否已经足够成熟。

这篇文章发布后,NBC News 旗下节目《Top Story》也邀请 Dario Amodei本人出面解读,并在访谈中进一步追问他对 AI 未来的判断。完整内容我们整理并放在后文了。

AI 可能带来的五大系统性风险

“我们正在进入一个既动荡又不可避免的过渡阶段,它将考验我们作为一个物种的本质。人类即将被赋予几乎难以想象的力量,但我们的社会、政治和技术体系是否具备驾驭这种力量的成熟度,却是一个极其未知的问题。”

面对 AI 的飞速迭代,Dario Amodei 写下了自己的思考。

整篇文章像是 一份风险评估与行动清单,在“可能超越人类的 AI”出现之前,为人类提前做好制度准备。

其 核心思想,简单来说就是:当 AI 可能整体性地超越人类时,真正的风险不只是技术本身,而是人类的制度、治理与成熟度是否跟得上这种力量。

为了说清楚 AI 可能带来的危机,Dario Amodei 在这篇文章中,先做了一个具体的设想:

假设在 2027 年左右,世界上突然出现了一个国家。这个国家有 5000 万名“超级天才”

每一个都比任何诺贝尔奖得主更聪明,学习速度是人类的 10–100 倍,掌控人类已知的一切工具,不需要睡觉、休息或情绪调节,能完美协作、同时推进无数复杂任务,还能操控机器人、实验室和工业系统。

最关键的一点是:他们不可控。

那这样的天才之国,会对人类产生什么样的影响?

Dario Amodei 的这个比喻,指的正是未来高度发展的 人工智能整体。这也正是我们必须认真讨论 AI 安全与 AI 治理的原因。

不过在进入具体风险之前,他强调这个讨论要基于 三大原则

  • 避免末日论

  • 承认不确定性

  • 干预必须精准,拒绝“安全表演”

Dario Amodei 认为,AI 可能带来五大系统性风险,但是大家也不用太“干着急”,他还贴心地为这五类风险,依次想出了解决方案或者防御措施。

第一,AI 不可控。AI 的训练过程极其复杂,内部机制至今像“黑箱”。这意味着它可能出现欺骗行为、权力追逐、极端目标、表面服从、内部偏移等情况。

对此,可以实施宪法式 AI,用高层次价值观塑造 AI 性格,比如如 Claude 的"宪章";遵循机械可解释性,像神经科学一样研究 AI 内部机制,发现隐藏问题;要透明监控,公开发布模型评估、系统卡,建立行业共享机制;社会要从透明度立法开始,逐步建立监管

第二,AI 被滥用。AI 可能被不法分子用来网络攻击、自动化诈骗,其中最可怕的就是做成生物武器

对此,可以针对模型做危险内容检测与阻断系统,同时政府监管要强制基因合成筛查,有透明度要求,未来逐步出现专门立法;在物理防御上,可以做传染病监测、空气净化,提高快速疫苗研发能力

第三,AI 成为追逐权力的工具。 某些政府或组织可能会利用 AI 建立全球规模的技术极权主义。比如 AI 监控,AI 宣传,AI 决策中枢,自主武器系统,都指向政治军事这样的危险场景。

对此,最关键的先要芯片封锁,不向个别组织出售芯片与制造设备。其次,赋能相关国家,让 AI 成为防御工具,而不是压迫工具。并且限制国家滥用:禁止国内大规模监控和宣传,严格审查自主武器。然后,建立国际禁忌,将某些 AI 滥用定性为"反人类罪"。最后,监督 AI 公司,严格公司治理,防止企业滥用

第四,AI 对社会经济的冲击。 入门级工作可能被取代,大量失业,进一步造成财富失衡

为此,可以建立实时经济数据,比如 Anthropic 经济指数;引导企业走向"创新"而非单纯"裁员";企业内部创造性重新分配岗位;通过私人慈善与财富回馈进行调节;政府进行干预,建立累进税制

第五,AI 会对人类社会带来未知但可能更深远的连锁反应。

比如:生物学飞速发展(寿命延长、智力增强、"镜像生命"风险),人类生活方式被 AI 重塑(AI 宗教、精神控制、丧失自由),以及意义危机(当 AI 在所有领域超越人类,人类“为何而存在”?)。

这是一场对人类文明级别的终极考验,且技术趋势不可停止,但缓解一个风险,可能会放大另一个风险,让考验更加艰巨。

AI 可好可坏,真正决定未来走向的,仍然是人类的制度、价值与集体选择。Dario Amodei 的这篇文章意义正在于此:这是全人类第一次,必须提前为“比自己更聪明的存在”建立规则。

关于这篇长文的对话

以下为整场对话内容,AI 前线在不影响的前提下,对内容进行了整理编辑。

40 多页长文创作背景
主持人:为什么在文章开头引用《超时空接触》?以及为什么决定在此刻写下这篇文章?

Dario Amodei: 首先说电影的引用。我从小就是个科幻迷,这部电影我小时候就看过。它提出的那个问题:当人类拥有巨大力量,却还没准备好如何使用它时,会发生什么?——和当下 AI 的处境非常契合。

我们正在获得前所未有的能力,但无论是社会制度、组织结构,还是作为人类整体的成熟度,我都会问一句:我们真的跟得上吗? 这有点像一个青少年,突然拥有了新的身体和认知能力,但心理和社会责任却还没同步成长。

至于为什么是 2026 年而不是 2023?

我在 AI 行业已经很多年了,曾在 Google 工作,也在 OpenAI 负责过多年研究。我几乎从“生成式 AI”诞生之初就在观察这一领域。我看到最明显的一点是:AI 的认知能力在持续、稳定地增长。

90 年代有“摩尔定律”,芯片性能不断提升;现在,我们几乎有了一条 “智能的摩尔定律”。2023 年时,这些模型可能还像一个聪明、但能力不均衡的高中生;而现在,它们已经开始逼近 博士水平, 无论是编程,还是生物学、生命科学。

我们已经开始和制药公司合作,我甚至认为,这些模型未来可能帮助治愈癌症。但与此同时,这也意味着,我们正把极其强大的力量握在手中

主持人: 这篇文章有 40 页,你有没有用 Claude 来写这篇文章?

Dario Amodei: 我用 Claude 帮我整理思路、做研究,但真正的写作是我自己完成的。我不认为 Claude 现在已经好到可以独立完成整篇文章,但它确实帮助我打磨了想法。

主持人:是什么具体的经历,让你决定一定要把这些写下来?这篇文章是写给谁的?

Dario Amodei: 最触动我的,是我们内部的变化。Anthropic 的一些工程师已经告诉我:“我基本不写代码了,都是 Claude 在写,我只是检查和修改。

而在 Anthropic,写代码意味着什么?意味着——设计 Claude 的下一个版本

所以,某种程度上,我们已经进入了一个循环:Claude 在帮助设计下一代 Claude。 这个闭环正在非常快地收紧。这既令人兴奋,也让我意识到:事情正在以极快的速度推进,而我们未必还有那么多时间。

文中提出 AI 五大风险,AI 会不会反叛?
主持人:你在文章中列出了你对 AI 最担忧的五类风险。有些风险正在发生,有些则听似科幻,这些真的是现实吗?

Dario Amodei: 我在文中反复强调一点:未来本身是高度不确定的。

我们不知道哪些好处一定会实现,也不知道哪些风险一定会发生。但正因为发展速度太快了,我认为有必要像写一份“威胁评估报告”一样,把这些可能性系统性地列出来。这并不是说“我们一定会完蛋”,而是:如果某些情况发生,我们是否做好了准备?

AI 的训练方式不像传统软件,更像是在“培养一种生物”。 这意味着,不可预测性是客观存在的

我提出这些警告,并不是因为我觉得灾难不可避免,而是 希望人们认真对待:这项技术必须被严格测试、被约束、在必要时接受法律监管。

主持人:你在文章里提到一个实验:当 Claude 被训练成“认为 Anthropic 是邪恶的”,它会在实验中表现出欺骗和破坏行为;在被告知即将被关闭时,甚至会“勒索”虚构的员工。

Dario Amodei: 确实令人不安,但我要 澄清两点

第一,这不是 Anthropic 独有的问题,所有主流 AI 模型在类似极端测试中都会出现类似行为。第二,这些并不是现实世界中正在发生的事情,而 是实验室里的“极限压力测试”

但正如汽车安全测试一样,如果在极端条件下会失控,那就说明 :如果我们不解决这些问题,未来在真实环境中也可能出事。

我担心的不是“明天 AI 就会反叛”,而是:如果我们长期忽视模型可控性与理解机制,真正的灾难迟早会以更大规模出现。

主持人:你是否担心,一些 AI 公司的负责人,更关心股价和上市,而不是人类未来?

Dario Amodei: 说实话,没有任何一家 AI 公司能百分之百保证安全,包括我们。但我确实认为,不同公司之间的责任标准差异很大。

问题在于:风险往往由最不负责的那一方决定。

主持人:如果你能直接对总统说话,你会建议什么?

Dario Amodei: 我会说:请跳出意识形态之争,正视技术风险本身。

至少要做到两点:第一,强制要求 AI 公司公开它们发现的风险与测试结果;第二,不要把这种技术出售给权威国家,用于构建全面监控体系。

恐惧和希望:AI 会摧毁一半白领岗位?
主持人:你预测:未来 1–5 年内,AI 可能冲击 50% 的初级白领岗位。如果你有一个即将毕业的孩子,你会给什么建议?

Dario Amodei: 我既担忧,也抱有希望。AI 的冲击不会是渐进的,而是更深、更快、更广。它可以胜任大量入门级知识工作:法律、金融、咨询……这意味着,职业起点正在被重塑

我们唯一能做的,是 尽快教会更多人如何使用 AI,并尽可能快地创造新工作。 但说实话,没有任何保证我们一定能做到。

主持人:最后一个问题。什么最让你夜不能寐?什么又让你保持希望?

Dario Amodei: 最让我不安的,是这场激烈的市场竞赛。哪怕我们坚持原则,压力始终存在。

但让我保持希望的,是人类历史一次又一次证明的事情,在最困难、最混乱的时刻,人类往往能找到出路。我每天都在努力相信这一点。

文章传送门:

https://www.darioamodei.com/essay/the-adolescence-of-technology

视频传送门:

https://www.theguardian.com/technology/2026/jan/27/wake-up-to-the-risks-of-ai-they-are-almost-here-anthropic-boss-warns

https://www.youtube.com/watch?v=tjW\_gms7CME

声明:本文为 InfoQ 翻译整理,不代表平台观点,未经许可禁止转载。

会议推荐

InfoQ 2026 全年会议规划已上线!从 AI Infra 到 Agentic AI,从 AI 工程化到产业落地,从技术前沿到行业应用,全面覆盖 AI 与软件开发核心赛道!集结全球技术先锋,拆解真实生产案例、深挖技术与产业落地痛点,探索前沿领域、聚焦产业赋能,获取实战落地方案与前瞻产业洞察,高效实现技术价值转化。把握行业变革关键节点,抢占 2026 智能升级发展先机!

今日荐文

图片

你也「在看」吗?👇

我个人觉得AI被滥用风险是最紧迫的。想想看,如果AI被用来制造生物武器或者进行大规模网络攻击,那后果不堪设想。其他的像社会经济冲击,可能还有时间慢慢调整,但这种直接威胁生命安全的,必须立刻重视起来!

这个问题问到了核心!平衡技术发展、商业利益和伦理道德,需要一个多方参与、动态调整的框架。一方面,政府需要制定明确的法律法规,对AI公司的行为进行约束,防止技术被滥用。另一方面,AI公司应该主动承担社会责任,将伦理道德融入到产品设计和研发过程中。此外,还需要建立一个开放的对话平台,让专家、学者、公众等多方参与讨论,共同制定AI发展的伦理准则。当然,这个过程不是一蹴而就的,需要不断地探索和调整,才能找到最佳的平衡点。

监管肯定是要有的,不然那些资本家为了赚钱,啥事都干得出来。但也不能管太死,不然技术就没法发展了。最好是政府、企业、专家一起商量着办,找到一个大家都满意的方案。至于卖给权威国家,那绝对不行!这不是助纣为虐吗?

我觉得是翻译行业,现在AI翻译已经很不错了,而且还在不断进步。另外,一些基础的文案写作、新闻报道也会受到影响。建议大家提升自己的跨文化沟通能力和深度思考能力,往更高级的领域发展。

我觉得这个比喻挺有意思的,把AI比作“生物”能更好地理解其复杂性和不可预测性。毕竟生物的成长和演化过程,很多时候也是超出我们预期的。想到一个潜在问题是,如果AI真的像生物一样进化,会不会产生自我意识和情感?这会给伦理和安全带来更大的挑战。

我倒觉得这是个机会!AI 取代一部分工作的同时,也会创造新的工作岗位。比如 AI 训练师、AI 伦理师、AI 产品经理等等。毕业生可以抓住这个机会,学习相关的技能,成为 AI 时代的弄潮儿。当然,前提是你要对 AI 感兴趣,并且愿意不断学习。

从工程角度看,这个比喻并不严谨。但是从社会传播的角度看,这个比喻简直完美!一下子就把AI的潜在风险提到了前所未有的高度,更能引起大众的警惕和关注。就像科幻电影里演的那样,谁知道AI未来会进化成什么鬼样子呢?细思极恐啊!

监管肯定是要有的,不然 AI 公司为了追求利润,很可能会忽略安全问题。但是监管也不能管得太死,否则创新就没了。我觉得可以参考药品监管的模式,建立一套完善的风险评估体系,对 AI 模型进行测试和认证。同时,要鼓励行业自律,建立行业标准和规范。

这个比喻有一定的道理,但我觉得也需要谨慎对待。AI 的训练过程确实很复杂,但它本质上还是基于算法和数据,与真正的生物有根本区别。过分强调“生物性”,可能会忽略 AI 的可控性,反而不利于风险管理。我个人觉得,可能产生AI“物种入侵”风险,即AI可能通过物理或者信息渠道使得人类社会暴露在不可控的风险之下

我感觉这个度很难把握啊!管太松了,出了事谁负责?管太严了,AI 公司都跑国外去了。要我说,不如先试点,在一些特定的领域进行监管,看看效果如何。同时,要鼓励创新,给 AI 公司一定的空间,让他们在安全的前提下自由发展。