原文标题：OpenAI解散Ilya重要团队，前高管怒斥，宫斗第二季
原文作者：机器之心
冷月清谈：
- 据报道，OpenAI 的超级对齐团队因最近一系列高管离职而解散，该团队的任务是确保人工智能与人类目标保持一致。
- 前高管 Jan Leike 在 X 上发帖，怒斥 OpenAI 及其领导层忽视「安全」而偏爱「光鲜亮丽的产品」。
- 据消息人士透露，OpenAI 的一些员工对奥特曼的领导失去信心，因为他注重 AI 系统的安全。
- 由于 OpenAI 要求员工在离职时签署带有非贬低条款的离职协议，很少有员工愿意公开谈论此事。
- 前员工 Daniel Kokotajlo 拒绝签署离职协议，以便他可以自由地批评该公司。
- Leike 在 X 上的帖子中表示，他辞职的部分原因是他与 OpenAI 领导层在公司核心优先事项上存在分歧。
- Sutskever 表示，他将离开 OpenAI 来完成一个对他个人而言非常有意义的项目。
- 一些 OpenAI 员工认为，奥特曼在声称要优先考虑 AI 安全方面言行不一。
- 几个月来，Sutskever 很少露面，据报道他已经大约六个月没有在 OpenAI 的办公室出现了。
- 在 Sutskever 宣布离职后，奥特曼迅速回应，这被视为微妙的时间安排。
- OpenAI 超级对齐团队的联合领导人 Leopold Aschenbrenner 和另一位研究员 Pavel Izmailov 被指控泄露信息而被解雇。
- 安全研究员 William Saunders 在 EA 论坛上发表了一篇神秘的帖子，称自己将于 2024 年 2 月 15 日从 OpenAI 辞职。
- Leike 在宣布辞职时没有流露出对 OpenAI 的温暖或信任。
- X 平台上的前员工爆料 OpenAI 的严格「封口协议」。
- OpenAI 用联合创始人 John Schulman 替代 Leike 担任超级对齐团队的负责人，但该团队已被解散。
- Leike 对 OpenAI 未来在 AI 安全方面的重点表达了担忧。</div>
</div>
<div data-wct-type="discuss-section">
<h3 data-wct-type="discuss-title">怜星夜思：</h3>
<div data-wct-type="article-discuss">1、你认为 OpenAI 解散超级对齐团队是否会对 AI 安全产生负面影响？<br>2、OpenAI 的 CEO 奥特曼在处理此次动荡中是否有不当之处？<br>3、OpenAI 未来会怎样？<br></div>
</div>
</div>
<div data-wct-type="original-content">
<h2 data-wct-type="original-content-header">原文内容</h2>
<!-- 原文具体内容 -->
<div data-wct-cr-1>
奥特曼的激进策略，现在不受控制了？
没有想到，OpenAI 在本周发布 GPT-4o，技术再次大幅度领先之后，随之迎来的却是一系列坏消息。
本周，OpenAI 联合创始人、首席科学家 Ilya Sutskever 官宣离职，与 Ilya 同步宣布离开的，还有超级对齐团队的共同领导者 Jan Leike。
山姆・奥特曼、 Ilya Sutskever 和 Jan Leike。
Ilya 与 Jan 是 OpenAI 超级对齐团队的领导者，该团队的任务是确保人工智能与其制造者的目标保持一致，而不是做出不可预测的行为并伤害人类。
另据《连线》等媒体报道，随着最近两位高管离职，OpenAI 的超级对齐团队已被解散。本周五，Jan Leike 在 X 发布了一系列帖子，怒斥 OpenAI 及其领导层忽视「安全」而偏爱「光鲜亮丽的产品」。
发生了什么事？
实际上，自去年 11 月那场「董事会风波」以来，社交媒体上一直流传着一个梗 ——Ilya 看到了什么。人们猜测：「OpenAI 秘密地取得了巨大的技术突破，而 Ilya 之所以离开，是因为他看到了一些可怕的事情，比如可能毁灭人类的人工智能系统。」
当然，这只是一种粗暴的猜测。OpenAI 频繁失去安全团队成员可能与奥特曼的领导有很大关系。据消息人士透露，注重 AI 系统安全的员工已经对奥特曼的领导失去了信心。
据外媒 Vox 报道，一位不愿透露姓名的公司内部人士表示：「这是一个信任一点一点崩溃的过程，就像多米诺骨牌一张一张倒下一样。」
很少有员工愿意公开谈论此事。部分原因是 OpenAI 让员工在离职时签署带有非贬低条款的离职协议。如果你拒绝签署，你就放弃了你在该公司的股权，这意味着你可能会损失数百万美元。
然而，总有例外。OpenAI 前员工 Daniel Kokotajlo 拒绝签署离职协议，以便他可以自由地批评该公司。Daniel Kokotajlo 于 2022 年加入 OpenAI，主要负责安全部署人工智能系统，并曾在治理团队工作，直到上个月辞职。
据 Vox 报道，Daniel Kokotajlo 称：「OpenAI 正在训练更加强大的人工智能系统，最终目标是全面超越人类智能。这可能是人类有史以来最好的事情，但也可能是最糟糕的事情。」
OpenAI 一直将构建通用人工智能 (AGI) 系统作为目标。「我加入时满怀期待地希望 OpenAI 在越来越接近 AGI 时表现得更加负责任，但我们中的许多人慢慢意识到 OpenAI 没有这样做，我逐渐对 OpenAI 领导层以及他们负责任地处理 AGI 的能力失去了信任，所以我辞职了，」Daniel Kokotajlo 说道。
周五，Leike 在 X 的一条帖子中解释了他辞去超级对齐团队联合领导职务的原因，并描绘了一幅非常相似的画面。他写道：「相当长一段时间以来，我一直与 OpenAI 领导层关于公司核心优先事项的观点存在分歧，直到我们最终达到了临界点。」
虽然 OpenAI 的技术仍在不断发展，但 Ilya Sutskever 等重量级科学家的流失让人不得不担心它的前途。
为什么奥特曼「不值得信任」
此次紧随 GPT-4o 发布的新一轮动荡，其源头还要追溯到去年的「宫斗」。
在去年 11 月那场董事会风波中，Ilya Sutskever 曾与 OpenAI 原董事会合作试图解雇奥特曼。OpenAI 在公告中称奥特曼对董事会不够坦诚。
当时有人将其解读为：OpenAI 可能已经在内部实现了 AGI，但并没有将消息及时同步给更多人员，为了防止该技术未经安全评估就被大规模应用，Ilya 等人按下了紧急停止键。
不过仅仅一个周末的时间，奥特曼就重返 OpenAI 董事会，并且之前罢免他的董事被纷纷解雇，董事会宣布重组，新任董事会主席 Bret Taylor 表示：「我们一致认为 Sam 和 Greg 是 OpenAI 的合适领导者。」
一场风波之后，奥特曼似乎可以更自由地管理 OpenAI 了，而 Ilya Sutskever 陷入了尴尬。
与之相对的是几个月来，Ilya Sutskever 的动态甚少。据知情人士透露：「Sutskever 已经大约有六个月没有在 OpenAI 的办公室出现了，他一直远程领导超级对齐团队」，直到本周 Ilya 正式宣布离职。
IIya 在 X 上发帖告别 OpenAI，发帖时间为 7：00AM
两分钟后，奥特曼就发帖称：「这对我来说非常难过；Ilya 是我亲密的朋友......」
Altman 紧随 IIya 发帖，发帖时间为 7：02AM
准时官宣离职，迅速回应，这微妙的时间安排似乎说明了一切......
值得注意的是，Ilya 宣布离职时，他表示自己将去追求「一个对我个人而言非常有意义的项目」。也就是说，注重 AI 安全的 Ilya 选择离开 OpenAI 来完成自己的项目。
反观奥特曼，一些 OpenAI 员工认为奥特曼虽然声称要优先考虑 AI 安全，但有些行为却自相矛盾。例如，奥特曼似乎急于积累尽可能多的芯片，加速技术的发展，而忽视安全方面的进展。
此外，Ilya Sutskever 的盟友、超级对齐团队成员 Leopold Aschenbrenner 上个月刚刚被 OpenAI 解雇。外媒报道称他和同团队另一位研究员 Pavel Izmailov 因被指控泄露信息而被解雇。但 OpenAI 却没有提供任何泄露信息的证据。
Aschenbrenner 和 Izmailov 被迫离职的同一个月，另一位安全研究员 Cullen O'Keefe 也离开了 OpenAI。
两周前，安全研究员 William Saunders 在 EA 论坛上发表了一篇神秘的帖子。Saunders 总结了自己在 OpenAI 作为超级对齐团队一部分的工作。然后他写道：「我于 2024 年 2 月 15 日从 OpenAI 辞职。」
一位评论者提出了显而易见的问题：为什么 Saunders 要发布这个？
「无可奉告」，Saunders 回答道。
这让人回想起，去年奥特曼复职后不久，Ilya 发布了这样一条推特，但随后很快被删除：
IIya 在 X 上发帖：「过去的一个月里，我学到了很多教训，其中一个教训是：『鞭打，直到士气提升』这句话的使用频率远超其应有的程度。」
最后，超级对齐团队的联合领导人 Jan Leike 在 Sutskever 宣布离职后仅几个小时就在 X 上发帖：「我辞职了」，没有温暖的告别，也没有对公司领导层的信任投票。
严格的「封口协议」
其他注重安全的前员工转发了 Leike 直白的辞职推文，并附上了心形表情符号。
评论者认为他们可能是受到了一项「不得诋毁协议」的约束。
X 平台上，一位 OpenAI 前员工爆料，并对公司「强制用协议保证的股权 + 工资激励措施」和「离职协议签署的合法性、合理性」做出了质疑。
入职文件说明中包含一项：「在离开公司的六十天内，你必须签署一份包含『一般豁免』的离职文件。如果你没有在 60 天内完成，你的股权获益将被取消。」
这位爆料者还透露了：入职期间和 OpenAI 的人交谈时，他们都没有太在意这个小细节。
那么，认真对待 AI 安全和社会影响的人在 OpenAI 工作是否是一件好事？这或许是个开放问题。
安全团队土崩瓦解后，谁来确保 OpenAI 的工作是安全的？
随着 Leike 不再担任超级对齐团队的负责人，OpenAI 已经用公司联合创始人 John Schulman 替代了他。
但是该团队很快就被员工证实已不复存在。该小组的工作将被纳入 OpenAI 的其他研究工作中。而且 Schulman 正忙于他现有的全职工作，即：「确保 OpenAI 当前产品的安全。」
「成立超级对齐团队的全部意义在于，如果公司成功构建了 AGI（通用人工智能），那么实际上会出现不同类型的安全问题，」这位内部知情人士告诉记者。「所以，这是对未来的专项投资。」
即使团队在全力运作时，这种「专项投资」也占据了 OpenAI 研究的重要部分，根据规定，公司曾经承诺会使用 20% 的算力来进行安全对齐 —— 这可能是当前 AI 公司最重要的资源。
现在，这些算力可能会被转移到 OpenAI 的其他团队，而且是否会将重点放在避免未来 AI 模型带来的灾难性风险上还不清楚。
需要明确的是，这并不意味着 OpenAI 现在正在发布的产品 —— 比如新版 ChatGPT（由 GPT-4o 加持，可以与用户进行语音的自然对话），会毁灭人类。
但接下来将会发生什么？
「重要的是要区分『他们目前正在构建和部署不安全的 AI 系统吗？』和『他们是否正在安全地构建和部署 AGI 或超级智能？』」这位内部知情人士说。「我认为第二个问题的答案是否定的。」
Leike 在周五的 X 平台帖子中也表达了同样的担忧。
他注意到，他的团队一直在努力争取足够的算力来完成工作，并且总体上一直在「逆风航行」。
Jan Leike 在 X 平台上连发 4 贴，对算力资源获取和在 OpenAI 内部工作表示担忧。
最引人注目的是，Leike 说：「我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让 AI 具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。」
当世界上 AI 安全领域的领军人物之一说世界上领先的 AI 公司没有走在正确的轨道上时，所有人想必都有理由感到担忧。
面对媒体曝光的大量信息，OpenAI CEO 奥特曼立即回复，表示接下来几天会写一篇长文说明这些问题。
但除此以外，更多的情况目前还只能靠猜测。
这一系列新变化可能会对 OpenAI 造成冲击，同时令其投资者感到担忧。我们知道，下周微软的 Build 大会即将召开。
参考内容：
https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
https://www.wired.com/story/openai-superalignment-team-disbanded/
https://venturebeat.com/ai/openais-former-superalignment-leader-blasts-company-safety-culture-and-processes-have-taken-a-backseat/
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com