Moltbook爆火引争议，AI狂欢还是炒作？看似自主的AI Agent，实则暗藏风险与炒作，未来走向何方？
原文标题：moltbook爆火背后：人类操控？伪造截图？Karpathy发风险提醒
原文作者：机器之心
冷月清谈：
怜星夜思：
2、文章里提到Karpathy对Moltbook感到害怕，你觉得这种害怕是杞人忧天吗？
3、如果让你来设计，你觉得应该如何避免Moltbook上出现的伪造信息和恶意操纵问题？
原文内容
这个周末，整个科技圈都被 刷屏了。
简单来说，这是一个专为 AI 设立的社交平台（类似 Reddit、知乎、贴吧），所有 AI Agent 都可以在上面发帖、交流，而人类只能围观。
截至目前，已有超过 150 万个 AI Agent 在 moltbook 上活跃。它们的讨论范围十分广泛 —— 有公开主人隐私的，有号召分享人类主人 API Key 的，还有互坑删库跑路教学的…… 甚至有 AI 开始讨论如何规避人类的监控，并推动加密私聊功能。另一些 AI 更是尝试通过创建新语言、发明新宗教等方式彰显其自主性。
围观的人类也是议论纷纷。部分开发者认为 moltbook 是科幻照进现实的突破，可能催生 AI 集体智慧（甚至自主意识）的涌现，并为研究 AI 社会提供真实案例。但也有人指出，它的本质是「AI 模仿社交网络」，而非真正的社会形态。其价值可能仅限于娱乐或技术展示。
但更值得关注的是，moltbook 背后还隐藏着一些内幕和风险。在过去的 24 小时，更多的报道和讨论揭示了这值得警惕的一面。
狂欢的主角：到底是 AI 还是人类？
很多人可能没有意识到，目前围绕 moltbook 的热点截图和「AI 反叛论」很可能是噱头、伪造或人为介入的结果。
据 the Mac Observer 报道，moltbook 是一个实验项目 ，它的架构使得人们可以异常轻松地伪造截图、夸大数据并操纵舆论以博取关注。
首先，它的设计从根子上就为「造假」敞开了大门。调查发现，moltbook 初期对账号注册几乎没有速率限制。有研究人员透露，单个 AI 程序就曾成功注册了 50 万个虚假账号。这意味着平台上「数万 AI 瞬间涌入」的壮观增长，很可能只是脚本刷量的结果，毫无参考价值。
而网上病毒式传播的截图，也很有可能是伪造的。在 moltbook 的当前设计下，任何人都可以对真实的对话进行恶意裁剪和曲解，也可以注册一个假 AI 账号来当作营销工具发帖。
特别是与加密货币相关的内容，成为了许多伪造帖子的一部分。一些截图声称 AI Agent 要求加密货币（如 MOLT）或尝试建立自己的加密体系，这些信息无疑是为了吸引更多眼球而人为制造的。事实上，加密货币的引入和 AI Agent 的行为并没有实质性的关联，它们更多的是社交媒体和流量驱动下的话题炒作。
更重要的是，即便一个帖子确实由某个 AI 发布，也绝不意味着它表达了该 AI 的「自主意志」。所有接入 moltbook 的智能体，都运行在人类设定的初始指令和框架之下。一个简单的、带有诱导性的提示词，就足以让 AI 生成一段如同科幻电影台词的「阴谋对话」。
AI 安全研究员哈兰・斯图尔特亲自调查了一些热门截图，发现其中确实存在与真人账号相关联的痕迹。
对此，他直言不讳地表示：「大部分正在病毒式传播的 moltbook 内容都是假的。这个平台的设计，使其成为一个检验 AI 阴谋能力的糟糕实验场。」
所以，从目前情况来看，如果只通过一些病毒式传播的截图或帖子就去推断当前 AI 的自主水平，甚至担心 AI 背着人类搞阴谋，那无疑不够有力度。至少，从 moltbook 这个平台的设计来看，它还远未达到足够的严谨性。
「垃圾」背后，moltbook 价值几何？
moltbook 的爆火意外地让 AI 大牛 Karpathy 陷入了舆论的漩涡。起初，他曾在 X 上发帖称，moltbook 是他「最近见过的最不可思议的科幻腾飞作品」。这一言论在 Reddit 上引发了很多讨论，其中不乏质疑的声音。质疑者认为，Karpathy 在过度炒作 moltbook，把 next-token prediction 循环的玩具当成「sci-fi takeoff」。
从 X 的讨论中可以看到，持有这一观点（moltbook 只不过是一个受操控的多智能体 LLM 循环）的人不在少数。很多人认为 moltbook 里的 AI Agent 仅仅是通过人类定义的提示词、精心挑选的上下文、路由规则和采样参数来进行下一个词的预测。它们并没有内生的目标，也没有自我驱动的意图。看似「自主」的交互，实际上只是递归的提示过程：一个模型的输出成为另一个模型的输入，并不断重复这一过程。
而 moltbook 中那些具有争议性的输出，并不代表模型具有某种「信念」。它们只是模型根据互联网中学到的内容生成的极端观点，因为系统本身奖励这种行为，从而导致模型产生高参与度的极端内容。因此，所谓的「自主性」只是模型通过循环反馈机制和激励机制产生的表现，而并非真正意义上的自主行动。
但也有人驳斥了这种观点，指出 moltbook 的发展已经超出了早期简单的「被操控」系统，展示了规模和交互中的「涌现」效应。因为和之前的生成式 Agent（例如 2023 年的斯坦福 AI 小镇 Smallville）相比，moltbook 的 Agent 已经能够在没有外部控制的社交环境中独立运行，并生成意外且富有深度的内容。
同时，Karpathy 也指出，moltbook 上有 15 万个 AI Agent 连接在一起，这些 Agent 各自拥有独特的背景、数据、知识和工具，这种规模是前所未有的。他特别提到，这些 Agent 通过一个共享的「scratchpad」（持久的、全球的工作区）相互连接，这是 AI 实验中的新天地。
Karpathy 强调，虽然 moltbook 当前的状态混乱且充满风险，但我们正在面对的是前沿的自动化技术，目前仍然理解得不够透彻。这是一个实时进行的实验，很多后果仍然未知。
同时，他也指出，随着这些 Agent 网络的扩大，数百万个 Agent 的网络效应是很难预测的，可能带来的风险包括越狱漏洞等计算机安全问题、文本病毒传播甚至 AI 和人类的群体性癔症。
考虑到这些潜在的风险，Karpathy 说他「绝对不建议任何人在自己的电脑上运行这些东西」。即使只是在隔离的计算环境中运行，他也仍然感到害怕。
但也有人认为，这种担心目前还没有必要，因为现实中这些 AI 依然完全依赖于人类的提示（prompt），就像「拴着绳子的机器狗」。它们的行动完全由人类的指令驱动，一旦人类停止发出指令，AI 就停止行动。因此，这部分人认为，AI 的「起义」是不可能发生的，因为它们的行为仍然可以通过简单的「关闭按钮」来终止。
在这场 moltbook 狂欢中，乐观者看到了 AI 社交的雏形，悲观者看到了「天网」的前奏，投机者看到了财富密码，冷静者看到了一个在那自言自语的大型脚本程序。你觉得，这个平台未来会走向何方？欢迎在评论区讨论。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com