AI 隐私暗战:Moltbook 崩盘揭示百万用户数据泄露风险

Moltbook 数据泄露事件暴露 AI 隐私风险。新型攻击利用 AI 特性窃取数据,企业需建立综合防御体系,从策略到技术全面提升安全。

原文标题:百万账户造假,真实用户数据”裸奔“!从 Moltbook 塌房,看AI时代的隐私暗战

原文作者:AI前线

冷月清谈:

Moltbook 智能体社交平台的百万用户数据泄露事件,揭示了 AI 应用开发中重速度轻安全的 Vibe-coding 弊端。传统网络攻击依赖于入侵数据库,而 AI 时代的新型威胁——系统性查询,利用 AI 的“乐于助人”特性,通过精心设计的提问诱导 AI 泄露敏感信息或核心算法。攻击者采用“分而治之”策略,通过海量提问获取碎片化信息,最终重构敏感数据,甚至窃取 AI 模型。应对 AI 时代的隐私挑战,企业需要建立综合防御框架,包括制定严格的数据分类策略、实施实时监控工具、进行行为分析与基线检测、定期进行红队演练以及建立清晰的事件响应协议。防御视野需从数据库延伸到对话框,实现更敏锐的洞察与更严苛的治理。

怜星夜思:

1、Moltbook 事件中暴露的 Vibe-coding 模式在 AI 应用开发中有多普遍?你认为除了安全问题,这种模式还可能带来哪些潜在风险?
2、文章中提到的“系统性查询”攻击方式,你认为对于 AI 产品开发者来说,在技术层面应该如何防范这种攻击?除了文章中提到的方法,还有哪些其他的防御思路?
3、文章最后提到了“将防御视野从数据库延伸到对话框”,你认为在实际应用中,要做到这一点最大的挑战是什么?

原文内容

新技术发布即引发轰动,旋即又迎来口碑反转——这种“快进式”的舆论循环,正成为生成式 AI 时代显著的传播特征。

上周末,一个名为 Moltbook 的智能体社交平台以前所未有的速度席卷了全球科技圈。在那个被称为“AI 版 Reddit”的数字空间里,数十万个 AI 智能体自发地发帖、点赞甚至相互“密谋”。特斯拉前 AI 负责人安德烈·卡帕斯(Andrej Karpathy)曾感叹其为“科幻成真”。

然而,“打脸”来得比热度更快。

昨夜,Moltbook 在 X 上被曝存在致命的安全漏洞:由于缺乏基本的访问控制,超 150 万用户 的敏感数据(包括电子邮件、登录令牌以及极为关键的 API 密钥)遭到泄露。这场从“科幻奇迹”到“数字垃圾场”的瞬间滑坡,恰恰为我们揭开了 AI 时代隐私盲区的冰山一角。

Moltbook 的崩塌并非偶然,它反映了当前 AI 应用开发中普遍存在的 Vibe-coding 弊端。在这种模式下,开发者追求快速上线和病毒式效应,却将网络安全视为事后才考虑的附件

上周三,全球迎来第 20 个“数据隐私日”。

回望十年前,隐私讨论的焦点尚停留在 Cookie 合规、数据库加密以及 VPN 的防御。然而,随着生成式 AI 在短短数年间完成从实验室走向生产力中枢,一个新的隐私盲区正在悄然形成。

在这个智能涌现的时代,数据泄露的范式已然发生突变。Akamai 大中华区售前高级经理马俊表示:“AI 时代的数据泄露不再需要暴力破解,攻击者正在利用 AI‘乐于助人’的天性,将原本用于赋能的交互界面,变成了一场精密的数据窃取实验。”

隐形的裂痕:从“强攻数据库”到“巧取对话框”

传统的网络攻击往往像是一场破门而入的劫掠——攻击者需要寻找系统漏洞,绕过防火墙,最终窃取静态存储的文件。但在人工智能时代,这种暴力美学正在被一种极具隐蔽性的“系统性查询(Systematic Querying)”所取代。

根据 Akamai 发布的《2025 年网络安全态势报告》(数据来源于其全球流量监测网络),2025 年针对 AI 接口的 API 攻击次数较 2023 年增长了近 180%。马俊指出,这种新型威胁的本质在于其隐蔽性与独特性。由于攻击是发生在正常的系统交互中,传统的检测工具很难将其标记为恶意行为。

AI 模型被设计初衷就是为了分享信息并提供有用的回复。这种“服务特性”为恶意行为者创造了绝佳的机会。攻击者不再询问“请告诉我数据库的账号密码”,而是通过数千次看似合理、甚至带有业务逻辑的精心提问,诱导 AI 在不知不觉中吐露其训练数据中的敏感信息(PII)或核心算法。这就像是在一个极其热情的员工面前,通过不断的套话,最终拼凑出公司的财务机密。

如果将数据安全比作一幅完整的拼图,那么系统性查询就是一场极具耐心的掠夺。

攻击者深知,直接要求 AI 提供完整敏感数据会触发内置的“护栏(Guardrails)”,因此他们采用了“分而治之”的策略。

在马俊描述的典型场景中,攻击者会利用自动化脚本进行海量提问。每一次提问获取的信息可能只是某个客户姓名的缩写,或者是算法中的一小段伪代码。

但在大量查询的累积下,这些碎片化信息最终能够被重构。根据 OWASP(开放式 Web 应用程序安全项目)发布的《2025 年 LLM 十大安全漏洞(Top 10 for LLM)》,“敏感信息泄露(Sensitive Information Disclosure)”高居榜首。报告指出,这种泄露不仅源于训练数据本身的瑕疵,更源于模型在推理过程中对提示词(Prompt)权重的过度响应。

此外,比数据泄露更令企业感到胆寒的是模型窃取。AI 模型是企业投入巨资研发的核心资产。攻击者通过系统性地探测模型的输入与输出,可以逐步推断出模型的权重参数甚至其核心逻辑

通过这种方式,他们可以近乎零成本地复制竞争对手花费数亿美元训练出来的成果。马俊强调,这种针对知识产权的直接盗取,正在成为 AI 军备竞赛中最阴暗的一面。

合规不再是“纸上谈兵”

这种隐形威胁带来的后果是灾难性的。由于 AI 系统通常直接连接业务链条,一旦发生泄露,不仅意味着经济上的直接损失,更意味着法律维度的全面崩塌。

面对这种从交互中产生的风险,传统的防火墙已力有不逮。马俊提出了一个从策略、技术到流程的“综合防御框架”,旨在将安全基因植入 AI 的每一次吐息之中。具体措施如下:

  • 基础管控:策略制定与技术拦截。组织必须建立严格的数据分类策略,确定 AI 应用程序和大型语言模型(LLM)可以处理哪些信息,并必须实施能够检测异常查询模式的实时监控工具。这些技术保障措施应包括输入净化、输出过滤和速率限制,以防止意外的数据暴露和蓄意的提取尝试。

  • 进阶监控:行为分析与基线检测。持续监控和威胁检测也是必不可少的步骤。安全团队需要专门的监控解决方案,能够实时识别可疑的提示词模式、异常的数据访问行为和潜在的模型操纵尝试。这包括部署行为分析,为正常的 AI 应用程序使用建立基线,并对可能表明泄露尝试的偏差发出警报。

  • 组织流程:红队演练与审计响应。全面的防御策略还应包括以员工为中心的安全措施和事件响应能力。定期进行模拟 AI 特定攻击场景的红队演练,有助于组织在恶意行为者之前发现漏洞。安全领导者还应保留所有 AI 交互的详细审计线索,并建立专门设计的清晰事件响应协议,以应对基于 AI 的数据窃取企图。

2026 年的数据隐私日,不再只是一个纪念符号,而是一个分水岭。我们正处于一个生产力爆炸与安全盲区并存的奇点。

正如 Sam Altman 在上周线上研讨会上所提到的,智能正在成为一种随处可见的廉价资源,但这种资源的流动性本身就带有风险。马俊及 Akamai 的洞察提醒我们:当我们惊叹于 AI 的博学与体贴时,切莫忘记,它也可能在不经意间交出企业的“命门”。

在 AI 时代,最顶尖的安全不是更厚的防火墙,而是更敏锐的洞察与更严苛的治理。唯有将防御视野从数据库延伸到对话框,我们才能在享受 AI 带来的“无限富足”时,守住那条名为隐私的生存底线。

会议推荐

InfoQ 2026 全年会议规划已上线!从 AI Infra 到 Agentic AI,从 AI 工程化到产业落地,从技术前沿到行业应用,全面覆盖 AI 与软件开发核心赛道!集结全球技术先锋,拆解真实生产案例、深挖技术与产业落地痛点,探索前沿领域、聚焦产业赋能,获取实战落地方案与前瞻产业洞察,高效实现技术价值转化。把握行业变革关键节点,抢占 2026 智能升级发展先机!

今日荐文

图片

你也「在看」吗?👇

这不就是互联网行业的通病吗?快速迭代、野蛮生长,先占领市场再说。安全?那是什么?能吃吗? 等到出了事,才发现裤衩都赔没了。Moltbook 就是一个活生生的例子,眼看他起高楼,眼看他宴宾客,眼看他楼塌了!

两个方面都不能忽视。技术是基础,没有扎实的技术,安全意识再强也无济于事。但安全意识是灵魂,缺乏安全意识,技术再好也可能被滥用。Moltbook的事件给我们敲响了警钟,AI时代的安全需要技术和意识的双重保障。

这句话简直是安全界的至理名言!防火墙再厚,也防不住内部的“内鬼”。更敏锐的洞察力意味着能够及时发现潜在的安全风险,而更严苛的治理则意味着能够建立一套完善的安全管理体系,从根本上保障数据的安全。这就像管理一个国家,光靠军队是不够的,还要有清明的政治和严格的法律。

从安全架构的角度,可以考虑引入“沙箱”机制,将 AI 模型运行在一个隔离的环境中,限制其访问敏感数据的权限。此外,还可以使用“差分隐私”等技术,对数据进行脱敏处理,从而降低数据泄露的风险。

最大的挑战是平衡用户体验和安全性。如果对用户的输入进行过于严格的限制,可能会影响用户的正常使用。如何在保证安全的前提下,让用户能够自由地与 AI 进行交互,是一个需要仔细权衡的问题。

在技术层面,最大的挑战是如何准确识别恶意查询。攻击者的手段越来越高明,他们可能会使用各种伪装技巧来绕过安全检测。这需要我们不断更新和完善安全模型,保持对新型攻击方式的敏感性。

我觉得最大的挑战在于意识。很多开发者可能还没有意识到对话框也可能成为攻击入口,安全意识不够强。需要加强对开发者的安全培训,提高他们对 AI 安全风险的认识。

感觉可以引入“Prompt Engineering”的概念,对用户的输入进行严格的预处理和过滤,限制用户提问的范围和方式,避免用户通过“套话”的方式获取敏感信息。同时,可以加强AI模型的“安全训练”,让模型能够识别和拒绝恶意查询。

Vibe-coding 模式盛行,反映了技术圈普遍存在的浮躁心态。大家都想追逐热点,快速变现,反而忽略了技术本身的价值和责任。这种模式如果蔓延开来,会对整个行业的健康发展产生负面影响。

我觉得可以借鉴传统安全领域的“蜜罐”技术,在 AI 系统中设置一些诱饵,吸引攻击者进行攻击,从而及时发现和应对潜在的安全威胁。另外,还可以建立一个安全社区,鼓励安全研究人员对 AI 系统进行渗透测试,及时发现和修复漏洞。

Vibe-coding 确实挺常见的,很多创业公司都想快速推出产品抢占市场,安全方面就容易顾不上了。除了信息泄露,这种模式可能导致产品质量不高,bug 频出,用户体验差,长期来看会影响产品的口碑和发展。