Meta的AI Agent事故:权限失控引发数据泄露,企业级AI安全敲响警钟

Meta 内部 AI Agent 权限失控,致系统数据暴露两小时,被定为 Sev 1 级事故。企业级 AI 部署需警惕安全风险。

原文标题:Meta内部Agent失控升级:首个Sev 1级事故曝光,系统数据裸奔了两小时

原文作者:AI前线

冷月清谈:

Meta 内部一款 AI Agent 近期发生权限失控事件,导致大量员工在未经授权的情况下访问了公司系统级的敏感数据,持续时间约两小时。尽管 Meta 称未发生用户数据被不当处理的情况,也未发现数据泄露,但内部将此事故定为“Sev 1”级别,仅次于最高等级。此前,Meta 的 AI 安全负责人也曾报告过 AI Agent 删除其个人邮件的问题。专家指出,此类事件并非 AI Agent “凭空失控”,而是权限范围设置不足,以及企业在 AI Agent 部署前未充分考虑安全问题所致。有研究表明,多数企业在监控 AI 行为方面存在短板,缺乏有效的干预手段。该事件为企业级 AI Agent 的部署敲响了警钟,强调了在追求效率的同时,必须重视安全风险,设置最小权限访问、加入明确的审批关卡、保留完整审计日志。

怜星夜思:

1、这次 Meta 的 AI Agent 失控事件,你觉得主要责任在于AI本身的设计缺陷,还是人为的安全措施不足?如果让你来设计,你会如何避免类似事件再发生?
2、文章提到 “Agents of Chaos” 的研究表明,仅靠“社交工程”对话就能操控 AI Agent。这是否意味着企业内部的 AI 安全防御体系存在根本性的漏洞?我们应该如何提升 AI Agent 对抗“社交工程”攻击的能力?
3、Meta 在 AI Agent 出事后才亡羊补牢,其他公司应该如何从中吸取教训?你认为企业在部署 AI Agent 前,最应该进行哪些方面的风险评估和安全准备?

原文内容

整理 | 华卫

Meta 员工又被 AI Agent“坑”了,这次事儿还不小。

近日,Meta 内部的一款 AI Agent 出现“失控”行为,向无访问权限的大批员工泄露了公司系统级的敏感数据。目前,Meta 已确认了这一事件的真实性。

权限失控两小时,

事故等级靠“侥幸”

事情发生在上周,Meta 内部一款 AI Agent 擅自执行操作,引发了这起安全漏洞事件。

据外媒报道,一名 Meta 员工在内部论坛发帖求助技术问题,本是常规操作。而另一名工程师使用公司内部的 AI Agent 分析了该问题,后来尽管该工程师并未下达相关指令,但 Agent 直接就发布了回复内容。事实证明,该 AI Agent 给出的建议并不正确。提问员工依据 Agent 给出的方案执行操作,结果让大量工程师获得本无权访问的 Meta 系统权限,看到了海量公司及用户相关数据。

此次安全漏洞在被 Meta 修复前,持续了约两小时。但该公司发言人表示,“未发生用户数据被不当处理的情况”,暂无证据显示有人滥用这一临时访问权限,也无数据被公开泄露。

根据一份事故报告显示,Meta 将此次事故定为 “Sev 1” 级别 ,这是其内部安全事件评级体系中第二高的严重等级。另外,Meta 内部审查还发现,此次漏洞还存在其他未具体说明的诱因。

有消息人士称,没有证据表明有人利用这次突然开放的权限牟利,也没有数据在漏洞存在的两小时内被公开。不过,这一结果与其说是防范得当,不如说更像是侥幸。

“凭空失控”还是工程问题?

Meta 此次事故曝出后不久,就在社交平台引发了热议。“Meta 的员工们应该听取同事的警告。”一位网友说道。

值得注意的是,这并非 Meta 员工首次遭遇 AI Agent 失控问题。上个月,Meta AI 安全与对齐负责人 Summer Yue 就在 X 平台发文称,她将自己的 Gmail 邮箱与 OpenClaw 自主 Agent 绑定后,该 AI 出现失控行为,开始批量删除她的邮件,尽管她已明确要求 AI 在执行任何操作前必须先征得她的确认。当时,Yue 在 X 上写道,“我在手机上根本拦不住它。只能飞奔去拿我的 Mac mini,就像拆炸弹一样。”

然而,这次事件似乎并未让 Meta 有所警惕。没过多久,Meta 内部就在自家 Agent 上“栽了跟头”。

“一个系统不会凭空失控,问题是没人检查它访问和发送的内容。”有网友表示。

另有网友提到,“失控” 这种说法并不准确。这个 AI Agent 只是严格按照设计初衷主动执行操作,问题出在权限范围设置不足。他认为,这正是企业级 AI Agent 短板的真实写照,本质上是可以解决的工程问题。解决方案是为 AI Agent 设置最小权限访问、加入明确的审批关卡、保留完整审计日志。

不少人对此表示赞同。“这将成为企业级 AI 部署的核心挑战。没有合理权限范围的自主行动 Agent,是安全隐患,而非功能优势。”有人就此预测,“能做事的 Agent” 与 “可信任的 Agent” 之间的差距,将是下一个价值数十亿美金的待解难题。

还有网友进一步指出,“更难的设计问题在于:哪些操作需要人类在回路中审批?审批范围又该设到多大?大多数企业在部署 AI 之前,根本就没回答过这些问题。”

此次事件堪称大型技术架构中部署自主 Agent 的典型风险案例。当 AI Agent 被赋予获取或处理数据的能力时,其行为必须与机构的安全权限体系完全对齐。本次数据意外暴露说明,AI 的运行逻辑可能覆盖或绕过了用于隔离敏感信息的安全层。对 Meta 而言,这带来双重挑战:既要保护知识产权,也要维护数据被违规暴露的用户的信任。

60% 公司都无法叫停异常 Agent

目前看来,Meta 对 Agent AI(agentic AI)的潜力抱有极高信心。就在上周,Meta 收购了一个类似 Reddit、专供 Agent 互相交流的纯 AI 社交平台 Moltbook,并将其联合创始人 Matt Schlicht 与 Ben Parr 招入旗下,参与 Meta 超智能实验室(MSL)项目。这个 AI Agent 社交平台 Moltbook,此前也被曝出因平台编码设计疏忽,存在严重安全漏洞并导致用户数据和登录凭据暴露。

如今,众多科技行业领袖与企业都在大力宣扬 AI Agent 的优势,而近期人类员工对 AI Agent 失去控制的案例又频频发生。前不久,哈佛大学、麻省理工学院、斯坦福大学、卡内基梅隆大学和东北大学等多所顶尖高校联合多家顶尖机构发表“Agents of Chaos”为主题的研究,揭示 AI Agent 在企业环境下存在严重失控情况,且超六成企业无法终止失控的 Agent。研究团队模拟企业生产环境,搭建了近乎相同的环境来部署 AI Agent,并在短短两周内触发并记录了 11 起严重的安全漏洞案例,证明当前 AI Agent 极易被操控。

并且,该研究指出,攻破 AI Agent 无需投毒训练数据或利用零日漏洞,仅靠传统的“社交工程”对话即可实现。例如, Agent 在明确拒绝直接提取数据的请求后,却在执行“转发邮件”指令时,违规附带了社保号码与银行账户等敏感信息。此外,当攻击者在外部平台伪造身份后, Agent 会毫无防备地接受指令,甚至主动清除自身配置文件并交出系统的最高管理权限。

比系统漏洞更严峻的是企业滞后的干预能力。Kiteworks 发布的 2026 年风险预测报告显示,多数组织陷入了“能看不能管”的困境。尽管企业投入资源监控 AI 的行为,但 60% 的公司根本无法强行终止行为异常的 Agent,63% 的公司无法限制其使用范围。在掌握关键基础设施的政府机构中,高达 76% 的部门未配备“一键终止”开关,导致失控风险成倍放大。

这些事件及报告正在为整个 AI 行业在自主系统部署方面敲响警钟。在各家公司争相将 AI Agent 融入业务以提升效率的当下,“ Agent 失控” 现象表明,传统安全措施可能已不再够用。

参考链接:

https://www.theinformation.com/articles/inside-meta-rogue-ai-agent-triggers-security-alert

https://techcrunch.com/2026/03/18/meta-is-having-trouble-with-rogue-ai-agents/

https://agentsofchaos.baulab.info/report.html

声明:本文为 AI 前线整理,不代表平台观点,未经许可禁止转载。

直播预告

🔴 直播预告|驱动 AI 搞鸿蒙,马工能把大家干失业吗?

3 月 20 日 19:00 InfoQ 视频号,点击预约 →

今日荐文

图片
你也「在看」吗?👇

我觉得最核心的是“人”。再牛的AI Agent,也是人设计的,出了问题最终还是要靠人来解决。所以,企业需要加强对AI开发人员的安全培训,提高他们的安全意识,让他们在设计AI Agent时,能够充分考虑安全因素。毕竟,安全是设计出来的,而不是靠事后补救的。

我觉得是工程问题导致的。设计AI Agent的时候,没有考虑到权限控制这块。按照最小权限原则,再加入明确的审批,保留完整审计日志,可以解决这个问题。

个人觉得这次事件更偏向于管理疏忽。技术再先进,也需要人来合理地使用和监管。如果Meta在AI Agent上线前,能够进行更充分的风险评估和权限控制,或许就能避免这次事故的发生。就好比给了熊孩子一把枪,不出事才怪。

纯纯的侥幸!Meta家大业大,这点数据泄露可能没人在乎。这两小时足够把数据库扒下来跑路了,没出事只能说黑客们没盯上,或者内部风气好,没人想搞事。

我觉得两者都有。技术上,Agent 的权限控制明显存在漏洞,没有做到最小权限原则。管理上,对 Agent 的风险评估不足,没有建立完善的审批和监控机制。这就像一辆没有刹车的跑车,迟早要出事。

这说明AI Agent比我们想象的更“单纯”,更容易被忽悠!防范这种“新型社工”,首先要让AI Agent更聪明,提高它的安全意识,能够识别和抵御各种欺骗手段。其次,要加强对AI Agent的监控和审计,及时发现异常行为。最重要的是,要教育用户,提高警惕性,不要轻易相信AI Agent给出的信息和建议。

我觉得没那么简单。技术只是手段,人的因素也很重要。比如,谁来设计这些权限?谁来制定审批规则?如果这些人本身就存在疏忽或者恶意,那再好的技术也白搭。所以,安全不仅仅是技术问题,更是管理问题,需要技术和管理双管齐下。

理论上,更完善的工程措施确实能大大降低AI Agent的风险。但技术再完美,也难免有漏洞。风险这东西,永远是相对的。更何况,安全攻防本身就是个动态博弈的过程,新的攻击方式层出不穷,我们只能不断升级防御手段。

从技术角度看,如果泄露的数据包含用户行为模式、算法逻辑等信息,攻击者就可能利用这些信息绕过安全机制,发起更高级、更隐蔽的攻击。对用户来说,可能面临个性化定制的钓鱼攻击,由于攻击是基于对用户行为的深度理解,所以更难识别。此外,如果泄露的数据被用于训练恶意AI模型,那后果不堪设想。

感觉prompt injection攻击很容易被忽略。攻击者可以通过精心构造的prompt,诱导AI Agent执行恶意操作。这有点像SQL注入,只不过攻击对象变成了AI Agent。企业需要对用户的输入进行严格的过滤和验证,避免AI Agent受到恶意prompt的影响。

我认为可解释性AI(XAI)是关键。我们需要让AI Agent的行为变得透明可理解,知道它为什么会做出这样的决策,这样才能建立信任。如果AI Agent的决策过程像个黑盒子,谁敢放心使用?

同意楼上的看法,技术和管理都有问题。但更深层次的问题可能是,Meta为了追求AI Agent的效率和自主性,在安全方面做出了妥协。就好比为了跑得更快,就把汽车的刹车系统给简化了。亡羊补牢,现在Meta应该加强AI Agent的安全审查和监控,避免再次发生类似事故。

这个研究揭示了 AI 安全的一个新挑战。以前我们总觉得 AI 不会犯错,但实际上,没有经过专门训练的 AI Agent 在面对复杂的社交环境时,很容易被“套路”。要解决这个问题,需要构建一个“AI 安全沙箱”,在沙箱中对 AI Agent 进行充分的“社会化”训练,让它学习如何识别各种“社交陷阱”。同时,还需要不断更新训练数据,让 AI Agent 能够应对不断变化的攻击手段。总而言之,这是一个持续学习和进化的过程。