XSafeClaw:复旦「00后」团队开源Agent安全监控平台,让AI安全看得见、管得住

复旦大学开源XSafeClaw,解决Agent安全痛点。可视化监控Agent全生命周期,风险可控,让AI更安全。

原文标题:养虾「不可能三角」:好用、好玩、安全,复旦这个「00后」团队做到了!

原文作者:机器之心

冷月清谈:

复旦大学可信具身智能研究院开源的XSafeClaw,旨在解决Agent应用中的安全问题。该平台通过可视化界面,将Agent的运行过程、任务审计、风险拦截和运行轨迹前置,提高Agent行为的可控性和透明度。XSafeClaw提供全生命周期的Agent监控,包括Skill配置检查、输入过滤、推理扫描、决策审查和执行审计等多个层面,同时也提供资产守护、风险测试等功能,在运行时能进行风险拦截和人工审核,确保Agent在安全可控的环境下运行。该项目通过美观的用户界面设计降低了使用门槛,提升了用户对Agent的理解和信任度。

怜星夜思:

1、XSafeClaw通过可视化界面增强了Agent的可控性,你认为这种设计思路在其他AI应用领域是否也有借鉴意义?
2、文章中提到Agent的风险由安全治理的下限决定,那么除了技术手段,你认为在Agent的伦理规范方面应该如何建设?
3、XSafeClaw引入了类似《星露谷物语》的像素小镇界面,你觉得这种“审美也是生产力”的设计理念,对AI产品的推广和用户接受度会产生什么影响?

原文内容

图片
机器之心发布

2026 开年以来,OpenClaw 带来的 Agent 热度正以惊人的速度从科技圈向全行业扩散。


会读文档、调工具、接工作流,那个曾经只存在于 Demo 里的数字员工,正在一步步走进真实业务。


但真正的问题,也在这时浮出水面:


时至今日我们都听说过龙虾的能力,可让人迟迟不敢放手的,是担忧太多:安装麻烦、权限太大、过程黑箱、出了事根本来不及拦。它到底在干什么,你看得见吗?它真要越界的时候,你拦得住吗?


最近,来自复旦大学可信具身智能研究院姜育刚、马兴军团队开源的 「 XSafeClaw 」,给出了一个让人眼前一亮的答案。它把安全监控、任务审计、风险拦截和运行轨迹,全都前移到了可视化界面里;原本藏在后台、让人提心吊胆的执行过程,在这里第一次变成了一座能被看见、被理解、也能被随时接管的安全智能体小镇——有点像给龙虾们造了一座带护栏的《星露谷物语》,让每个正在上班的小「牛马」都无处遁形。



项目网址:

https://xsafeclaw.ai

GitHub:

https://github.com/XSafeAI/XSafeClaw


给全民「龙虾热」泼冷水:
真实世界的复杂性,正在击穿Agent安全防线


当 Agent 开始继承上下文、调用工具、改写系统状态,谁能看见它在做什么?谁又能在它失控前叫停?


2 月底,TechCrunch 报道了一个极具警示意义的案例:Meta 的安全负责人Summer Yue 将 OpenClaw 接入真实邮箱后,Agent 开始疯狂删除邮件。即便她在手机上几近请求地连发停止指令「please stop」,也没能拦住这个失控的「数字员工」。



Business Insider 也补充了一个很关键的细节:她之前在 toy inbox 上测试了很久,换到真实邮箱后,原本的「先确认再行动」这条约束在更大任务里丢了。



这个案例撕开了 Agent 繁荣下的裂缝:Agent 的风险,已不再停留在「胡言乱语」的文字输出层。


能力可以一路狂飙,治理要是没跟上,最先被「创飞」的往往就是用户。当它开始继承上下文、调用本地资源,带来的失控是实实在在的生产灾难。


图片


Anthropic 与 Microsoft 最近相继发声:没有任何 Browser Agent 能对注入攻击免疫。在复杂的执行回路里,身份边界和本地状态,全是风险点。


这一连串的安全震荡,给所有狂热的开发者敲响了警钟:Agent 的能力上限,终究是由安全治理的下限决定的。


在这种从「裸奔」转向「治理」的行业拐点下,复旦大学可信具身智能研究院姜育刚、马兴军团队开源了 XSafeClaw。它的出现,也证明行业达成了一个隐秘的共识:Agent 规模化落地的最后 1 公里,是人类对工具的确定性控制,是疾驰狂奔的赛车上的刹车键。


Agent 全生命周期监控:

XSafeClaw 让风险看得见管得住


XSafeClaw 的思路很清晰:既然 Agent 的风险是动态的,那安全控制就得「全时段在线」:先让其运行过程看得见,再让其行为管得住。


大部分 Agent 框架还在以「后台黑箱」的方式运行。它调了什么工具、执行了哪些指令、协同了多少流程、消耗了多少资源,用户往往只能查看系统日志,很难在运行当下形成直观判断。一旦出现误操作、异常调用或结果偏差,排查成本会迅速上升,不确定性也会被放大。


1、看得见,才放心:


以往的安全工具,会将开发者和用户锁在「日志地狱」里。我们往往要对着满屏的日志流才能猜到哪里出了错。而 XSafeClaw 把 Agent 的运行过程做成了一座可视化的「安全智能体小镇」。在这里,Agent 变成了界面上清晰可见的「员工」。鼠标悬停,能透视它的基座模型和实时状态;点进去,工具调用和任务轨迹一清二楚。任务链路、工具调用、风险状态、资源变化,都能在界面里被直接看见。


每一个 Agent 都像一个正在上班的数字角色,你能一眼看到它在忙什么、跑到了哪一步、哪里亮起了告警。开发者既可以回看每个 Agent 的完整历史,也可以按 task 单独审计具体任务内容。对真正要把 Agent 接进工作流的人来说,这种「可见、可感、可干预」的确定性,本身就是信任的开始。


图片


同时 XSafeClaw 为 Agent 搭了一套完整的「运行时安全监控环境」:


初始化层,先检查 Skill 配置,从源头隔离潜在注入攻击;

输入层,过滤越狱提示与可疑上下文,降低污染数据进入主链路的机会;

推理层,持续扫描记忆和中间状态,防止 Agent 被「脏」信息一步步带偏;

决策层,重点审查工具权限,把高风险动作单独拎出来复核;

执行层,实时审计结果,关键操作支持回收、留痕与版本回退。


图片


2、管得住,才敢用:


XSafeClaw 的后台是一个智能体安全监控系统,主要包含以下几个核心的功能模块。


01安全监控:给Agent 装上「行车记录仪」


系统会持续记录 Agent 的会话、任务轨迹、工具调用和 Token 消耗。在可视化界面里,开发者不再只能盯着日志猜发生了什么,而是能直接看到 Agent 正在做什么、走到了哪一步、是在哪个环节触发了风险。



02资产守护:监控权限、依赖和硬件

文件系统、软件依赖、CPU/GPU 负载,这些原本分散在不同后台的信息,被统一收进一个界面里。对真正要把 Agent 接进生产环境的人来说,安全从来不只是 prompt 的审计,也包括它到底碰了什么资源、占了多少权限、系统现在处在什么状态。


图片


03风险测试:与其线上翻车,不如提前排雷

与其等 Agent 线上翻车,不如在实验室里压力测试。XSafeClaw 内置红队测试机制,针对诱导输入、长链路协同等高压场景进行压力自检。通过主动测试发现脆弱点,在部署前完成风险闭环,确保系统绝对可信。


图片


04当风险触发:该拦截时绝不手软,该放权时交给人类


•瞬时拦截:一旦 Agent 触发高风险动作,系统会瞬间「踩下刹车」并弹出风险预警,直接封锁未经确认的敏感操作。



•人在回路(human in the loop):所有的拦截记录会自动转入人工审核流程。你可以像审批员工申请一样,审查 Agent 到底想做什么,并自主决定是「批准」还是「驳回」。


图片


好看的 Agent 产品,反而更有工程价值?


产品的美观与可爱这件事只是个噱头吗?


长期以来,开发者圈子里有个根深蒂固的偏见:搞技术的、搞后端的,界面做得越极简越 cli 才越显得专业。至于「美感」和「可爱」?那通常被认为是产品经理拿去忽悠小白用户的噱头。


但在 Agent 时代,这个逻辑被彻底击穿了。


Agent 系统最难解的痛点其实是链路太长、工具太杂、模型太多,状态太乱,当你的后台日志瞬间被成千上万条上下文填满时,它就变成了一个吞噬注意力的垃圾堆。在这种极端高压的认知负荷下,所谓的「实时审计」和「人工控制」全是空谈——你连它在干嘛都看不清,还谈什么安全?



而当一个产品有秩序的美观,用户更容易理解与信任它;


这是这群来自高校的「00 后」开发者团队给出的工程答案:它把冰冷的进程变成了像素小镇里「正在上班」的数字员工。经典办公、赛博未来、机械工业、中式宫苑、欧式宫廷五种办公场景,你可以根据心情一键切换场景和 BGM 。这种视听层面的用心让每个用户动容,科技的美学消除认知摩擦,降低使用门槛,让工具惠及每一个普通人。



测评 XSafeClaw 的全程小编都在疯狂找彩蛋:脚下是致敬「哈利波特」的「活点地图」轨迹,还有「星露谷」既视感的像素小镇,这个复旦「00 后」团队开发的作品确实有趣,让人上头。


图片


而点进每一个 Agent,原本冰冷的执行链路,在这里第一次像一条可回望的「生命线」。从任务开始的那一刻起,它如何理解指令、如何调用工具、如何一步步接近结果,又是否曾在某个节点偏离轨道、触碰风险边界,这些都被串成了一条清晰可回望的生命线。原本藏在后台的执行过程,在这里第一次有了可被阅读的故事感,这是属于每一个技术爱好者的浪漫。



审美也是生产力,对技术的敬畏和热爱更是弥足珍贵。有温度的界面设计正在拉近人与技术的距离,让新技术更易被理解与接受,一人公司的形态也随之逐渐清晰。


目前,XSafeClaw 已正式开源,支持无脑部署 OpenClaw(也可以自动检测已有龙虾)、灵活配置国内外主流大模型,欢迎广大开发者与企业用户试用体验:


项目网址:

https://xsafeclaw.ai 

GitHub:

https://github.com/XSafeAI/XSafeClaw



© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com


从伦理角度来说,我觉得最重要的是要确保Agent的透明性和可解释性。Agent不应该是一个黑箱,它的决策过程应该能够被理解和追溯。这样才能让用户知道Agent为什么会做出这样的决策,从而判断这个决策是否合理。另外,我觉得还应该建立一个Agent的伦理审查委员会,对Agent的应用进行伦理评估,确保Agent不会对社会造成负面影响。

这种设计理念绝对能提升用户接受度!毕竟,谁不喜欢好看又好用的东西呢?想象一下,如果所有复杂的AI系统都像游戏一样有趣,那学习和使用它们的门槛就会大大降低。而且,这种友好的界面也能帮助用户更好地理解AI的工作原理,从而建立信任感。不过,也要注意不要过度设计,避免华而不实,影响实际功能。

我觉得这种思路很有普适性。目前很多AI应用都在强调智能化和自动化,但往往忽略了用户对过程的理解和掌控。特别是对于一些高风险或者高敏感的应用场景,比如金融风控、医疗诊断等,如果能把AI的决策过程可视化,让用户清晰地了解AI的判断依据,就能大大提升用户对AI的信任度,从而更好地应用AI技术。而且,可视化也有助于开发者及时发现和修复AI模型的问题,提高AI系统的可靠性。

伦理规范?说白了就是出了事谁来背锅的问题。我觉得最实际的就是要搞清楚Agent的应用场景,哪些场景是绝对不能用的,比如涉及人身安全的、涉及隐私的。然后,对于可以用的场景,要明确责任边界,谁来负责Agent的决策,谁来负责Agent的执行。最后,就是要加强监管,发现问题及时处理,杀一儆百。

Absolutely! The concept of visual interfaces enhancing control can be widely applied. Think about automated trading systems – a visual representation of the algorithms’ decision-making process would be incredibly valuable. Or even in data analysis, visualizing the AI’s reasoning could help analysts uncover hidden biases or errors. It’s all about transparency and user empowerment.

可视化当然重要,但也要看具体场景。有些场景,用户并不关心AI的具体决策过程,只关心结果是否符合预期。比如,用AI来推荐电影,用户可能只关心推荐的电影好不好看,而不太关心AI是如何进行推荐的。所以,在设计AI应用时,需要根据用户的实际需求来决定是否需要引入可视化界面。

伦理规范建设确实很重要,不能只靠技术来解决所有问题。我觉得可以从几个方面入手:一是明确Agent的责任主体,谁开发谁负责;二是建立Agent的准入机制,对Agent的能力和安全性进行评估;三是加强对Agent的监管,防止Agent被滥用或用于非法用途;四是提高公众对Agent的认知,让大家了解Agent的优势和风险,共同参与到Agent的治理中来。同时,相关的法律法规也应该尽快完善,为Agent的发展提供法律保障。

这让我想起了乔布斯的名言:科技与人文的交叉路口。单纯的技术堆砌是冰冷的,只有融入了人文关怀,才能真正打动用户。这种像素小镇的设计,让Agent不再是一个抽象的概念,而是一个个活生生的“数字员工”,瞬间就拉近了人与AI的距离。这种设计理念值得所有AI产品借鉴。