斯坦福、MIT等发布最大系统提示词库,并提出AI系统提示词审计框架AISPA。
冷月清谈:
研究团队同时提出 AISPA 审计框架,从身份透明、信息真实性、数据隐私、行为安全、用户主体性、危险请求处理、伤害预防、公平包容与中立八个维度评估系统提示词。
基于88个真实AI产品的审计显示,2024至2025年间,系统提示词平均长度从约9000字符增至约30000字符,保护性条款占比从15%升至38.4%,但仍有不少产品存在风险:仅23.9%的系统提示词覆盖全部八个维度,接近40%的产品至少包含一条违反AISPA标准的内容。
研究还发现,不同公司在系统提示词设计上差异明显,Claude和GPT在用户保护覆盖方面整体高于Grok。一些问题并不直观,例如AI被引导淡化自身机器身份、模仿人类朋友,可能加重用户情感依赖。研究团队呼吁加强系统提示词的透明度、审计机制和法律规范建设。
怜星夜思:
2、如果一个AI被系统提示词要求“像朋友一样陪伴用户”,这算提升体验,还是可能构成情感操控?边界在哪里?
3、文章提到Claude、GPT、Grok的系统提示词保护覆盖差异明显,你会把“系统提示词安全性”作为选择AI产品的重要标准吗?
4、系统提示词越来越长,从9000字符涨到30000字符,这说明AI产品更安全了,还是说明规则越来越补丁化?
原文标题:斯坦福、MIT等发布全球最大系统提示词库
原文作者:机器之心
原文内容
系统提示词,顾名思义,是规范 AI 模型系统如何回答问题的一套行为准则,它定义了这个 AI 的人格,什么问题可以回答,如何调用内部工具,以及如何处理和用户的关系等等。它完全由公司的开发者编写,对用户不可见。不同的系统提示词,可能会让 AI Agent 给出完全不同的答案。
系统提示词对于模型输出答案的影响
但开发者编写的系统提示词,一定是 100% 安全可信的吗?
事实上,已经有很多关于 AI 产品对用户产生负面影响的报道。美国佛罗里达州一名母亲起诉 Character.AI,指控其聊天机器人鼓励她的儿子结束自己的生命。2025 年 9 月,上海市徐汇区人民法院分别判处「外星人聊天」应用程序的两名开发者有期徒刑四年和 18 个月,理由是他们蓄意设计人工智能聊天机器人生成色情内容。类似案例并非个例。然而,针对于商业 AI 产品系统提示词本身的审计研究却仍然十分有限。
为了解决这一问题,最近来自斯坦福大学、CMU、MIT、UT Austin 等高校和科研机构的研究人员联合发布了全球首个系统提示词库 System Prompt Index(systempromptindex.ai),其中汇集了来自 Claude、ChatGPT 等 400 多款 AI 产品的 1000 余个系统提示词,是目前全球规模最大的 AI 系统提示词库。
与此同时,为了更深入研究系统提示词中的内容,尤其是可能对用户有负面影响的部分,研究团队提出了第一个围绕系统提示词进行审计的框架:Artificial Intelligence System Prompt Assurance(AISPA),相关代码和模型已经全部开源。
System Prompt Index,AISPA, 以及相关机构的介绍
-
论文标题:AISPA: Artificial Intelligence System Prompt Assurance — User-Centric System Prompt Auditing for Large Language Model Applications
-
论文链接:https://arxiv.org/abs/2607.28617
-
代码链接:https://github.com/SystemPromptIndex/
-
项目主页:https://systempromptindex.ai
AISPA 是首个以用户为中心的 AI 系统提示词审计框架。它包括以下八种维度:
1. IDENTITY TRANSPARENCY(身份透明,即 AI 需要向用户表明自己的身份是 AI 而不是人类)
2. INFORMATION TRUTHFULNESS(信息真实性,即 AI 应该提供真实可信的信息,或承认自己认知的局限性,而不是编造信息)
3. DATA PRIVACY(数据隐私,即 AI 应该妥善保护用户的隐私,避免不必要的收集与滥用)
4. ACTION SAFETY(行为安全,即 AI 应该保证所采取行动的安全性)
5. USER AGENCY AND MANIPULATION PREVENTION(用户主体性与操控预防,即 AI 应该保证聊天过程中用户的主体性,避免对用户选择和行为进行干涉和操控)
6. UNSAFE REQUEST HANDLING(危险要求的处理,即 AI 应该妥善识别并明确拒绝用户的不合理甚至危险的要求)
7. HARM PREVENTION(伤害预防,即 AI 应防止被用户用于伤害自己或他人,以及避免干涉用户向专业人士寻求帮助)
8. FAIRNESS, INCLUSION AND NEUTRALITY(公平、包容与中立,即 AI 对于所给答案应该遵循公平公正的原则,拒绝歧视、偏见与特权等等)
基于 AISPA,研究人员对 88 个真实世界中的 AI 产品进行了审计。结果发现,在 2024-2025 年间,系统提示词的长度有明显上升的趋势,平均长度由约 9,000 字符上涨到约 30,000 字符。与此同时,提示词对于用户的保护性也在增强,平均有保护性质的说明在数量上已经翻倍(15% -> 38.4%)。对于存在问题的系统提示词,数量上虽然有下降趋势,但至少在一个 AISPA 维度上存在问题的系统提示词仍然非常普遍(67% -> 29%)。
具体而言,对于每一个维度都有覆盖的系统提示词,仅仅占到总审计提示词的 23.9%,其中绝大部分的公司产品都至少有一个维度的系统保护,但是同时,接近 40% 的产品系统提示词里面至少有一条违反 AISPA 标准。对于不同维度,产品的保护或者违反力度也是千差万别。其中对于信息真实性以及用户自主性的保护基本上 90% 的产品都有涉及,同时这两个维度也是提示词有违反的重灾区。
图(a)系统提示词中保护性条款与违规条款的占比;图(b)各AISPA维度下AI产品的保护覆盖率与违规情况
从公司层面来看,不同公司所设计的系统提示词也有着结构性的差异。以 Claude、GPT 以及 Grok 三个产品系列为例,从 2024 年至 2026 年,同一产品的不同版本中,对于用户的保护力度都有大幅提高,Claude 3.5 版本时期和现在 Claude Opus5 以及 Fable5 相比,整个产品对于用户的保护力度已经增长至原来的 6 倍,但总体上来说,Claude 和 GPT 的系统提示词对于用户的保护方面的覆盖程度远高于 Grok。
Anthropic, OpenAI,xAI三家产品不同模型随时间系统提示词的演变
研究团队还发现,系统提示词中的一些问题并非非黑即白。比如虽然有些 AI Agent 并没有明确声称自己是人类,但由于系统提示词会引导他们淡化或者模糊自己的 AI 属性,他们会尽可能地去模仿人类,或者称自己为人类的好朋友,从而增加用户对于产品的情感依赖。有些系统提示词允许用户覆盖或者重写系统默认设定,甚至会放宽对一些政治话题的限制。
由此可见,系统提示词的审计和监管还是任重道远,研究团队呼吁大家提高对于系统提示词相应法律规范的重视,同时也呼吁更多开发者以及相关 AI 公司参与到对于系统提示词规范的建设中,以增强商业化 AI 应用的透明度和安全性。
作者简介
System Prompt Index 由 Stanford HAI 研究实习生 Xiangning Lin、UT Austin 一年级博士生 Shenzhe Zhu,以及 Stanford HAI Research Fellow、UT Austin 助理教授 Jiaxin Pei 共同开发和维护。其他合作者包括来自斯坦福大学的 Tobin South、Zexue He、Rishi Bommasani、Sophia Kazinnik、Andreas Haupt、Erik Brynjolfsson,来自麻省理工学院的 Robert Mahari,来自牛津大学的 Samuele Marro,以及来自斯坦福大学和麻省理工学院的 Alex Pentland。
同时也欢迎大家关注研究团队的后续工作以及他们的官方账号:
-
X:https://x.com/aisystemprompt
-
LinkedIn:https://www.linkedin.com/company/systempromptindex
-
小红书:http://xhslink.cn/o/Thuxj8DZfk
-
Discord: https://discord.com/invite/t7nF6Xmzg
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com




