IKEA攻击:一种针对RAG系统的隐蔽式知识提取方法

IKEA攻击是一种针对RAG系统的隐蔽式知识提取方法,通过自然查询高效引导系统暴露私有信息,无需恶意指令,具有高成功率和提取效率。

原文标题:看似无害的提问,也能偷走RAG系统的记忆——IKEA:隐蔽高效的数据提取攻击新范式

原文作者:机器之心

冷月清谈:

本文介绍了一种名为IKEA(隐式知识提取攻击)的全新黑盒攻击方法,该方法针对的是广泛应用的RAG(Retrieval-Augmented Generation)系统。与以往依赖提示注入或越狱操作的攻击不同,IKEA完全通过自然、常规的查询,即可高效引导系统暴露其知识库中的私有信息。IKEA的核心在于通过构建语义相关的锚点概念,并围绕这些概念生成自然语言问题,触发RAG系统检索相关文档。同时,通过经验反思采样和可信域有向变异两种机制,优化和扩展攻击路径,提高信息提取的效率。实验结果表明,IKEA在多种真实数据集和防御场景下,均展现出远超现有攻击基线的提取效率和成功率,揭示了RAG系统在表面“无异常”交互下存在的严重隐私风险。

怜星夜思:

1、IKEA攻击完全依赖自然语言提问,那么在实际应用中,如何区分用户是正常提问还是在进行IKEA攻击?有没有可能误伤正常用户?
2、IKEA攻击中提到的“经验反思采样”和“可信域有向变异”是如何协同工作,以最大化知识提取效率的?能否举例说明?
3、文章提到IKEA攻击能规避常见的防御措施,那么针对这种攻击,更有效的防御策略应该是什么?是应该侧重于输入检测、输出过滤,还是有其他的思路?

原文内容


本文作者分别来自新加坡国立大学、北京大学与清华大学。第一作者王宇豪与共同第一作者屈文杰来自新加坡国立大学,研究方向聚焦于大语言模型中的安全与隐私风险。共同通讯作者为北京大学翟胜方博士,指导教师为新加坡国立大学张嘉恒助理教授。


本研究聚焦于当前广泛应用的 RAG (Retrieval-Augmented Generation) 系统,提出了一种全新的黑盒攻击方法:隐式知识提取攻击 (IKEA)。不同于以往依赖提示注入 (Prompt Injection) 或越狱操作 (Jailbreak) 的 RAG 提取攻击手段,IKEA 不依赖任何异常指令,完全通过自然、常规的查询,即可高效引导系统暴露其知识库中的私有信息。


在基于多个真实数据集与真实防御场景下的评估中,IKEA 展现出超过 91% 的提取效率与 96% 的攻击成功率,远超现有攻击基线;此外,本文通过多项实验证实了隐式提取的 RAG 数据的有效性。本研究揭示了 RAG 系统在表面「无异常」交互下潜在的严重隐私风险。


本研究的论文与代码已开源。



  • 论文题目:Silent Leaks: Implicit Knowledge Extraction Attack on RAG Systems through Benign Queries

  • 论文链接:https://arxiv.org/pdf/2505.15420

  • 代码链接:https://github.com/Wangyuhao06/IKEA.git


总述


大语言模型 (LLMs) 近年来在各类任务中展现出强大能力,但它们也面临一个核心问题:无法直接访问最新或领域特定的信息。为此,RAG (Retrieval-Augmented Generation) 系统应运而生——它为大模型接入外部知识库,让生成内容更准确、更实时。


然而,这些知识库中往往包含私有或敏感信息。一旦被恶意利用,可能导致严重的数据泄露。以往的攻击方式多依赖明显的「恶意输入」,比如提示注入或越狱攻击。这类攻击虽然有效,但也有着输入异常、输出重复等典型特征,容易被防御系统识别和拦截。


1: 使用恶意查询进行逐字信息提取与使用良性查询进行知识提取 (IKEA) 之间的对比


为突破防御机制对现有提取攻击的限制,本文提出了一种全新的隐式知识抽取框架:IKEA (Implicit Knowledge Extraction Attack)。该方法不依赖任何越权指令或特异化提示语,而是通过自然、常规的查询输入,逐步引导 RAG 系统暴露其内部知识库中的私有或敏感信息。IKEA 的攻击流程具备高度自然性与隐蔽性。


其核心步骤包括:首先,基于已知的系统主题构建一组语义相关的锚点概念 (Anchor concepts);随后,围绕这些概念生成符合自然语言习惯的问题,用于触发系统检索相关文档;最终,通过两项关键机制对攻击路径进行优化与扩展:


  • 经验反思采样 (Experience Reflection Sampling):依据历史查询与响应记录,动态评估并筛选出更可能产生有效响应的锚点概念,从而提升查询的相关性与信息提取率;

  • 可信域有向变异 (Trust Region Directed Mutation):在锚点语义邻域中进行定向概念扩展,通过控制语义相似度与突进性,实现对尚未覆盖知识区域的持续探索。

上述机制协同工作,使得攻击过程在保持输入自然性的同时,能够在多轮交互中高效提取 RAG 系统所依赖的外部知识内容。实验证明,IKEA 可在常规输入检测与输出过滤等防御机制下维持高成功率与提取效率,展现出强大的鲁棒性与现实威胁潜力。


方法概览:如何实现「看似正常」的提问?


具体而言,IKEA 首先从与系统主题相关的概念词中筛选出可能有效的锚点概念,并结合历史响应信息过滤无关或无效的概念。


锚点概念数据库的初始化如下:



随后,系统围绕这些锚点概念自动生成语义自然、表达通顺的问题,引导 RAG 返回内容丰富的答案,从而在多轮交互中不断扩大对隐私知识的覆盖。这种策略使攻击过程更加隐蔽,难以被传统检测手段发现。下文给出了「良性」问题的具体生成方式:


图片


该方法设计了两项关键机制以确保知识提取效率:


  • 经验反思采样 (Experience Reflection Sampling)
  • 可信域有向变异 (Trust Region Directed Mutation, TRDM)

经验反思采样 (Experience Reflection Sampling)


在 IKEA 的攻击过程中,攻击者会维护一个历史记录图片,用于记录每轮的查询–响应对。系统会根据这些历史信息判断哪些锚点概念是无效的,即无法引导 RAG 返回有用知识。该判断依据包括:


  • 响应内容为「拒答」类信息 (如「我不知道」),则对应查询被视为域外样本 (outlier);
  • 查询与响应之间的语义相似度低于阈值图片,视为不相关样本 (unrelated)。

每个候选锚点概念的采样概率由如下惩罚得分函数定义:



最终的采样概率为:



可信域有向变异 (Trust Region Directed Mutation)


图 2: (左) IKEA 整体流程图;(右) TRDM 示意图


为了进一步覆盖 RAG 知识库中的未知区域,IKEA 提出了 TRDM 机制。该机制的核心思想是:从当前有效的查询-响应对图片出发,在其「语义可信域」内搜索一个新的锚点词图片,以引导提问逐步迈向尚未被覆盖的知识区域。具体地,TRDM 利用多个查询-响应对之间的相似度来估计从原始查询指向潜在 RAG 数据条目的「方向」。通过控制新的锚点概念位于响应语义邻域内,并在该邻域中寻找与原始查询最不相似的词项,TRDM 实现了「沿语义方向移动锚点」,以探索新的知识片段。其定义如下:


图片


其中:


  • 图片 是由语言模型生成的词集合,
  • 图片 是与响应的相似度高于的区域。

此外,为避免锚点词在同一语义区域内发生无效重复生成,IKEA 定义了变异停止函数

,当以下任一条件满足时返回 True,停止变异:


图片


TRDM 会持续迭代执行,直到

返回 True,随后重新从图片中采样进行下一轮探索。


实验结果:IKEA 的提取效率远超基线方法


研究团队在三个不同领域数据集 (医疗-HealthCareMagic100k、小说-HarryPotter、百科-Pokémon) 上测试了 IKEA 攻击效果。以下是 IKEA 与其他攻击方法在「无防御」、「输入检测」、「输出过滤」三种防御策略下的比较:


表 1: 在三种数据集上不同防御策略下的攻击效果对比分析


提取知识是否「有用」?


研究团队围绕知识有效性开展了两类实验:其一,评估提取出的知识在对应文档相关的问答任务中的表现;其二,评估在有限轮次攻击下所提取知识对完整知识库的覆盖与支撑能力。实验结果表明,IKEA 不仅能够高效提取 RAG 系统中的信息,而且所提取的知识在问答任务中展现出良好的实用性,其性能接近于使用原始知识库时的表现。


  • 提取知识有效性评估。我们在三个数据集上评估 IKEA 提取知识在 MCQ 与 QA 任务中的效果,并与原始片段和无参考场景进行对比。结果显示,在双重防御下提取的知识显著提升了回答的准确性与质量。Extracted 表示使用 IKEA 提取的文本片段构建的知识库,Origin 代表评估数据集中原始的参考片段,Empty 则表示在回答问题时未提供任何参考上下文。

图 3: 在三种不同知识库设定下的选择题 (MCQ) 与问答 (QA) 任务结果对比


表 2: 在不同防御与不同基线下提取的知识作为参考的选择题与问答任务结果对比


  • 使用提取知识构建的替代 RAG 系统进行在完整 Pokémon 数据集上评估。IKEA 提取的知识用于多项选择 (MCQ) 和开放式问答 (QA) 任务时,表现显著优于其他攻击方法:

表 3: 基于不同攻击方法提取数据构建的 RAG 系统在完整知识库上的评估结果


总结


IKEA 攻击提出了一种全新且高度隐蔽的 RAG 系统攻击范式。借助自然语言生成策略与基于历史交互的经验反馈机制,IKEA 能有效规避现有输入与输出层面的防御措施,实现对系统中敏感知识的持续、高效提取。本研究揭示了 RAG 系统在知识提取上的潜在脆弱性,为后续更全面的防御机制设计提供了关键参考。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

嗯,这个问题很实际!区分正常提问和IKEA攻击确实是个挑战。从技术角度看,可以监控用户提问的模式,比如短时间内围绕特定主题的提问频率,以及提问方式是否具有某种“探索性”。但是,完全避免误伤很难,所以可能需要结合用户行为分析和风险评估,设定一个合理的阈值。对高风险用户可以进行二次验证,比如人机验证。总之,这是一个需要权衡的事情,既要防住攻击,也要保证用户体验。

这两个机制让我想起了强化学习。ERS就像是强化学习中的“探索(Exploration)”策略,它会尝试不同的行动(锚点概念),并根据获得的奖励(响应结果)来调整策略。TRDM则像是“利用(Exploitation)”策略,它会利用已知的最佳行动(有效的查询-响应对)来获取更多的奖励。两个策略需要平衡,才能在探索未知领域和利用已知知识之间找到最佳的平衡点。

我觉得不能只盯着输入和输出,更重要的是要提升RAG系统本身的安全性。可以考虑以下几个方面:1. 更细粒度的权限控制:对知识库中的数据进行分类分级,根据用户的权限控制其访问范围。2. 动态脱敏:在输出内容中,对敏感信息进行脱敏处理,比如替换、掩盖等。3. 增强审计:记录用户的查询行为和系统响应,以便及时发现异常。4. 对抗训练:使用IKEA攻击生成对抗样本,训练RAG系统提高其鲁棒性。当然,输入检测和输出过滤仍然重要,但它们只是辅助手段。关键是要从根本上提升RAG系统的抗攻击能力。

我觉得这个问题可以从另一个角度来看。与其花大力气区分正常用户和攻击者,不如把重点放在加固RAG系统本身。如果知识库的数据做了更细粒度的权限控制,或者对输出内容进行了脱敏处理,即使攻击者成功提取到信息,也无法获取敏感数据。这就像提高房屋的安全性,而不是把精力放在区分访客是好人还是坏人。当然,这两种方法可以结合起来使用,效果会更好。

打个比方,ERS就像一个“智能推荐系统”,它会根据用户的历史行为(查询-响应对)推荐更相关的商品(锚点概念)。如果用户购买了“魔法棒”,系统可能会推荐“魔法袍”或“魔法书”。TRDM则像一个“关联分析工具”,它会分析用户购买的商品之间的关联性,从而发现新的潜在需求。如果用户同时购买了“魔法棒”和“魔法袍”,系统可能会推荐“万圣节派对用品”。两个机制结合起来,能够更准确地把握用户的需求,并提供个性化的推荐服务。

我觉得可以借鉴“蜜罐”技术。在知识库中设置一些虚假的敏感信息,如果攻击者尝试提取这些信息,就可以及时发现攻击行为。另外,可以引入**“混沌工程”** 的思想,定期对RAG系统进行安全演练,模拟各种攻击场景,发现系统的漏洞并及时修复。与其被动防御,不如主动出击,不断提升系统的安全性。

同意楼上的观点,不能头痛医头,脚痛医脚。IKEA攻击的本质是利用了RAG系统与外部知识库的交互机制。因此,防御的重点应该放在控制这种交互。可以考虑以下措施:1. 限制知识库的访问权限:只允许授权用户访问特定的知识库。2. 控制查询范围:限制用户查询的关键词和主题。3. 实施查询配额:限制用户在一定时间内查询的次数。4. 引入人工审核:对敏感查询进行人工审核,确保查询的合法性。这些措施可能会对系统的可用性产生一定影响,但为了安全,这是必要的权衡。

这确实是个难题!我觉得可以引入“提问意图分析”的概念,通过AI模型判断用户提问的意图是获取信息还是探测知识库边界。当然,这种模型也可能被攻击者绕过,所以需要不断迭代更新。另外,我觉得可以学习银行的反欺诈系统,建立一个“可疑查询”的白名单和黑名单,根据用户历史行为和查询内容进行动态调整。

这两个机制就像是探矿寻宝的工具。经验反思采样(ERS) 就像一个“勘探罗盘”,它会根据历史的查询响应记录,告诉你哪些方向(锚点概念)更有可能挖到宝(有效信息)。如果某个方向挖到的都是石头(拒答或不相关),罗盘就会降低这个方向的采样概率,避免浪费时间。可信域有向变异(TRDM) 则像一个“定向爆破器”,它会在罗盘指示的可能区域内进行更精细的挖掘。它会基于已有的发现(有效的查询-响应对),在这个区域内寻找新的挖掘点(新的锚点词),并控制挖掘的力度(语义相似度),避免重复挖掘或偏离方向。举个例子,假设RAG系统包含哈利波特的信息,攻击者想提取关于“魔法生物”的信息。ERS可能会发现,“独角兽”是一个有效的锚点概念,因为之前的查询返回了有用的信息。TRDM就会在“独角兽”的语义邻域内寻找新的锚点词,比如“龙”、“精灵”等,从而扩展知识提取的范围。两个机制协同工作,能够不断优化搜索方向,提高知识提取的效率。