研究提出BadToken,首个针对MLLMs的词元级后门攻击,通过词元替换和添加实现隐蔽攻击,对自动驾驶和医疗诊断构成威胁。
原文标题:【CVPR2025】BadToken:针对多模态大语言模型的词元级后门攻击
原文作者:数据派THU
冷月清谈:
本文介绍了BadToken,一种针对多模态大语言模型(MLLMs)的首个词元级后门攻击方法。该攻击通过词元替换和词元添加两种新颖的后门行为,对后门输入的原始输出进行词元级别的修改,从而实现更灵活和隐蔽的攻击效果。研究团队构建了一个通用的优化问题,综合考虑了这两种后门行为,以最大化攻击的成功率。实验结果表明,BadToken在保持模型实用性的同时,能够实现高攻击成功率和隐蔽性,并在自动驾驶和医疗诊断等场景中展示了潜在的威胁。此外,研究还探讨了针对此类攻击的防御措施,但实验结果表明BadToken依然构成显著威胁。
怜星夜思:
1、BadToken攻击中,词元替换和词元添加这两种后门行为是如何协同工作的?它们各自的优势是什么?
2、文章提到BadToken攻击对自动驾驶和医疗诊断构成威胁,具体来说,在这些场景下,攻击者可能利用BadToken达到什么目的?
3、针对BadToken这类词元级后门攻击,文章提到了微调和输入净化等防御措施,你认为这些措施的有效性如何?还有没有其他的防御思路?
2、文章提到BadToken攻击对自动驾驶和医疗诊断构成威胁,具体来说,在这些场景下,攻击者可能利用BadToken达到什么目的?
3、针对BadToken这类词元级后门攻击,文章提到了微调和输入净化等防御措施,你认为这些措施的有效性如何?还有没有其他的防御思路?
原文内容
来源:专知本文约1000字,建议阅读5分钟
在本研究中,我们提出了BadToken,这是首个针对MLLMs的词元级后门攻击。
多模态大语言模型(MLLMs)扩展了大语言模型(LLMs)以处理多模态信息,使其能够生成对图像-文本输入的响应。MLLMs已通过即插即用的方式被集成到多种多模态应用中,例如自动驾驶和医疗诊断,而无需微调。这种部署模式增加了MLLMs受到后门攻击的脆弱性。然而,现有的针对MLLMs的后门攻击在有效性和隐蔽性方面表现有限。
在本研究中,我们提出了BadToken,这是首个针对MLLMs的词元级后门攻击。BadToken引入了两种新的后门行为:词元替换和词元添加,通过对后门输入的原始输出进行词元级修改,实现灵活且隐蔽的攻击。我们构建了一个通用的优化问题,综合考虑这两种后门行为以最大化攻击效果。我们在两个开源MLLMs和多种任务上评估了BadToken。实验结果表明,我们的攻击在保持模型实用性的同时,实现了高攻击成功率和隐蔽性。我们还展示了BadToken在自动驾驶和医疗诊断两种场景中的现实威胁。此外,我们考虑了包括微调和输入净化在内的防御措施。实验结果凸显了我们攻击的威胁性。