BadToken:针对多模态大语言模型的新型词元级后门攻击

研究提出BadToken,首个针对MLLMs的词元级后门攻击,通过词元替换和添加实现隐蔽攻击,对自动驾驶和医疗诊断构成威胁。

原文标题:【CVPR2025】BadToken:针对多模态大语言模型的词元级后门攻击

原文作者:数据派THU

冷月清谈:

本文介绍了BadToken,一种针对多模态大语言模型(MLLMs)的首个词元级后门攻击方法。该攻击通过词元替换和词元添加两种新颖的后门行为,对后门输入的原始输出进行词元级别的修改,从而实现更灵活和隐蔽的攻击效果。研究团队构建了一个通用的优化问题,综合考虑了这两种后门行为,以最大化攻击的成功率。实验结果表明,BadToken在保持模型实用性的同时,能够实现高攻击成功率和隐蔽性,并在自动驾驶和医疗诊断等场景中展示了潜在的威胁。此外,研究还探讨了针对此类攻击的防御措施,但实验结果表明BadToken依然构成显著威胁。

怜星夜思:

1、BadToken攻击中,词元替换和词元添加这两种后门行为是如何协同工作的?它们各自的优势是什么?
2、文章提到BadToken攻击对自动驾驶和医疗诊断构成威胁,具体来说,在这些场景下,攻击者可能利用BadToken达到什么目的?
3、针对BadToken这类词元级后门攻击,文章提到了微调和输入净化等防御措施,你认为这些措施的有效性如何?还有没有其他的防御思路?

原文内容

来源:专知

本文约1000字,建议阅读5分钟

在本研究中,我们提出了BadToken,这是首个针对MLLMs的词元级后门攻击。


多模态大语言模型(MLLMs)扩展了大语言模型(LLMs)以处理多模态信息,使其能够生成对图像-文本输入的响应。MLLMs已通过即插即用的方式被集成到多种多模态应用中,例如自动驾驶和医疗诊断,而无需微调。这种部署模式增加了MLLMs受到后门攻击的脆弱性。然而,现有的针对MLLMs的后门攻击在有效性和隐蔽性方面表现有限。
在本研究中,我们提出了BadToken,这是首个针对MLLMs的词元级后门攻击。BadToken引入了两种新的后门行为:词元替换词元添加,通过对后门输入的原始输出进行词元级修改,实现灵活且隐蔽的攻击。我们构建了一个通用的优化问题,综合考虑这两种后门行为以最大化攻击效果。我们在两个开源MLLMs和多种任务上评估了BadToken。实验结果表明,我们的攻击在保持模型实用性的同时,实现了高攻击成功率和隐蔽性。我们还展示了BadToken在自动驾驶和医疗诊断两种场景中的现实威胁。此外,我们考虑了包括微调和输入净化在内的防御措施。实验结果凸显了我们攻击的威胁性。


关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU


我觉得可以借鉴一下反病毒软件的思路,建立一个“恶意词元库”,对于输入文本进行扫描,一旦发现高危词元,就进行告警或者拦截。当然,这个词元库需要不断更新,才能应对不断涌现的新型攻击。

我觉得词元替换就像是“偷梁换柱”,把正常的词换成带有恶意引导的词,用户可能不容易察觉。而词元添加则是“暗度陈仓”,在不影响句子大意的情况下,偷偷加入一些“暗号”,只有攻击者知道这些暗号的含义。配合使用,更难被发现!

我觉得不只是误判,更可怕的是数据泄露!如果攻击者能通过BadToken控制模型的输出,那是不是也能反向提取训练数据?医疗数据和自动驾驶数据都非常敏感,一旦泄露,后果不堪设想。