研究提出BadToken，首个针对MLLMs的词元级后门攻击，通过词元替换和添加实现隐蔽攻击，对自动驾驶和医疗诊断构成威胁。
原文标题：【CVPR2025】BadToken：针对多模态大语言模型的词元级后门攻击
原文作者：数据派THU
冷月清谈：
本文介绍了BadToken，一种针对多模态大语言模型（MLLMs）的首个词元级后门攻击方法。该攻击通过词元替换和词元添加两种新颖的后门行为，对后门输入的原始输出进行词元级别的修改，从而实现更灵活和隐蔽的攻击效果。研究团队构建了一个通用的优化问题，综合考虑了这两种后门行为，以最大化攻击的成功率。实验结果表明，BadToken在保持模型实用性的同时，能够实现高攻击成功率和隐蔽性，并在自动驾驶和医疗诊断等场景中展示了潜在的威胁。此外，研究还探讨了针对此类攻击的防御措施，但实验结果表明BadToken依然构成显著威胁。
怜星夜思：
1、BadToken攻击中，词元替换和词元添加这两种后门行为是如何协同工作的？它们各自的优势是什么？
2、文章提到BadToken攻击对自动驾驶和医疗诊断构成威胁，具体来说，在这些场景下，攻击者可能利用BadToken达到什么目的？
3、针对BadToken这类词元级后门攻击，文章提到了微调和输入净化等防御措施，你认为这些措施的有效性如何？还有没有其他的防御思路？
2、文章提到BadToken攻击对自动驾驶和医疗诊断构成威胁，具体来说，在这些场景下，攻击者可能利用BadToken达到什么目的？
3、针对BadToken这类词元级后门攻击，文章提到了微调和输入净化等防御措施，你认为这些措施的有效性如何？还有没有其他的防御思路？
原文内容
来源：专知本文约1000字，建议阅读5分钟
在本研究中，我们提出了BadToken，这是首个针对MLLMs的词元级后门攻击。
多模态大语言模型（MLLMs）扩展了大语言模型（LLMs）以处理多模态信息，使其能够生成对图像-文本输入的响应。MLLMs已通过即插即用的方式被集成到多种多模态应用中，例如自动驾驶和医疗诊断，而无需微调。这种部署模式增加了MLLMs受到后门攻击的脆弱性。然而，现有的针对MLLMs的后门攻击在有效性和隐蔽性方面表现有限。
在本研究中，我们提出了BadToken，这是首个针对MLLMs的词元级后门攻击。BadToken引入了两种新的后门行为：词元替换和词元添加，通过对后门输入的原始输出进行词元级修改，实现灵活且隐蔽的攻击。我们构建了一个通用的优化问题，综合考虑这两种后门行为以最大化攻击效果。我们在两个开源MLLMs和多种任务上评估了BadToken。实验结果表明，我们的攻击在保持模型实用性的同时，实现了高攻击成功率和隐蔽性。我们还展示了BadToken在自动驾驶和医疗诊断两种场景中的现实威胁。此外，我们考虑了包括微调和输入净化在内的防御措施。实验结果凸显了我们攻击的威胁性。
