PoundNet:兼顾泛化与知识保留的AI图像检测新范式

PoundNet重新审视AI图像检测范式,兼顾泛化与知识保留。通过可学习提示和平衡目标函数,提升模型在未见数据上的检测能力。

原文标题:TPAMI 2026 | 跨十大数据集验证,PoundNet重新审视AI图像检测范式

原文作者:数据派THU

冷月清谈:

哈工大与南安普顿大学联合提出的PoundNet框架,旨在解决现有AI图像检测方法过度追求单一数据集精度,而忽略了模型泛化能力和语义知识保留的问题。PoundNet基于CLIP模型,通过引入可学习的提示对(prompt pair)和平衡目标函数,使模型在区分真假图像的同时,强制保留对物体类别的分类能力,从而提升模型在未见生成器和未见数据域上的泛化能力。实验结果表明,PoundNet在跨10大数据集上的测试中,相比现有方法实现了显著的性能提升,并在目标分类任务中保持了较强的表现,验证了其在跨域泛化、知识保持和检测鲁棒性方面的综合优势。

怜星夜思:

1、PoundNet 如何平衡“抓假”和“看懂世界”这两个看似矛盾的目标?除了文中提到的方法,你认为还有哪些潜在的解决方案?
2、文章中提到现有方法容易对下游任务过度拟合,导致对未知AI生成器泛化能力下降。在你的研究或工作中,是否遇到过类似的情况?你是如何解决的?
3、PoundNet 使用 CLIP 模型作为基础,并进行微调。你认为选择 CLIP 的原因是什么?如果替换成其他预训练模型,例如 Stable Diffusion,效果会如何?

原文内容

图片
本文约2000字,建议阅读5分钟
兼顾泛化与知识保留的AI 图像检测。


随着 AI 生成图像技术快速演进,伪造内容在网络传播风险持续上升,高鲁棒性检测技术因此成为学界与产业界关注的关键问题。

然而,现有不少方法过于追求单一数据集上的短期收益,往往仅围绕“真/假”二分类目标对大规模预训练模型进行专门化微调。

这类做法虽然能够提升局部基准上的检测精度,却容易破坏模型原有的广泛语义知识,从而削弱其对未见生成器、未见数据域的泛化能力。

针对这一“贪小利而失大局”的问题,哈工大与南安普顿大学联合提出 PoundNet 框架,从“检测泛化”与“知识保留”双重目标出发,重新审视 AI 生成图像检测的训练范式。

论文标题:Penny-Wise and Pound-Foolish in AI-Generated  Image Detection

论文链接:https://arxiv.org/abs/2408.08412

代码链接:https://github.com/iamwangyabin/PoundNet

当模型学会“抓假”,却忘了“看懂世界”

为了应对层出不穷的AI生成图像,目前的主流做法是利用预训练的大模型(如CLIP),并在特定的伪造数据集上使用“类别无关的二分类目标”进行微调。

然而,我们发现这是一种典型的“短视”策略(Penny-Wise):模型虽然在训练见过的伪造类型上得分很高,但却灾难性地遗忘了预训练模型中宝贵的广泛语义知识。

这种对下游任务的过度拟合,直接导致了模型对未知AI生成器泛化能力的大幅下降(Pound-Foolish)。

简而言之,模型为了学会“抓假”,反而连“画里是什么”都认不出了。

为此,我们提出了一种抗“因小失大”的学习框架 PoundNet。我们没有简单粗暴地进行二分类微调,而是基于 CLIP 设计了一套可学习的提示和平衡目标函数。

PoundNet 不仅要求模型学会区分真假,还强制模型在微调过程中保留对物体类别的分类能力,并在每个特定类别的上下文中进行真假判别。

PoundNet框架:一边“抓假”,一边“守住认知”

所提出的方法 PoundNet 旨在在实现类别感知的 AI 生成图像检测的同时,平衡泛化能力与知识保持能力,以更好地应对未见过的 AI 生成器。

PoundNet 基于 CLIP 构建,并通过我们设计的提示对(prompt pair)和提出的平衡目标函数对其进行微调。

理想情况下,我们可以使用如下提示格式:“a [real/fake] photo of a [CLASS]”,来引导 CLIP 模型完成下游的二分类 AI 图像检测任务。

然而,对于预训练的 CLIP 来说,理解“deepfake”这一抽象概念在自然语言中是具有挑战性的。

为了更好地对“a [real/fake] photo”这一上下文在 AI 生成图像检测场景中进行参数化,我们分别为真实和伪造图像引入了可学习的成对提示(下图左上)。

类别无关的二分类项(Class-Agnostic Binary term)(图(a)):该项对应一种高层次、抽象的概念,侧重于在不考虑具体语义类别的情况下区分真实与伪造样本,即进行通用的真假二分类。

语义保持项(Semantic-Preserving term)(图(b)):该项用于保留预训练模型中蕴含的广泛语义知识,而这一点往往被现有方法忽略,因为它们通常只依赖类别无关的二分类项进行过度微调。

类别感知的二分类项(Class-Aware Binary term)(图(c)):该项旨在区分不同类别内部的真实与伪造样本(例如,在猫的图像中检测伪造的猫图像),从而使 AI 生成图像检测更加精细和有效。

实验结果:跨10大数据集全面领先,泛化能力显著提升

团队遵循领域内常见设定,仅使用单一标准 AI 图像数据集进行训练,随后在  10 个大规模公开AI生成图像检测数据集上、基于 5 项主要评测指标进行了系统测试,构建了当时规模最大的 AI 生成图像检测泛化评测集合之一。

实验结果表明,PoundNet 相比现有先进方法实现了 19% 的相对性能提升。

同时,在目标分类任务上,PoundNet 仍保持 63% 的较强表现,体现出其在 跨域泛化、知识保持与检测鲁棒性 方面的综合优势。

编辑:文婧



关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU



避免“捡了芝麻丢了西瓜”?这还不简单,格局要大!就像炒股一样,不能只看短期收益,要看公司的长期价值。AI研究也是一样,不能只追求在某个数据集上提高几个百分点,要考虑模型的泛化能力、鲁棒性、可解释性,以及对社会的影响。当然,最重要的是,要有耐心,不能急功近利。毕竟,罗马不是一天建成的嘛!

图像检测的未来?大胆预测一波:一定是多模态融合的天下!光靠“看”已经不够了,还得学会“听”和“说”。想象一下,一个AI不仅能识别图像中的物体,还能理解图像背后的故事,这才是真正的智能。至于更强大的基础模型,那还用说?GPT-4都出来了,图像领域的“GPT-X”还会远吗?

问题:PoundNet在多个数据集上都表现出色,那么它是否能很好地应对完全未知的、新型的AI生成图像?如果不能,可能的原因是什么?如何进一步提升其对未知伪造数据的鲁棒性?

我觉得再好的模型,也不可能完美应对完全未知的、新型生成图像。毕竟,AI技术发展太快了,伪造手段也在不断升级。PoundNet的优势在于它保留了较多的语义知识,这使得它在一定程度上具备了“举一反三”的能力。 但如果新型伪造技术在图像特征上发生了根本性的变化,超出了模型已有的认知范围,那么PoundNet可能也会失效。 要想进一步提升鲁棒性,我觉得可以从以下几个方面入手:

1. 引入对抗训练:让模型学习识别对抗样本,提高对恶意攻击的抵抗能力。
2. 结合多种检测方法:将PoundNet与其他检测方法(如基于频率域的检测)相结合,形成一个多模态的检测系统。
3. 建立持续学习机制:定期收集新型伪造图像,对模型进行增量更新,使其能够不断适应新的挑战。

我倾向于认为,知识保留的核心在于避免过度拟合。除了论文中提到的方法,还可以考虑使用一些正则化手段,比如 dropout 或者 weight decay,限制模型的复杂度。另外,我觉得可以尝试将 PoundNet 与其他的知识蒸馏方法结合起来,让模型从一个更强大的 teacher 模型中学习知识,从而提高模型的泛化能力和知识保留能力。

CLIP 的优势在于它强大的零样本学习能力,能够将图像和文本关联起来。这使得 PoundNet 可以利用文本提示来引导模型进行真假判别,而无需大量标注数据。如果替换成 Stable Diffusion,可能需要进行更多的调整,因为 Stable Diffusion 主要用于图像生成,需要额外的模块来完成图像检测任务。不过,如果能够成功集成,Stable Diffusion 强大的生成能力或许也能帮助模型更好地理解图像的内在结构,从而提高检测精度。感觉这里可以做很多探索啊!

这让我想到了一个比喻:训练模型就像培养人才,如果只注重应试技巧(抓假),可能导致学生只会做题,缺乏解决实际问题的能力(看懂世界)。除了PoundNet,我觉得可以从数据增强的角度入手,让模型接触更多样化的数据,包括不同生成器生成的图像,以及不同领域的图像,这样可以提高模型的鲁棒性和泛化能力。此外,引入注意力机制可能也有帮助,让模型更关注图像中与真假判别相关的区域,减少对无关信息的干扰。

从信息论的角度来看,可以考虑引入一个正则化项,限制模型在微调过程中信息量的损失。目标是使得模型在学习区分真假的同时,尽可能保留预训练模型中包含的丰富信息。同时,可以关注模型内部表征的变化,避免出现过拟合现象。类似于神经网络的剪枝,去除掉对于当前检测任务冗余的连接,保留关键的连接。

我猜选择 CLIP 是因为它在图像和文本之间建立了良好的联系,方便进行 prompt 工程。如果换成 Stable Diffusion,虽然也能生成图像,但它更多地关注生成质量,而不是理解图像内容。而且,Stable Diffusion 的计算量也比 CLIP 大不少。当然,如果能巧妙地利用 Stable Diffusion 的生成能力,或许也能提高检测效果,比如用它来生成一些对抗样本,帮助模型更好地学习真假图像的区分。这部分需要更专业的知识。

这个问题很有意思!CLIP 胜在图文对齐的预训练方式,能够更好地理解图像的语义信息。而 Stable Diffusion 侧重于图像生成,如果直接替换,可能无法达到同样的效果。但是,如果能够将 Stable Diffusion 的图像生成能力与 CLIP 的图像理解能力结合起来,或许可以构建一个更强大的 AI 生成图像检测系统。例如,可以使用 Stable Diffusion 生成一些与已知伪造图像相似的图像,然后使用 CLIP 来判断这些图像的真假,从而提高模型的泛化能力。这是一个值得研究的方向。

我之前在做推荐系统的时候,也遇到过类似的问题。当时的用户行为数据比较稀疏,模型容易对历史数据过度拟合,导致推荐结果不够准确。后来我尝试了使用协同过滤、矩阵分解等方法,但效果都不太理想。最后我发现是因为用户兴趣会随着时间变化,而模型没有考虑到这一点。于是,我引入了时间衰减因子,让模型更关注最近的用户行为,才提高了推荐效果。所以,在实际应用中,需要充分考虑数据的特点和用户的需求。

我最近在参与一个文本分类的项目,也遇到了类似的问题。模型在新闻数据集上表现很好,但是在微博数据集上效果很差。原因是新闻和微博的语言风格和内容分布差异很大。我们尝试了使用领域自适应的方法,将模型在新闻数据集上学到的知识迁移到微博数据集上,同时对模型进行微调,才提高了模型的泛化能力。看来,在解决实际问题时,需要根据具体情况选择合适的方法。