本文介绍了OpenBias，一种用于文本到图像生成模型的开放集偏见检测新流程。
原文标题：【CVPR2024】OpenBias: 文本到图像生成模型中的开放集偏见检测
原文作者：数据派THU
冷月清谈：
在当前文本到图像生成模型不断发展的背景下，公众对其安全性与公平性的问题日益关注。已有的研究主要集中在预先定义的封闭偏见集上，无法全面评估模型可能存在的偏见。为了解决这一问题，本文提出了一种新的流程OpenBias，旨在进行开放集偏见检测。OpenBias通过三个阶段进行操作：首先，利用大型语言模型（LLM）生成可能存在的偏见；其次，通过生成模型根据这些偏见生成图像；最后，使用视觉问答模型来检测和量化这些偏见的存在和影响。通过对多种版本的Stable Diffusion进行实验，研究揭示了此前未曾识别过的新偏见，并展示了OpenBias的有效性，表明其与现有检测方法及人类判断的一致性。这一创新有助于提升文本到图像生成模型的公平性和安全性，推动相关领域的研究进展。
怜星夜思：
1、开放集偏见检测与封闭集偏见检测有何主要区别？
2、OpenBias的流程中，有哪些环节最可能出现问题？
3、对于文本到图像生成的现实应用，OpenBias的研究有哪些启示？
2、OpenBias的流程中，有哪些环节最可能出现问题？
3、对于文本到图像生成的现实应用，OpenBias的研究有哪些启示？
原文内容
来源：专知本文为论文介绍，建议阅读5分钟在本文中，我们应对在文本到图像生成模型中开放集偏见检测的挑战，提出了一个名为OpenBias的新流程。
文本到图像的生成模型越来越受到公众的欢迎和广泛使用。随着这些模型的大规模部署，有必要深入研究它们的安全性和公平性，以避免传播和固化任何形式的偏见。然而，现有的研究仅聚焦于检测预先定义的封闭偏见集，这限制了对已知概念的研究。在本文中，我们应对在文本到图像生成模型中开放集偏见检测的挑战，提出了一个名为OpenBias的新流程，该流程可以在没有任何预编译集的情况下，不受限制地识别和量化偏见的严重性。OpenBias包括三个阶段。在第一阶段，我们利用一个大型语言模型（LLM）根据一组标题提出偏见。其次，目标生成模型使用同一组标题生成图像。最后，一个视觉问答模型识别先前提出的偏见的存在及其程度。我们研究了Stable Diffusion 1.5、2和XL的行为，强调以前从未研究过的新偏见。通过定量实验，我们证明OpenBias与当前封闭集偏见检测方法和人类判断一致。
