该研究深入分析了NLP基础模型在文本分类中存在的偏差，并提出了有效的缓解方法，包括重加权、蒸馏框架和对比评估等。
原文标题：【博士论文】针对基于文本的基础模型的分类偏差分析与缓解
原文作者：数据派THU
冷月清谈：
本研究深入分析了NLP基础模型在文本分类任务中存在的偏差和虚假相关性问题。研究的第一部分关注“预训练-微调”范式，通过情感分类和多选阅读理解任务，揭示了模型学习虚假停用词关系和利用世界知识解题的风险，并提出了一种评估问题质量的方法。研究的第二部分则聚焦于指令跟随型LLMs在零样本文本分类中的偏差，例如标签词选择引入的隐式先验和多选问答中的排列偏差。针对这些问题，研究提出了基于重加权和蒸馏框架的去偏方法，实验证明能够有效提升模型的稳健性和性能。最后，研究还探讨了偏差在新任务和新领域中的表现，提出了一种LLM对比评估方法，并考察了去偏方法在音频领域的应用。
怜星夜思：
1、文章提到了“预训练-微调”范式中，模型可能学习到虚假的停用词关系。大家觉得在实际应用中，我们应该如何防范这种现象，除了文章中提到的方法外，还有什么其他的思路吗？
2、文章提到指令跟随型LLMs在零样本文本分类中存在标签词选择的偏差，这个挺有意思的。如果我们要设计一个对用户情感进行分类的模型，应该如何选择标签词，才能尽可能减少这种偏差呢？
3、文章最后提到了对比评估，通过让LLMs进行成对决策来评估NLG任务。大家觉得这种方法相比传统的BLEU、ROUGE等指标，有哪些优势和不足？未来NLG的评估方向会是什么？
2、文章提到指令跟随型LLMs在零样本文本分类中存在标签词选择的偏差，这个挺有意思的。如果我们要设计一个对用户情感进行分类的模型，应该如何选择标签词，才能尽可能减少这种偏差呢？
3、文章最后提到了对比评估，通过让LLMs进行成对决策来评估NLG任务。大家觉得这种方法相比传统的BLEU、ROUGE等指标，有哪些优势和不足？未来NLG的评估方向会是什么？
原文内容
来源：专知本文约1000字，建议阅读5分钟
本论文系统分析了NLP基础模型在文本分类任务中的偏差形式及虚假相关性。我们研究系统中存在的特定偏差，评估这些偏差对模型预测的影响，并探讨缓解技术能否减少其影响。
文本分类的目标是将文本归入预定义的类别之一。作为自然语言处理（NLP）中的标准任务，文本分类在多个领域具有广泛的应用，例如分析用户在平台上的情感演变、识别和过滤欺诈性评论，以及在管道处理中提取有用特征。尽管传统上文本分类是由人工完成的，但深度学习方法的快速发展极大地推动了自动文本分类器的研究热潮。这一趋势随着预训练大语言模型（LLMs）的出现而进一步加速。这些模型经过大规模数字文本数据的训练，使其在各种自然语言理解（NLU）和生成（NLG）任务上展现出前所未有的能力。
当前，NLP基础模型主要通过两种方法进行应用：“预训练-微调”（pre-train and fine-tune）范式，或基于提示的指令跟随（prompting instruction-following LLMs）。尽管这些方法在NLP基准测试中表现卓越，并被广泛采用，但它们的可靠性仍然存在一定的争议，尤其是其对虚假相关性（spurious correlations）和隐含偏差（implicit bias）的敏感性。
本论文系统分析了NLP基础模型在文本分类任务中的偏差形式及虚假相关性。我们研究系统中存在的特定偏差，评估这些偏差对模型预测的影响，并探讨缓解技术能否减少其影响。论文的第一部分聚焦于**“预训练-微调”范式**，并通过两个典型的NLP任务——**情感分类（sentiment classification）和多选阅读理解（MCRC, Multiple Choice Reading Comprehension）**来研究系统学习虚假相关性的风险。在情感分类任务中，我们证明了微调后的模型可能利用训练数据中的停用词（stopword）分布来建立虚假停用词关系。在MCRC任务中，我们发现模型可能忽略上下文信息，而是利用世界知识（world knowledge）来解题，我们据此提出了一种评估问题质量的方法。
论文的第二部分研究了指令跟随型LLMs在零样本（zero-shot）文本分类中的偏差。我们分析了基于提示的分类器（prompt-based classifier）的构建方式，并研究其在文本分类和多选问答（MCQA, Multiple Choice Question Answering）任务中的偏差。对于文本分类任务，我们发现标签词（label words）的选择可能引入隐式先验（implicit prior），导致某些类别比其他类别更受偏向，从而显著影响系统性能。然而，我们提出了一种基于重加权（reweighting）的去偏方法，实验表明，无论是在零资源（zero-resource）设定下，还是在我们提出的无监督重加权去偏方法（unsupervised reweighting debiasing）下，都能增强模型的稳健性，并降低其对标签词选择的敏感性。此外，我们发现在MCQA任务中，指令跟随型LLMs会表现出显著的排列偏差（permutation bias），即系统对输入选项的顺序非常敏感，这种偏差也会对任务表现造成负面影响。实验表明，应用排列去偏（permutation debiasing）能够显著提升模型性能，我们进一步提出了一种**蒸馏框架（distillation framework）**来提高该去偏过程的效率。
最后，论文探讨了偏差在新任务和新领域中的表现，并提出了一种LLM对比评估（LLM comparative assessment）的新方法，通过让LLMs进行成对决策，实现通用、零样本、高效的NLG评估。研究发现，该方法存在位置偏差（position bias），但通过对两种排列结果的概率进行平均，可以获得更准确的决策和排名。此外，我们将该方法扩展至专家模型（product-of-experts）框架，从而在较少的比较次数下实现更快的收敛。此外，我们探讨了如何在专家模型中考虑偏差，结果表明，在低数量比较的情况下，调整偏差可以提升性能。
最后，论文考察了我们的去偏方法是否能推广到其他模态，特别是音频领域。我们提出了一种利用自动语音识别（ASR, Automatic Speech Recognition）基础模型的新方法，实现零样本音频分类（zero-shot audio classification），并进一步证明，我们的重加权去偏方法同样在音频模态任务中具有良好的效果。
代表正面，
代表负面。表情符号本身就带有情感色彩，而且跨文化通用性比较强。当然，这只是一个玩笑，实际应用中可能存在很多问题（比如表情符号的歧义、文化差异等）。