研究揭示推荐系统流行度偏差放大的谱视角原因,提出ReSN纠偏方法,提升推荐准确性和公平性。
原文标题:WSDM 2025 | 从谱视角揭开推荐系统流行度偏差放大之谜
原文作者:数据派THU
冷月清谈:
为了解决此问题,研究者提出了一种基于正则项的方法——ReSN,通过在推荐模型的损失函数中引入谱范数正则项,约束评分矩阵的谱的权重(最大奇异值),从而缓解了流行度偏差。实验结果表明,ReSN 在多个真实数据集上均优于其他方法,在推荐准确性和纠偏性方面表现突出。
本研究不仅揭示了推荐系统流行度偏差放大的深层原因,还提供了高效的纠偏策略,为推荐系统的优化提供了重要思路和有效的解决方案。
怜星夜思:
2、ReSN方法通过正则化谱范数来抑制流行度偏差,文章中提到计算谱范数面临计算资源和时间成本高的挑战,那么除了文中的简化方法,还有没有其他降低计算复杂度的思路?
3、文章中提到ReSN是一种直接在训练中去偏的方法,那么除了这种方法,还有哪些常见的推荐系统纠偏策略?它们的优缺点是什么?
原文内容
本文共1800字,建议阅读9分钟
我们的研究不仅揭示了推荐系统流行度偏差放大的深层原因,还提出了高效的纠偏策略,为推荐系统的优化提供了重要思路和有效解决方案。
©PaperWeekly 原创 · 作者 | 林思仪
单位 | 浙江大学
研究方向 | 推荐系统
INTRO(太长不看版)
本文揭示了推荐系统流行度偏差放大的原因,我们发现:
1. 流行度存储效应:推荐模型的评分矩阵的最大奇异向量(第一主成分)与物品的流行度向量高度相似,流行度信息几乎完全由主特征向量所捕获。
2. 流行度放大效应:维度缩减现象加剧了流行度偏差的“放大效应”,主要源于推荐模型中用户和物品 Embedding 的低秩设定以及优化过程中的维度缩减。
为了解决这个问题,我们提出了一种基于正则项的方法——ReSN,通过在推荐模型的损失函数中引入谱范数正则项,约束评分矩阵的谱的权重(最大奇异值),从而缓解流行度偏差。
论文题目:
How Do Recommendation Models Amplify Popularity Bias? An Analysis from the Spectral Perspective
论文地址:
https://arxiv.org/abs/2404.12008
一、研究动机
推荐系统是基于用户的历史行为数据进行个性化推荐的核心技术。但你知道吗?推荐系统往往“偏爱”热门内容!
比如,在 Douban 数据集中,前 0.6% 热门物品占模型推荐物品的超过 63%,前 20% 的热门物品占了推荐列表的 99.7%!这导致冷门物品几乎无缘被推荐,用户陷入“信息茧房”,无法发现更多新鲜、有趣的内容。
这要从数据的长尾分布开始说起,用户行为数据和物品的流行度通常呈现长尾分布,而推荐模型在这样长尾分布的数据上训练学习,不仅会继承这种倾斜的分布,甚至会放大,导致热门物品被过度推荐。
而推荐系统为什么会放大流行度偏差呢?请接着往下看,本文会给你一个答案!
二、核心发现
1. 流行度记忆效应:推荐模型的评分矩阵的最大奇异向量(第一主成分)与物品的流行度向量高度相似,最大奇异向量几乎完全捕获了物品的流行度特性。
实验发现,多个推荐模型的评分矩阵的最大奇异向量(第一主成分)与物品的流行度向量的余弦相似度超过 98%!
我们也从理论证明了以上现象,感兴趣的同学们可以看原文。
2. 流行度放大效应:维度缩减现象加剧了流行度偏差的“放大效应”。
维度缩减现象主要来源于两个方面:
1. 推荐模型中用户和物品 Embedding 通常设置为低维(低秩),这种低秩设定会放大评分矩阵中最大奇异值的相对重要性,进而加剧流行度偏差;
2. 优化过程中,最大奇异值增长优先且迅速,其他奇异值增长缓慢,导致模型更多依赖最大奇异特征(即流行度特征),从而进一步增强热门物品在推荐列表中的比例。
实验发现当 Embedding 维度减少时,主奇异值的相对重要性显著上升,推荐结果中热门物品的比例也随之增加。
实验还发现训练过程中的奇异值分布动态:早期主奇异值快速增长,这与热门物品的优先推荐趋势一致。随着训练继续,尾部奇异值增长滞后,流行度偏差仍保持较高水平。
我们也从理论角度建立了奇异值分布与推荐中热门物品比例之间的关系,感兴趣的同学们可以看原文。
三、新方法:基于约束谱范数的纠偏方法ReSN
ReSN 方法不依赖后处理,直接在训练中去偏,从源头解决问题。
高效轻量,避免了庞大矩阵的直接计算,训练效率高!
四、实验亮点