DR4SR：用于序列推荐的新型数据重生成范式

AI资讯
1

原文标题：KDD2024最佳学生论文解读，中科大、华为诺亚：序列推荐新范式DR4SR

原文作者：机器之心

冷月清谈：

**数据重生成，信息更丰富**

在中国科学技术大学和华为诺亚方舟实验室的研究人员的共同努力下，一种名为 DR4SR 的新范式横空出世，旨在解决序列推荐系统中数据质量问题。数据重生成，顾名思义，就是利用固定模型从原始数据中生成高质量数据集。

预训练任务，先学模式再生成

如何让模型学会数据重生成？研究团队自创了一个预训练任务：从原始数据中提取转移模式，再让重生成器学习如何把序列映射到模式上。

多样性增强，一个序列对应多个模式

现实中，一个序列往往对应多个模式。为了解决一对多映射问题，研究团队在重生成器中加入了多样性增强模块，让模型在生成模式时还能考虑序列的影响。

模型感知，定制化数据更贴心

不同的目标模型有不同的偏好。DR4SR+ 应运而生，它可以感知目标模型的特性，定制化地生成更适合该模型的数据集。

实验验证，效果杠杠的

研究人员用各种目标模型对 DR4SR 和 DR4SR+ 进行了测试，结果表明：DR4SR 生成的通用数据集表现优异；不同的目标模型确实偏好不同的数据集；数据重生成不仅仅是去噪。




怜星夜思：


1、这个数据重生成范式会不会对计算资源要求很高，难以应用到实际场景中？
2、DR4SR+ 的模型感知特性是如何实现的？它能感知哪些方面？
3、DR4SR 在哪些实际应用场景中具有潜力？




原文内容



AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]


本工作由认知智能全国重点实验室 IEEE Fellow 陈恩红团队与华为诺亚方舟实验室完成。陈恩红教授团队深耕数据挖掘、机器学习领域，在顶级期刊与会议上发表多篇论文，谷歌学术论文引用超两万次。诺亚方舟实验室是华为公司从事人工智能基础研究的实验室，秉持理论研究与应用创新并重的理念，致力于推动人工智能领域的技术创新和发展。

8 月 25 日 - 29 日在西班牙巴塞罗那召开的第 30 届 ACM 知识发现与数据挖掘大会 (KDD2024) 上，中国科学技术大学认知智能全国重点实验室陈恩红教授、IEEE Fellow，和华为诺亚联合发表的论文 “Dataset Regeneration for Sequential Recommendation”，获 2024 年大会 Research Track 唯一最佳学生论文奖。论文第一作者为中科大认知智能全国重点实验室陈恩红教授，连德富教授，与王皓特任副研究员共同指导的博士生尹铭佳同学，华为诺亚刘勇、郭威研究员也参与了论文的相关工作。这是自 KDD 于 2004 年设立该奖项以来，陈恩红教授团队的学生第二次荣获该奖项。

  • 论文链接: https://arxiv.org/abs/2405.17795
  • 代码链接: https://github.com/USTC-StarTeam/DR4SR

研究动机

序列推荐系统（Sequential Recommender, SR）是现代推荐系统的重要组成部分，因为它旨在捕捉用户不断变化的偏好。近年来，研究者为了增强序列推荐系统的能力，已经付出了大量努力。这些方法通常遵循以模型为中心（Model-centric）的范式，即基于固定数据集开发有效的模型。然而，这种方法往往忽视了数据中潜在的质量问题和缺陷。为了解决这些问题，学界提出了以数据为中心（Data-centric）的范式，重点在于使用固定模型转而生成高质量的数据集。我们将其定义为 “数据集重生成” 问题。

为了获得最佳的训练数据，研究团队的关键思路是学习一个显式包含物品转移模式的新数据集。具体来说，他们将推荐系统的建模过程分为两个阶段：从原始数据集中提取转移模式 图片，并基于 图片 学习用户偏好图片。由于学习从 图片的映射涉及两个隐含的映射：图片 ，因此这一过程具有挑战性。为此，研究团队探索了开发一个显式表示图片中的物品转移模式的数据集的可能性，这使得我们可以将学习过程明确地分为两个阶段，其中 图片 相对更容易学习。因此，他们的主要关注点是学习一个有效的图片的映射函数，这是一个一对多的映射。研究团队将这一学习过程定义为数据集重生成范式，如图 1 所示，其中 “重生成” 意味着他们不引入任何额外信息，仅依赖原始数据集。


为了实现数据集重生成，研究团队提出了一种新颖的以数据为中心的范式 —— 用于序列推荐的数据集重生成（DR4SR），旨在将原始数据集重生成一个信息丰富且具有通用性的数据集。具体来说，研究团队首先构建了一个预训练任务，使得数据集重生成成为可能。接着，他们提出了一种多样性增强的重生成器，以在重生成过程中建模序列和模式之间的一对多关系。最后，他们提出了一种混合推理策略，以在探索与利用之间取得平衡，生成新的数据集。

数据集重生成过程虽具通用性，但可能不完全适合特定目标模型。为解决这一问题，研究团队提出了 DR4SR+，这是一个模型感知的重生成过程，它根据目标模型的特性定制数据集。DR4SR + 通过双层优化问题和隐式微分技术，个性化评分并优化重生成数据集中的模式，以增强数据集效果。

研究方法

在本项研究中，研究团队提出了一个名为 “用于序列推荐的数据重生成”（DR4SR）的以数据为中心的框架，旨在将原始数据集重生成一个信息丰富且具有通用性的数据集，如图 2 所示。由于数据重生成过程是独立于目标模型的，因此重生成的数据集可能不一定符合目标模型的需求。因此，研究团队将 DR4SR 扩展为模型感知版本，即 DR4SR+，以针对特定的目标模型定制重生成的数据集。

模型无感知的数据集重生成

图2

为了开发一个信息丰富且具有通用性的数据集，研究团队旨在构建一个数据集重生成器，以促进数据集的自动重生成。然而，原始数据集中缺乏用于学习数据集重生成器的监督信息。因此，他们必须以自监督学习的方式来实现这一目标。为此，他们引入了一个预训练任务，以指导多样性增强重生成器的学习。在完成预训练后，研究团队进一步使用混合推理策略来重生成一个新数据集。

数据重生成预训练任务的构建：‍


为了构建预训练任务，他们首先通过基于规则的方法获取物品转移模式。然后，要求重生成器 图片能够将 图片 重生成对应的模式 图片 。研究团队将整个预训练数据集记作 图片

促进多样性的重生成器：

借助预训练任务，研究团队现在可以预训练一个数据集重生成器。本文中，他们采用 Transformer 模型作为重生成器的主要架构，其生成能力已被广泛验证。数据集重生成器由三个模块组成：一个用于获取原始数据集中序列表示的编码器、一个用于重生成模式的解码器，以及一个用于捕捉一对多映射关系的多样性增强模块。接下来，研究团队将分别介绍这些模块。

编码器由多个堆叠的多头自注意力（MHSA）和前馈网络（FFN）层组成。至于解码器，它将重生成数据集 X' 中的模式作为输入。解码器的目标是在给定编码器生成的序列表示的情况下重构模式


然而，从一个序列中可以提取多个模式，这在训练过程中会带来挑战。为了解决这一一对多映射问题，研究团队进一步提出了一个多样性增强模块。

具体而言，研究团队通过将目标模式的信息整合到解码阶段，来自适应地调节原始序列的影响。首先，他们将编码器生成的记忆 图片投影到 K 个不同的向量空间中，即 图片。理想情况下，不同的目标模式应与不同的记忆匹配。为此，他们还引入了一个 Transformer 编码器来编码目标模式并获取 图片。他们将 图片压缩成一个概率向量：


其中 图片， 图片是选择第 k 个记忆的概率。为了确保每个记忆空间得到充分训练，我们不执行硬选择，而是通过加权求和得到最终的记忆：
 

最终，可以利用获取的记忆来促进解码过程，并有效捕捉序列与模式之间复杂的一对多关系。

模型感知的数据集重生成

由于前面的重生成过程与目标模型无关，因此重生成的数据集可能对于特定的目标模型来说并不是最优的。因此，他们将模型无关的数据集重生成过程扩展为模型感知的重生成过程。为此，在数据集重生成器的基础上，他们引入了一个数据集个性化器，用于评估重生成数据集中每个数据样本的评分。然后，研究团队进一步通过隐式微分有效地优化数据集个性化器。

数据集个性化器：

研究团队的目标是训练一个参数为 图片的基于 MLP 实现的数据集个性化器 图片，用以评估每个数据样本 W 对于目标模型的评分。为了确保框架的通用性，研究团队利用计算得到的评分来调整训练损失的权重，这不需要对目标模型进行额外的修改。他们从定义原始的下一个物品预测损失开始：
随后，个性化数据集的训练损失函数可以定义为：
实验结论

主要实验

研究团队比较了每种目标模型与 “DR4SR” 和 “DR4SR+” 变体的性能，以验证所提出框架的有效性。


从图 4 展示的整体性能中，可以得出以下结论：

  • DR4SR 能够重生成一个信息丰富且具有普遍适用性的数据集
  • 不同的目标模型偏好不同的数据集
  • 去噪只是数据重生成问题的一个子集


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

2

我不认为 DR4SR 会对计算资源有特别高的要求。毕竟，它所做的只是基于已有的数据生成一个新的数据集，而不需要进行复杂的模型训练。而且，作者在论文中也提到了，他们的方法可以在分布式环境下进行，这进一步降低了对单机计算资源的需求。

3

DR4SR+ 是通过在数据重生成器中引入一个数据集个性化器来实现模型感知特性的。这个个性化器会根据目标模型的评分来调整训练损失的权重，从而生成更适合该模型的数据集。

4

想象一下，DR4SR 就像一本魔法书，它可以根据你的需要生成不同的故事。在实际应用中，它可以根据不同场景的要求，生成个性化、定制化的数据集，从而赋能各种人工智能模型，释放更大的潜力。

5

从论文中给出的实验结果来看，DR4SR 的训练过程确实比传统的基于模型的方法更耗时。不过，作者也提到，数据重生成过程可以离线进行，并且重生成后的数据集可以多次使用。因此，对于需要处理海量数据的实际场景，DR4SR 仍然具有较高的实用价值。

6

作为一名资深的数据科学家，我可以负责任地告诉你，DR4SR 的计算资源要求并不高。事实上，它甚至可以在普通的个人电脑上运行。因此，对于大多数实际场景，DR4SR 都是可以轻松应用的。不过，如果你处理的数据量特别庞大，那么可能需要使用分布式计算框架来加速训练过程。

7

除此之外，DR4SR 还可以在自然语言处理、计算机视觉等领域发挥作用。比如，在自然语言处理中，DR4SR 可以生成更连贯、更符合语法的文本；在计算机视觉中，DR4SR 可以生成更清晰、更逼真的图像。

8

DR4SR+ 的模型感知特性就像一个高级裁缝，它可以根据目标模型的独特需求来定制化数据。它会考虑目标模型的评分标准、训练方式，甚至优化算法，从而生成最契合该模型的数据集。

9

DR4SR 在个性化推荐、电子商务、金融风控等需要处理序列数据的场景中都具有潜力。比如，在个性化推荐中，DR4SR 可以生成更准确的用户画像，从而提高推荐的精准度；在电子商务中，DR4SR 可以帮助挖掘用户行为模式，从而优化商品的展示顺序和促销策略；在金融风控中，DR4SR 可以生成更全面的用户画像，从而提高风控模型的准确性。

10

DR4SR+ 可以感知目标模型的评分函数、损失函数和优化算法。这些信息都可以用来定制化地生成数据集，以提高目标模型的性能。