提出DGMRec框架，解决多模态推荐系统中缺失模态问题。通过解耦特征、生成模态，提升推荐效果和跨模态检索能力。
原文标题：【SIGIR2025】在缺失模态场景中解耦与生成推荐模态
原文作者：数据派THU
冷月清谈：
本文介绍了针对多模态推荐系统中普遍存在的缺失模态问题提出的新框架——解耦与生成推荐模态（DGMRec）。该框架的核心思想是将模态特征解耦为通用和特定模态特征，从而提供更丰富的表示，并通过整合对齐特征和用户模态偏好生成缺失模态特征。实验结果表明，DGMRec 在各种具有挑战性的场景下，包括缺失模态、新项目设置和不同缺失比例等，均优于现有技术。此外，DGMRec 还支持跨模态检索，进一步提升了其在实际应用中的适应性和潜力。
怜星夜思：
1、DGMRec框架中，将模态特征解耦为通用模态特征和特定模态特征，这样做的好处是什么？除了文章中提到的“为推荐提供更丰富的表示”之外，还有没有其他的优势？
2、文章提到DGMRec支持跨模态检索，这在实际应用中有什么价值？你能想到哪些具体的应用场景？
3、DGMRec框架着重解决了缺失模态的问题，那么在所有模态都存在的情况下，这个框架的推荐效果相比于其他模型，例如直接拼接所有模态特征的模型，会有提升吗？为什么？
2、文章提到DGMRec支持跨模态检索，这在实际应用中有什么价值？你能想到哪些具体的应用场景？
3、DGMRec框架着重解决了缺失模态的问题，那么在所有模态都存在的情况下，这个框架的推荐效果相比于其他模型，例如直接拼接所有模态特征的模型，会有提升吗？为什么？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们提出了解耦与生成推荐模态（DGMRec），这是一种针对缺失模态场景的新型框架。
多模态推荐系统（MRS）通过利用图像、文本和音频等多种模态，在提高个性化推荐方面取得了显著成功。然而，仍然存在两个关键挑战：
1）对缺失模态场景考虑不足；
2）忽视模态特征的独特性。这些问题导致在实际场景中，当某些模态缺失时，推荐系统的性能显著下降。为了应对这些问题，我们提出了解耦与生成推荐模态（DGMRec），这是一种针对缺失模态场景的新型框架。DGMRec从信息角度出发，将模态特征解耦为通用模态特征和特定模态特征，从而为推荐提供更丰富的表示。在此基础上，它通过整合其他模态的对齐特征和利用用户模态偏好生成缺失的模态特征。大量实验表明，DGMRec在具有挑战性的场景中（包括缺失模态、新项目设置、不同缺失比例和模态缺失的不同级别）始终优于现有的最先进的MRS。此外，DGMRec的基于生成的方法使得跨模态检索成为可能，这在现有的MRS中是不可行的，突显了其适应性和在现实应用中的潜力。我们的代码已发布在https://github.com/ptkjw1997/DGMRec。
1）对缺失模态场景考虑不足；
2）忽视模态特征的独特性。这些问题导致在实际场景中，当某些模态缺失时，推荐系统的性能显著下降。为了应对这些问题，我们提出了解耦与生成推荐模态（DGMRec），这是一种针对缺失模态场景的新型框架。DGMRec从信息角度出发，将模态特征解耦为通用模态特征和特定模态特征，从而为推荐提供更丰富的表示。在此基础上，它通过整合其他模态的对齐特征和利用用户模态偏好生成缺失的模态特征。大量实验表明，DGMRec在具有挑战性的场景中（包括缺失模态、新项目设置、不同缺失比例和模态缺失的不同级别）始终优于现有的最先进的MRS。此外，DGMRec的基于生成的方法使得跨模态检索成为可能，这在现有的MRS中是不可行的，突显了其适应性和在现实应用中的潜力。我们的代码已发布在https://github.com/ptkjw1997/DGMRec。
