CMU博士论文揭示：语境结构理论如何赋能表征学习

AI资讯
1

CMU博士论文提出语境结构理论，揭示表征学习的关键机制：通过输入与上下文的关联学习，并提出SVME和KISE两个通用目标。未来发展需关注更好的上下文。

原文标题：【CMU博士论文】语境：表征学习的机制

原文作者：数据派THU

冷月清谈：

这篇CMU博士论文提出了语境结构理论，旨在用数学方法表征预训练等表征学习的机制。论文核心观点是，表征是通过输入X和上下文变量A之间的关联来学习的。如果编码器能够捕捉到这种关联的最大信息，即学习了“语境结构”，那么它将在与上下文兼容的任务类上达到最佳表现。研究表明，当X和A之间的关联强度适中时，上下文最为有用。该理论统一了监督学习、自监督学习和生成模型等多种预训练方法，并提出了SVME和KISE两个通用目标来学习语境结构。此外，论文还探讨了混合多个上下文以创建更好上下文的方法，并扩展到半监督学习的谱变换核回归。研究强调，单纯增加模型规模的回报递减，未来的发展需要更好的上下文。

怜星夜思：

1、论文中提到“仅仅增加模型规模将带来递减的回报，而进一步的进展需要更好的上下文”，那么，除了模型规模，我们还可以从哪些方面入手来优化现有的预训练模型，使其更好地学习和泛化？
2、论文中提出了SVME和KISE两种新的预训练目标，大家觉得这两种方法最有可能在哪些NLP任务上取得突破？为什么？
3、这篇论文的核心是“语境结构理论”，大家觉得这个理论对自然语言处理领域，乃至更广泛的AI领域，有哪些潜在的影响？

原文内容

来源：专知
本文约1000字，建议阅读5分钟
我们提出了两个通用目标——SVME 和 KISE，用于学习语境结构。


本论文建立了语境结构理论，用数学方法表征表征学习的机制，也称为预训练。尽管基础模型在实践中取得了显著的成功，但仍不清楚它们学习到的表征是什么，以及这些表征为何对各种不同的下游任务有用。对表征学习的科学理解至关重要，尤其是在模型规模扩展已经呈现边际效益递减的情况下，设计新的预训练方法成为进一步发展的必要条件。
先前的工作对不同的表征学习方法进行了各自不同的处理，而语境结构理论则提供了一个统一的框架，用于阐明这些方法学习到的表征。核心论点是，表征是通过输入 X 和一个上下文变量 A 之间的关联来学习的。我们证明了，如果一个编码器捕获了这种关联的最大信息，在这种情况下我们说编码器学习了“语境结构”，那么它将在与该上下文兼容的任务类上达到最佳表现。我们还展示了，当 X 和 A 之间的关联既不太强也不太弱时，上下文最为有用。语境结构理论的重要含义是，仅仅增加模型规模将带来递减的回报，而进一步的进展需要更好的上下文。
我们证明了许多现有的预训练目标可以学习语境结构，包括监督学习、自监督学习、生成模型等。在此基础上，我们提出了两个通用目标——SVME 和 KISE，用于学习语境结构。我们还展示了如何将多个上下文混合在一起，这是从现有上下文中创建更好上下文的轻松方法。然后，我们为表征学习证明了统计学习界限，并将该框架扩展到半监督学习的谱变换核回归。最后，我们讨论了从预训练到下游任务的数据分布变化的影响。


关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU


2

谢邀！同意楼上的观点，模型规模终究不是万能的。我补充一点，可以关注一下可解释性。与其让模型像个黑盒子一样运作，不如想办法让它更好地理解输入数据与输出结果之间的关系。 比如，可以通过可视化模型注意力权重、分析模型决策过程等方法来增强模型的可解释性，从而更好地进行调试和改进。

3

根据论文描述，SVME（Support Vector Machine Embedding）和KISE（Kernel Information Symmetrization Embedding）都是为了更好地学习语境结构。个人感觉，它们在文本生成和文本理解这两个大方向上都有潜力。 文本生成方面，如果模型能够更好地理解上下文，那么生成的文本就会更加流畅、自然，也更符合逻辑。文本理解方面，更精准的上下文理解能力可以帮助模型更好地完成问答、摘要、情感分析等任务。具体来说，我觉得在长文本生成和复杂推理问答这两个子方向上，SVME和KISE更有机会发挥优势。

4

不光是NLP，我觉得这个理论对多模态学习也很有启发。 我们可以把不同的模态（比如图像、语音、文本）看作是不同的“语境”，然后让模型学习这些“语境”之间的关联。 比如，让模型学习图像和文本之间的对应关系，或者让模型学习语音和文本之间的转换关系。 这样就可以构建出更强大的多模态模型，从而更好地理解真实世界。

5

这让我想到了炼丹！我觉得提升预训练模型效果，可以类比炼丹师寻找更好的“丹方”。模型规模就像是炼丹炉的大小，而“上下文”就是丹方中的药材。 想要炼出更好的丹药，不能一味地增大丹炉，更重要的是寻找更珍稀、更合适的药材，并且掌握正确的炼丹手法（训练策略）。具体来说，我认为可以尝试引入更多的外部知识（例如知识图谱、常识推理）作为上下文信息，来提升模型的理解能力。

6

我感觉这个理论有点像AI领域的“第一性原理”。 它试图找到表征学习的底层逻辑，然后基于这个逻辑来构建更有效的模型。 这种思路在其他科学领域也很常见，比如物理学中的牛顿定律、化学中的元素周期表等等。 如果“语境结构理论”能够成为AI领域的“第一性原理”，那么它将对AI的发展产生深远的影响。

7

这个问题提的很好！我觉得可以从以下几个方面入手：1. 数据质量和多样性： 更多样化、更干净的数据集可以显著提升模型的泛化能力。2. 模型架构创新： 尝试新的模型架构，例如Transformer的变体，或者引入注意力机制的改进版本。3. 优化训练策略： 比如使用更有效的优化算法（如AdamW的改进版），或者采用更智能的学习率调整策略。4. 多任务学习： 同时训练模型执行多个相关任务，以共享知识并提升泛化能力。5. 知识蒸馏： 将大型模型的知识传递给小型模型，以在保持性能的同时降低计算成本。

8

我比较关注KISE，它的核心思想是“Kernel Information Symmetrization Embedding”，感觉在信息检索领域会很有用武之地。信息检索的关键在于衡量query和document之间的相关性，如果能够通过KISE学习到query和document的更对称、更准确的表征，那么检索效果自然会更好。 此外，KISE对噪声数据应该也有一定的鲁棒性，这意味着它在处理大规模、低质量的数据集时可能表现更好。

9

“语境结构理论”的提出，我觉得最大的意义在于提供了一个统一的视角来看待各种预训练方法。 以前我们可能觉得BERT、GPT、Transformer等等都是独立的模型，但现在我们可以用“语境结构”这个概念把它们联系起来，从而更深入地理解它们的本质。 此外，这个理论也提醒我们，不能只关注模型本身，还要关注数据和训练目标的选择。 好的模型需要好的数据和好的训练目标才能发挥出最大的潜力。

10

突破不好说，但是感觉在小样本学习 (Few-shot learning) 任务上应该会有提升。 既然强调“语境结构”，那么意味着模型能够从少量样本中学习到更多的信息，从而更好地泛化到新的任务上。 我们可以设想一下，给模型展示几个例子，让它学习这些例子之间的“语境”，然后用学到的“语境”去解决新的问题。这就有点像人类的“举一反三”能力。