NYU博士论文精华：解构神经网络，从表达能力、优化性到数据分布，揭示其内在的简单结构与复杂功能。
原文标题：【NYU博士论文】神经网络中的简单结构：论表达能力、优化性与数据分布
原文作者：数据派THU
冷月清谈：
本文旨在通过简化情境，深入理解大型神经网络的功能机制。研究从三个方面展开：一、**表达能力**：对比图增强多层感知机（GA-MLPs）与经典图神经网络（GNNs）的函数类，采用图同构测试和带属性路径计数等方式衡量它们的表示能力；二、**优化性**：从理论角度分析神经网络训练中大学习率引发的不稳定性现象，研究损失函数在低维子空间中产生振荡的条件，并应用于教师-学生框架下的两层单神经元同构网络和矩阵分解问题；三、**数据分布**：提出将下一个 token 的预测分解为上下文内推理与分布关联两个部分，在合成实验中研究发现前馈层倾向于学习简单的分布关联，而注意力层主要负责上下文推理，并验证修改前馈层可以提升LLM在某些任务上的表现。
总而言之，该研究聚焦于神经网络中简单结构，旨在为理解大型模型的功能机制提供基础性步骤和理论支撑。
总而言之，该研究聚焦于神经网络中简单结构，旨在为理解大型模型的功能机制提供基础性步骤和理论支撑。
怜星夜思：
1、文章提到了前馈层和注意力层在处理数据分布时各有侧重，前者偏向学习简单的分布关联，后者侧重上下文推理。那么，在实际应用中，我们应该如何巧妙地结合这两种层，以最大化模型的性能？
2、文章中提到稳定性边缘（Edge of Stability）现象，并分析了大学习率引发的不稳定性。在实际训练中，除了调整学习率，还有哪些方法可以帮助我们稳定训练过程，避免模型崩溃？
3、文章研究了GA-MLPs和GNNs的表达能力，并使用图同构测试和带属性路径计数等方式来衡量。这些方法对于理解其他类型的神经网络（例如Transformer）的表达能力是否有借鉴意义？应该如何应用？
2、文章中提到稳定性边缘（Edge of Stability）现象，并分析了大学习率引发的不稳定性。在实际训练中，除了调整学习率，还有哪些方法可以帮助我们稳定训练过程，避免模型崩溃？
3、文章研究了GA-MLPs和GNNs的表达能力，并使用图同构测试和带属性路径计数等方式来衡量。这些方法对于理解其他类型的神经网络（例如Transformer）的表达能力是否有借鉴意义？应该如何应用？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们旨在从零出发，分析简化情境，作为理解这些大型模型功能机制的基础性步骤。
在这个大型语言模型（LLMs）及其他巨型神经网络迅猛发展的时代，我们旨在从零出发，分析简化情境，作为理解这些大型模型功能机制的基础性步骤。我们从三个方面展开探讨。
在表达能力方面，我们研究了一类简化的图网络——图增强多层感知机（Graph-Augmented Multi-layer Perceptrons, GA-MLPs）的函数类，并与经典图神经网络（Graph Neural Networks, GNNs）进行了对比。我们采用图同构测试和带属性路径计数等方式来衡量它们的表示能力。
在优化性方面，我们从理论角度分析了神经网络训练中由于大学习率引发的不稳定性现象，即“稳定性边缘”（Edge of Stability）。我们研究了损失函数在训练过程中为何会呈现出不稳定轨迹的条件，尤其是其在低维子空间中产生振荡的情况。随后，我们将这一特性应用于一些简单但具有代表性的学习问题中，如教师-学生框架下的两层单神经元同构网络和矩阵分解问题。
在推理任务中的数据分布方面，我们提出将下一个 token 的预测分解为两个部分：上下文内推理（in-context reasoning）与分布关联（distributional association）。我们在一个可控的合成实验设置中，从实证与理论两个角度对这一分解方法进行了研究，发现前馈层（feed-forward layers）更倾向于学习如二元语法（bigram）等简单的分布关联，而注意力层则主要负责上下文内的推理。最后，基于这些理解，我们进一步提供了实验证据，说明对前馈层进行修改可以提升 LLM 在某些任务上的表现。
