斯坦福博士论文揭示神经网络训练的凸优化本质，为理解和优化神经网络提供了新视角，并在LLM微调等领域展现应用前景。
原文标题：【斯坦福博士论文】神经网络凸优化公式化：理论、应用与超越
原文作者：数据派THU
冷月清谈：
怜星夜思：
2、论文提到了凸优化在大型语言模型（LLMs）微调中的应用，具体是如何应用的？凸优化方法相比于传统的微调方法，优势在哪里？
3、论文结论中提到弥合了关键的理论空白，那么在你看来的神经网络训练过程中，目前还有哪些比较重要的理论空白？
原文内容
来源：专知本文约1000字，建议阅读5分钟
本论文从凸优化的角度，推进了对神经网络的理论理解和实际优化。
深度神经网络，尤其是大型语言模型（LLMs），在广泛的任务中展现了显著的成功；然而，其训练过程计算密集，需要大量的数据和计算资源。即使是对预训练的LLMs进行特定任务的微调，也常常会带来显著的计算成本。本论文从凸优化的角度，推进了对神经网络的理论理解和实际优化。
我们从一个基础性结果出发，即两层ReLU网络的正则化训练问题可以重新表述为凸优化问题。这种凸优化公式化阐明了优化景观，刻画了所有全局最优解和Clarke驻点，并将模型性能与超参数选择解耦。通过与压缩感知中最稀疏线性模型恢复的类比，我们证明了过参数化神经网络本质上学习能够有效解释数据的简单模型，这一结论得到了在随机生成数据集中观察到的相变现象的支持，从而确立了其卓越的泛化能力。将强对偶性概念扩展到深度网络，我们提出了一种并行架构，使得在修改后的正则化下能够实现全局最优训练，同时也为标准架构中非零对偶间隙的存在提供了见解。通过将其与NP难的最大割问题联系起来，我们严格分析了训练正则化ReLU网络到全局最优的计算复杂性，得出了NP难性证明，并为特定类型的数据集开发了高效的多项式时间近似算法。即使在缺乏显式正则化的情况下，梯度流的隐式正则化也会驱动收敛到非凸最大间隔问题的全局最优解。
我们通过利用随机几何代数进行大型语言模型（LLMs）的微调，展示了凸优化的实际应用。我们进一步通过凸几何和对偶性视角分析了用于训练两层ReLU网络的非凸次梯度流，表明其隐式偏差与凸正则化一致，并在对偶变量的某些条件下证明了其收敛到全局最优解。最后，我们提出了一种半定规划（SDP）松弛，以近似具有平方ReLU激活的两层网络中的Wasserstein梯度，确保在特定条件下的紧密松弛，并展示了其在贝叶斯推断和COVID-19参数估计中的有效性。
这些发现弥合了关键的理论空白，并引入了具有深远意义的创新方法，推动了我们对神经网络训练过程的理解。
