清华提出GridMix：突破深度学习求解PDE瓶颈的空间调控新范式

AI资讯
1

清华大学提出GridMix方法，突破深度学习求解偏微分方程瓶颈，融合全局结构建模和局部细节捕捉，在稀疏空间域和时间外推场景下表现卓越。

原文标题：ICLR 2025 Oral｜突破深度学习求解PDE的瓶颈，清华提出空间调控新范式GridMix

原文作者：机器之心

冷月清谈：

清华大学的研究团队针对现有神经场（INR）方法在处理具有剧烈空间变化的偏微分方程（PDEs）时存在的瓶颈，提出了一种名为GridMix的创新空间调控方法。GridMix的核心思想是将空间调控参数表示为一组网格基函数的线性组合，从而在保留空间调控局部性的同时，通过共享基函数提取全局结构信息，有效缓解了过拟合风险。实验结果表明，GridMix在动态系统建模和几何感知推理等PDE建模任务中表现出显著的性能提升，尤其在稀疏空间域和时间外推场景下，其鲁棒性优势更加突出。GridMix通过融合全局调控的全局结构建模能力和空间调控的局部细节捕捉能力，为深度学习求解PDE问题提供了一条新的路径。

怜星夜思：

1、GridMix通过融合全局和局部调控来提升PDE求解的精度和泛化能力。那么，在实际应用中，我们应该如何选择GridMix中的网格基函数？不同的基函数会对最终结果产生什么影响？
2、文章提到GridMix在稀疏空间域和时间外推方面表现出优越的鲁棒性，这在实际应用中具有重要意义。那么，除了文中提到的Naviers-Stokes和Shallow-Water，GridMix还有可能在哪些实际场景中发挥作用？
3、GridMix的核心在于将空间调控参数表示为网格基函数的线性组合。这种方法在提升模型性能的同时，是否会引入额外的计算负担？未来可以从哪些方面进一步优化GridMix，以降低计算成本？

原文内容
近年来，深度学习在偏微分方程（PDEs）求解中展现出前所未有的潜力。从气象模拟到材料科学，基于数据驱动的神经网络模型正不断重塑科学计算的边界。尤其是神经场（Implicit Neural Representations，INRs），凭借其连续参数化的特性，能够实现跨几何形态的高分辨率建模，在复杂场景下展现出卓越的精度和灵活性。

然而，当面对具有剧烈空间变化的场景时，现有 INR 方法暴露出明显的瓶颈。传统的全局调控机制要求模型在所有空间位置共享同一组调控参数，这种方式在捕捉局部细节特征时显得力不从心。随着场景复杂度的提升，全局调控不仅限制了模型精度，还导致泛化能力下降。

为了解决这一难题，清华大学研究团队提出了一种创新的空间调控方法 ——GridMix。灵感来源于谱方法的思想，GridMix 将空间调控参数表示为一组网格基函数的线性组合。GridMix 具备以下特点：

  • 保留了空间调控的细粒度局部性，确保建模精度；

  • 同时通过共享基函数提取全局结构信息，有效缓解了过拟合风险。
在一系列挑战性的 PDE 建模任务中，GridMix 展现出了显著的性能提升。特别是在稀疏空间域和时间外推场景下，其鲁棒性表现尤为突出。该研究已被 ICLR 2025 接收，并获选为 Oral 论文（入选比例 1.8%）。

图片
图片677×151 14.4 KB


  • 论文标题：GridMix: Exploring Spatial Modulation for Neural Fields in PDE Modeling
  • 论文地址：https://openreview.net/forum?id=Fur0DtynPX
  • 项目主页：https://github.com/LeapLabTHU/GridMix.git

方法

本文研究聚焦于偏微分方程（PDE）建模任务，其核心是近似算子图片。该算子根据底层 PDE，将输入空间图片中的函数映射到输出空间图片。此处图片表示定义域为且值域为图片的平方可积函数构成的无限维空间。我们重点研究以下两类典型任务：

  • 动态系统建模：旨在捕捉物理系统在预测时间范围内的动态演化过程。具体表现为建模系统从状态图片到状态图片的转移过程，其中图片表示时间步长。

  • 几何感知预测：根据系统的几何构型预测其状态。
在几何预测中，每个数据样本分布于不同的空间域图片上；而对于动力学建模，所有样本使用相同的训练空间域图片，测试时则采用与训练域不同的空间域来评估模型性能。需特别说明的是，图片和图片均为完整域图片的子集。

基于 INR 的 PDE 建模方法

CORAL 是最具创新性的 INR 方法之一，它通过两阶段训练策略解决偏微分方程建模问题。在第一阶段（重构阶段），该框架采用两个神经调控场图片和图片分别对输入和输出函数进行参数化建模。这些神经调控场作为基础模型，通过不同调制参数实现对不同函数的重构。具体而言，INR 参数图片和图片在各自函数空间中共享，而调制参数和则是每个函数特有的。这些调制参数通过超网络图片和图片从低维调控向量图片和图片中生成：图片，图片。经训练后，每个函数可由低维调控向量经过共享 INR 重构，其重构误差代表了表示质量。在第二阶段（预测阶段），CORAL 通过处理网络图片学习调控编码图片与图片之间的映射关系。

图片
图片693×303 26.9 KB

图 1. 基于 INR 的 PDE 建模框架

CORAL 的全局调控

CORAL 利用 SIRENs 作为其 INR 的骨干网络。SIRENs 是具有正弦激活函数的多层感知机，可以表示为：

图片


其中，图片是网络权重和偏置，图片为固定的放缩因子，图片，图片是空间坐标图片下的第层中间表示结果。

CORAL 通过平移调控（Shift Modulation）对 SIRENs 进行扩展，将单个函数表示为：

图片


其中图片表示第 i 层的调制参数。需要注意的是，这种全局调控参数图片在不同空间坐标之间是共享的。这一特性限制了神经调控场表示复杂函数空间的能力。正如先前的研究所展示的，全局调控无法捕捉局部细节，因为调控参数的任何变化都会导致重构函数的全局扰动。

图片
图片693×143 38.3 KB
图 2. 不同调控方式


GridMix

基于网格表征的空间调控方法在提升 INR 学习能力方面展现出显著优势，特别是在三维重建领域，其有效性已被广泛验证。受此启发，本文旨在探索空间调控在 PDE 建模中的的应用及其潜在优势。具体而言，空间调控引入了一个基于网格的单通道特征图片，其中H和W分别表示网格的空间分辨率（以二维空间为例）。我们可以从该网格特征中提取位置相关的调控参数图片。具体步骤如下：给定空间位置图片，首先提取围绕该位置的相邻网格点（在二维情况下为四个点）上的特征，其次通过双线性插值计算图片。空间调控对应的平移调控方法可表示为：

图片


空间调控引入的位置相关的调控参数虽擅长捕捉局部信息，却难以在稀疏 / 不规则的空间域中建模全局结构，导致未知区域重建质量骤降（如图 3 所示），从而严重制约跨空间域的泛化能力 —— 而这正是鲁棒 PDE 建模的关键要求

图片
图片382×287 131 KB
图 3. 重建效果对比：观测数据的空间域在训练集之外


为了缓解空间调控在训练空间域上的过拟合问题，GridMix 将空间调控参数表示为一组网格表征的线性组合，如图 2 (c) 所示。首先，GridMix 定义一组网格表征作为基函数，再通过这些基函数的线性组合生成空间调控参数。具体而言，每一隐藏层的网格混合表示为

图片
图片390×131 2.84 KB


其中图片。这里图片表示 M 个网格基函数，图片为第 i 层的线性组合系数。这些系数通过超网络 h 从低维调控向量 z 中估计得到。网格基函数在不同的函数实例中共享，并与神经调控场一同优化。GridMix 具有以下特点：


  • 局部细节捕捉：GridMix 保留了网格调控的局部特性，通过引入额外的可学习参数增强了模型在局部细节重建的表达能力；

  • 全局结构建模：GridMix 通过共享基函数对调控空间起到正则化作用。相比一般空间调控需要为每个函数额外学习个图片独立参数，GridMix 将参数维度降低至基函数的个数。这种维度压缩有效减少了过拟合的风险，提升了模型对全局结构的重建能力，以及在不同空间域上的泛化能力。

实验

动态系统建模

在 Naviers-Stokes 和 Shallow-Water 两个动态系统建模任务上，GridMix 相比神经算子方法（DeepONet 和 FNO）、图网络方法（MP-PDE）以及基于全局调控的 INR 方法（CORAL）均取得了显著的性能提升。同时，GridMix 在稀疏空间域的重建和时间外推任务中表现出优越的鲁棒性，进一步验证了其广泛的适用性。

图 4. 动态系统建模任务

图片
图片693×286 191 KB

图 5. 稀疏空间域下的 Shallow-Water 可视化结果


几何感知推理


在几何感知推理中，模型根据给定的几何结构（例如翼型（NACA-Euler）、水管（Pipe）和弹性材料（Elasticity））预测系统的状态。相较于全局调控方法，GridMix 在所有任务中均实现了性能提升。


图片
图片693×189 38 KB

图 6. 几何感知推理任务


总结

本文的贡献主要在两个方面：

  • 提出了一种新颖的空间调控方式 ——GridMix，它自然地融合了全局调控的全局结构建模和空间调控的局部细节捕捉能力；

  • 在动态系统建模和几何感知推理等任务中充分验证了 GridMix 的卓越性能，特别是在稀疏空间域和时间外推场景下优势显著。


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com

2

引入网格基函数肯定会增加计算量，但文章也提到了，GridMix通过共享基函数，降低了模型的参数量，从而缓解了过拟合。未来可以尝试一些轻量级的基函数，或者对基函数进行压缩，比如使用PCA等降维方法。另外，可以考虑对超网络进行优化，降低生成线性组合系数的计算复杂度。

3

除了科学计算领域，我觉得在游戏开发中也能找到应用场景。比如，我们可以用GridMix来模拟流体、烟雾等特效。传统的游戏引擎通常使用基于网格的方法来模拟这些效果，但计算量很大。GridMix可以用更少的计算资源，实现更逼真的模拟效果，提升游戏体验。

4

别忘了可以考虑硬件加速！GridMix中的很多计算都可以并行化，比如线性组合、插值等。可以利用GPU的并行计算能力，加速GridMix的运行速度。另外，也可以探索一些专门的硬件加速器，比如FPGA等，进一步提高计算效率。

5

我认为在气象预测领域也能大展拳脚。气象数据往往非常稀疏，尤其是在海洋和偏远地区。而且，我们需要根据过去的数据来预测未来的天气变化趋势。GridMix在稀疏空间域和时间外推方面的优势，正好能解决气象预测中的这些难题。

6

GridMix在稀疏数据和外推方面的优势，让我想到了医学图像重建。很多时候，我们获取的医学图像数据是不完整的，而且希望通过现有数据预测未来的病情发展。GridMix的这种特性，应该很适合应用于医学图像的超分辨率重建、疾病预测等领域。

7

关于网格基函数的选择，这确实是个关键问题。从谱方法的角度来看，基函数应该尽可能地覆盖解空间的特征。一般来说，可以选择一些常用的正交基函数，比如傅里叶基、小波基或者多项式基。具体选择哪个，可能需要根据PDE的特点和问题的具体情况来尝试。不同的基函数会影响模型对不同频率成分的捕捉能力，从而影响最终结果的精度和收敛速度。

8

我觉得可以借鉴一些模型压缩的方法，比如剪枝、量化等。剪枝可以去除一些不重要的基函数，减少计算量；量化可以降低参数的存储空间和计算精度，提高计算效率。另外，可以探索一些更高效的插值方法，比如使用GPU加速的双线性插值算法。

9

我理解的选择基函数有点像调音，不同的PDE问题就像不同的乐器，需要选择特定频率或者音色的基函数才能达到最好的效果。如果对问题先验知识比较了解，可以选择更贴合的基函数，否则可能需要通过实验来确定。另外，基函数的数量也会影响模型的表达能力，需要根据计算资源和精度要求进行权衡。

10

可以把选择基函数想象成选择滤镜。不同的滤镜能突出图像的不同特征。对于PDE求解，如果我们知道解的一些先验信息，比如解的平滑性、周期性等，就可以选择相应的基函数作为“滤镜”，让模型更容易学到这些特征。例如，对于具有周期性的解，傅里叶基可能是不错的选择。