CMU博士论文研究图表示学习，探索节点/图级别表示、生成模型及异常检测应用，旨在构建图基础模型。
原文标题：【CMU博士论文】朝着更强大的图表示学习迈进
原文作者：数据派THU
冷月清谈：
本文解读了CMU一篇关于图表示学习的博士论文，该论文旨在构建更强大的图表示学习方法，最终目标是实现图的基础模型。论文的研究内容涵盖了节点级别和图级别表示学习，并提出了相应的解决方案。
在节点级别表示学习中，论文探讨了图卷积网络（GCNs）与主成分分析（PCA）的关系，并提出了解决“表示过度平滑”问题的方法。研究发现，图正则化PCA的解与单个图卷积层的公式一致，这有助于更深入地理解GCNs的优势。
在图级别表示学习中，论文针对图神经网络（GNNs）表达能力的局限性，提出了两种增强方法：使用有根子图提高局部结构意识，以及探索无序的高阶交互以提升表达能力和可扩展性。
在图生成模型方面，论文针对图生成中由于无序性带来的挑战，提出了一种基于部分顺序的扩散模型。该模型结合了自回归方法和扩散模型，解决了图生成中的顺序问题，并为图上的生成预训练奠定了基础。
最后，论文探讨了图表示学习在图级别异常检测（GLAD）中的应用。论文建立了一个基于图神经网络的强基准模型“OCGIN”，并针对“性能反转”问题进行了研究。此外，还设计了一个特定模型用于检测可疑会计交易。
在节点级别表示学习中，论文探讨了图卷积网络（GCNs）与主成分分析（PCA）的关系，并提出了解决“表示过度平滑”问题的方法。研究发现，图正则化PCA的解与单个图卷积层的公式一致，这有助于更深入地理解GCNs的优势。
在图级别表示学习中，论文针对图神经网络（GNNs）表达能力的局限性，提出了两种增强方法：使用有根子图提高局部结构意识，以及探索无序的高阶交互以提升表达能力和可扩展性。
在图生成模型方面，论文针对图生成中由于无序性带来的挑战，提出了一种基于部分顺序的扩散模型。该模型结合了自回归方法和扩散模型，解决了图生成中的顺序问题，并为图上的生成预训练奠定了基础。
最后，论文探讨了图表示学习在图级别异常检测（GLAD）中的应用。论文建立了一个基于图神经网络的强基准模型“OCGIN”，并针对“性能反转”问题进行了研究。此外，还设计了一个特定模型用于检测可疑会计交易。
怜星夜思：
1、论文中提到的“表示过度平滑”问题具体指什么？在实际应用中，如何缓解或避免这个问题？
2、论文中提到的基于部分顺序的扩散模型，是如何将自回归方法与扩散模型结合的？这种结合有什么优势？
3、论文中提到的“OCGIN”模型有哪些特点？在图级别异常检测任务中，它与其他非图神经网络基准模型相比，性能如何？
2、论文中提到的基于部分顺序的扩散模型，是如何将自回归方法与扩散模型结合的？这种结合有什么优势？
3、论文中提到的“OCGIN”模型有哪些特点？在图级别异常检测任务中，它与其他非图神经网络基准模型相比，性能如何？
原文内容
来源：专知本文约1000字，建议阅读5分钟
本文在节点级别和图级别表示学习方面进行了研究，并提出了朝着更强大的表示学习迈进的解决方案，目标是实现图的基础模型。
图在现实世界中广泛应用于表示关系，许多数据自然可以通过图来表示，如社交网络、蛋白质结构、分子和交易等。与具有特定自然顺序的图像和文本不同，图是无序的，并且具有排列不变性，这为学习良好的表示带来了显著的困难。图神经网络（GNNs）被提出并不断改进，用于图表示学习。本文在节点级别和图级别表示学习方面进行了研究，并提出了朝着更强大的表示学习迈进的解决方案，目标是实现图的基础模型。
在第一部分，我专注于节点级别的图表示学习，并解决一个关键问题——“表示过度平滑”。为了进一步理解图卷积网络（GCNs）的优势，我们探讨了神经网络与主成分分析（PCA）之间的关系。我们的研究表明，图正则化PCA的解与单个图卷积层的公式是相一致的。
在第二部分，我深入研究了图级别的表示学习。与多层感知机（MLPs）不同，MLPs是表格数据的通用函数近似器，而图神经网络（GNNs）具有有限的表达能力。我探讨了两种方法来增强GNN的表达能力：使用有根子图来提高局部结构意识；以及探索无序的高阶交互，以实现与有序交互相当的表达能力，同时在实际应用中获得更好的可扩展性。
在第三部分，我专注于图的生成模型。与需要标签来学习任务依赖表示的判别模型不同，生成模型在无监督表示学习方面表现出色。然而，图生成由于其无序性而面临独特的挑战，这要求一种与任何特定顺序无关的方法。为了解决这个问题，我首先研究了应用于类别数据的扩散模型，并提出简化并统一现有的离散时间和连续时间离散扩散。基于统一的离散扩散，我提出了一种基于部分顺序的扩散模型，将自回归方法与扩散模型相结合，用于图生成。该方法为图上的生成预训练奠定了基础。
在最后一部分，我探索了图表示学习的应用。具体而言，我研究了图级别异常检测（GLAD），该方法具有许多重要应用。由于GLAD研究较少，我建立了一个基于图神经网络的强基准模型“OCGIN”，一个包含数据集和许多非图神经网络基准的评估平台。我还发现并研究了一个名为“性能反转”的问题。随后，我设计了一个特定模型，用于检测普华永道的可疑会计交易，该任务需要处理带属性的图数据。
