基于图神经网络的时间序列分析研究综述

本综述全面回顾了图神经网络在时间序列分析中的应用,涵盖预测、分类、异常检测和插值等任务。

原文标题:综述 | 基于图神经网络的时间序列模型

原文作者:数据派THU

冷月清谈:

本文全面回顾了图神经网络(GNN)在时间序列分析中的应用,重点讨论了四个基本方面:预测、分类、异常检测和插值。随着数据处理技术的进步,时间序列数据已成为重要的数据类型,对其分析可以揭示数据中的隐含信息。GNN作为有效的工具,可建模时间和变量之间的复杂关系,适用于多种实际应用,包括交通、能源、医疗等领域。文章构建了系统的分类框架,从任务和方法论的角度对现有的研究进行梳理,指出了GNN4TS的最新进展与未来研究的方向,同时强调了其在多个领域中的应用潜力,称其为机器学习领域的重要参考资料。

怜星夜思:

1、GNN在时间序列中的优势体现在哪些方面?
2、除了时间序列,GNN还可以应用到哪些领域?
3、你认为未来GNN的发展方向是什么?

原文内容


本文约2400字,建议阅读5分钟
在文研究者对用于时间序列分析的图神经网络(GNN4TS)进行了全面的回顾,涵盖了四个基本方面:预测、分类、异常检测和插值。


时间序列是用于记录动态系统测量的主要数据类型,由物理传感器和在线过程(虚拟传感器)大量生成。因此,时间序列分析对于解锁可用数据中隐含的信息财富至关重要。随着图神经网络(GNNs)的最新进展,基于GNN的方法在时间序列分析中出现了激增。这些方法可以明确地建模时间间和变量间的关系,而传统的方法和其他基于深度神经网络的方法在这方面却难以做到。



在这篇综述中,研究者对用于时间序列分析的图神经网络(GNN4TS)进行了全面的回顾,涵盖了四个基本方面:预测、分类、异常检测和插值。研究者的目标是指导设计者和实践者理解、构建应用程序和推进GNN4TS的研究。



论文地址:https://arxiv.org/abs/2307.03759

论文源码:https://github.com/KimMeen/Awesome-GNN4TS


论文介绍

随着传感和数据处理技术的进步,时间序列数据急速增长,成为最普遍的数据类型之一。这些数据不仅提供了对过去趋势的洞察,还有助于预测、分类、异常检测和数据插补等任务。时间序列数据的复杂性在于它们涉及时间和变量之间的复杂相互作用以及变量之间的关系。图神经网络(GNNs)成为学习非欧几里得数据表示的强大工具,能够捕捉到多样而复杂的关系,为建模真实世界的时间序列数据铺平了道路。这种建模方法在许多实际应用领域广泛采用,涉及不同类型的时间序列数据,包括交通、按需服务、能源、医疗保健、经济以及其他领域。


该综述的思路结构如下图所示:


包括四个基本维度:预测、分类、异常检测和插补。



该综述首先从任务和方法论的角度对现有的工作进行分类和讨论,然后深入探讨了GNN4TS领域内的六个热门应用领域,并提出了几个潜在的未来研究方向。主要贡献总结如下:

  • 第一次对图神经网络在主流时间序列分析任务中的最新进展进行全面的综述。它涵盖了广泛的研究领域,并提供了对GNN4TS发展的整体视图;
  • 该综述提出了一个统一的框架,从任务和方法论的角度对现有的工作进行结构化分类;
  • 该综述进行了全面的回顾,不仅涵盖了领域的广度,还深入研究了各个研究的细节,并进行了细致的分类和讨论,为读者提供了对GNN4TS领域中最新技术的了解;
  • 该综述也讨论了GNN4TS在各个领域中不断扩大的应用,突出了它在多个领域中的多样性和未来增长的潜力;
  • 该综述为GNN4TS领域的未来工作提供了洞察和建议。


分类法

在本节中,研究者介绍了时间序列分析中GNN的全面面向任务分类体系。如下图所示,其展示了一个基于任务的分类法,涵盖了时间序列分析中的主要任务和主流建模视角,并展示了GNN4TS的潜力,主要在时间序列预测、异常检测、插补和分类四个类别上展现。

接下来,该综述引入一个统一的GNN架构方法论框架,探讨如何对各种任务中的时间序列进行编码。根据该框架,所有体系结构都由一个类似的基于图的相似处理模块fθ和一个专门针对下游任务的第二个模块pϕ组成。


如上图所示,四种任务下的GNN4TS的框架。综述从如下三个方面系统地描述该框架(以STGNNs为例):

01 空间模块 

为了建模时间序列之间的依赖关系,STGNNs采用了静态图上GNNs的设计原则。这可以进一步分为三种类型:频谱GNNs、空间GNNs和两者的组合(即混合型)。频谱GNNs基于频谱图理论,使用图移位算子(如图拉普拉斯算子)来捕捉图频域中的节点关系。不同的是,空间GNNs通过直接设计局部化到每个节点邻域的滤波器来简化频谱GNNs。混合方法结合了频谱和空间方法的优点。

02 时间模块 

为了考虑时间序列中的时间依赖关系,STGNNs结合了时间模块,与空间模块协同工作来建模复杂的时空模式。时间依赖关系可以在时间域或频率域中表示。在第一类方法中,方法包括基于循环的方法(如RNNs)、基于卷积的方法(如TCNs)、基于注意力的方法(如Transformers)以及两者的组合(即混合型)。对于第二类方法,采用类似的技术,然后进行正交空间投影[28],如傅里叶变换。

03 模型架构 

为了整合这两个模块,现有的STGNNs在整体神经架构上可以是离散的或连续的。这两种类型可以进一步细分为两个子类:分解型和耦合型。在典型的分解型STGNN模型架构中,时间处理可以在空间处理之前或之后进行,无论是以离散的方式(如STGCN)还是以连续的方式(如STGODE)。相反,耦合模型架构指的是空间模块和时间模块交替进行的情况,例如DCRNN(离散)和MTGODE(连续)。其他作者将非常相关的分类称为时间-空间和时间与空间。


上图展示了一个一般的流程,展示了如何将STGNNs集成到时间序列分析中。给定一个时间序列数据集,首先使用数据处理模块对其进行处理,该模块执行必要的数据清洗和归一化任务,包括提取时间序列拓扑结构(即图结构)。随后,利用STGNNs获取时间序列表示,然后将其传递给不同的处理模块(即下游任务预测模块),执行各种分析任务,如预测和异常检测。

方法总结

01 基于GNN的预测模型

基于GNN的预测模型可以从多个角度分类和研究:从预测任务方面,包括多步预测和单步预测;从方法论方面,包括建模空间依赖关系、建模时间依赖关系、将空间和时间模块进行架构融合。



02 基于GNN的异常检测模型 

循环模型在对变量对之间的显式建模上存在不足,限制了其在检测复杂异常方面的有效性。图神经网络通过有效地捕捉变量对之间的时间和空间依赖关系,显示出解决这一问题的潜力。


03 基于GNN的分类模型 

将图神经网络应用于时间序列分类任务也是一项特别有趣的发展。通过将时间序列数据转化为图表示,可以利用图神经网络的强大能力来捕捉局部和全局的模式,并映射不同时间序列数据样本之间的复杂关系。


04 基于GNN的补全模型 

图神经网络为时间序列填补带来了新可能性,能更好地表征空间和时间依赖关系,适用于复杂场景。基于图神经网络的时间序列填补可分为样本内和样本外填补,也可分为确定性和概率性填补。


总结

该综述致力于填补图神经网络在时间序列分析(GNN4TS)领域的知识空白,通过全面回顾最新进展并建立统一分类体系,从任务和方法两个角度对现有研究进行梳理。作为首部综合性综述,其广泛覆盖了预测、分类、异常检测和填补等多个任务,深入剖析了GNN4TS领域的最新技术水平。此外,研究者还深入探讨了空间和时间依赖关系的建模,并对各类模型架构进行了细致分类。该综述强调了GNN4TS在各领域中的广泛应用,展示了其强大的多功能性和未来的发展潜力。对于对这一领域感兴趣的机器学习从业者和专家,本综述无疑是一份宝贵的参考资料。最后,该综述提出了未来研究的方向,为GNN4TS领域的进一步发展提供了启示和指导。


编辑:王菁

交通流量预测也是GNN的热门应用之一,能够通过学习路网的结构关系,从而实现更准确的交通预测模型。

我认为未来GNN会朝向自适应模型发展,能够根据具体应用自动调整结构与参数,以提高处理效率和准确性。

还有一个可能的发展方向是可解释性,随着更多行业对机器学习结果透明度的需求,GNN的可解释性研究将变得愈发重要。

至于应用领域,可能会扩展到金融风控和智能制造等新兴领域,那些传统方法难以解决的问题也许能通过GNN找出解决方案!

GNN能够有效捕捉时序数据中变量间的复杂关系,这一点是传统方法难以匹敌的,特别是在处理多维数据时,GNN的优势更为明显。

从算法的灵活性来看,GNN可以同时建模空间和时间依赖性,这对于复杂的时间序列数据尤为重要,能够提升预测精度和应用的广泛性。

而且,GNN还方便与其他先进的深度学习技术(像Transformer)结合使用,这种融合能够进一步提高模型的表现哦!

GNN在社交网络分析中有着杰出的应用,能够帮助分析用户之间的关系和互动,更好地理解社交行为。

另外,药物发现和基因序列分析等生物信息学领域也逐渐开始采用GNN,帮助研究复杂的生物关系。