STFAN模型融合时空与频域注意力，实验验证在PeMS数据集上显著提升中长期交通流量预测精度，为智能交通提供新思路。
原文标题：独家丨交通预测中时空与频域注意力的统一（下）
原文作者：数据派THU
冷月清谈：
研究人员在PeMS04和PeMS08这两个公开数据集上进行了实验，并与XGBoost、FC-LSTM、DCRNN、STGCN等主流基准模型进行了性能对比。结果显示，STFAN模型在预测中长期（30分钟至60分钟）交通流量方面展现出显著优越性，其MAE、MAPE和RMSE等多项评估指标均优于所有基准模型，预测精度在不同数据集上均有明显提升。例如，在60分钟预测周期下，STFAN在PeMS04数据集上的MAE降低1.06倍，MAPE降低1.1倍，RMSE降低1.03倍。
然而，在15分钟以下的超短期预测中，STFAN模型在MAPE上表现较好，但MAE和RMSE略有上升。文章分析这可能因为在极短时间段内，交通流量的周期性和振幅特性不明显，导致频域分析的局限性。为探究各模块贡献，研究进行了消融实验，证实空间、时间及频率注意力层对模型预测性能均至关重要，移除任何一个模块都会导致准确率下降，从而验证了STFAN模型架构的有效性。
此外，研究还通过对比实验评估了不同注意力机制（软注意力、硬注意力、自注意力）及注意力头数量对模型性能的影响，发现自注意力机制在所有测试周期均表现最佳，且随着注意力头数量增加，模型预测准确率持续提升。超参数分析则确定了最优的学习率和批量大小配置。
文章强调，STFAN模型的贡献在于其多维方法显著提升了对时空序列数据动态变化的敏感性，增强了识别和整合不同维度特征的能力。展望未来，研究建议进一步探索小波变换等多种频域变换方法，以克服傅里叶变换在处理复杂非平稳交通数据时的潜在局限性，并提升模型在更广阔场景中的应用价值。
怜星夜思：
2、文章说未来会探索小波变换来做频域分析。和现在用的傅里叶变换比，小波变换在处理交通这种复杂非平稳数据时，有哪些潜在的优势？是不是所有类型的交通数据都适合用小波变换呢？
3、STFAN在中长期预测上效果很好，听起来很给力！但如果真的要把它部署到城市的智能交通系统里，你觉得可能会遇到哪些实际的挑战？比如数据实时性、计算资源、或者和现有系统的融合什么的？
原文内容
本文约7000字，建议阅读14分钟本文通过实验验证 STFAN 性能，证实其交通流量预测优越性。
在上一篇中，我们完成了时空频注意力网络（STFAN）的理论构建，系统介绍了模型的层级结构与核心模块设计，为交通流预测提供了一套融合空间、时间、频率三维特征的全新解决方案。本篇将聚焦实验环节，依托 PeMS04 和 PeMS08 两个公开数据集，通过与主流基准模型的对比，以及消融实验的验证，充分论证 STFAN 模型的优越性，并结合实验结果总结模型的优势与未来优化方向。
实验
本节展示我们提出的交通流预测 STFAN 模型的实验结果，包括与近期多个基准模型的性能对比分析，以及通过消融实验评估网络架构中空间、时间及频率层的贡献。
数据集
该数据集源自加州交通局性能测量系统（PeMS），该系统包含超过44,681个检测器，覆盖美国加利福尼亚州主要大都市区的高速公路。每5分钟的交通数据会被汇总成一个时间切片。因此，每小时包含12个交通信息时间切片，而每天则包含288个时间切片。每个检测器对应图网络中的一个节点。本文使用的数据集为PeMS04和PeMS08，包含流量、车速和占用率三个交通特征。表1提供了数据集的具体信息。
1.PeMS04：该数据集涵盖旧金山湾区29条高速公路上的3,848个交通检测器，提供2018年1月1日至2018年2月28日期间的交通数据。
2.PeMS08：该数据集包含2016年7月1日至8月31日期间圣贝纳迪诺市的交通数据，涵盖八条道路的1,979个交通检测器。在 STFAN 与其他模型的对比研究中，选取的基准模型为近年来的以下模型：
-
XGBoost（2016）：在回归任务中广泛应用的经典梯度提升树方法。
-
FC- LSTM（2015）：长短期记忆网络通过全连接层增强原始数据信息。
-
DCRNN（2018）：扩散卷积循环神经网络以编码器-解码器的方式，将基于距离的图上的双向随机游走与门控循环单元（GRU）相结合。
-
STGCN（2018）：时空图卷积网络通过图卷积和因果卷积来获取空间与时间依赖关系。
表1数据集详情。
-
Graph WaveNet（2019）：该框架将自适应邻接矩阵整合至图卷积中，并采用一维扩张卷积。
-
STSGCN（2020）：时空同步图卷积网络采用局部时空子图模块，独立建模局部相关性。
-
AGCRN（2020）： 自适应图卷积循环网络通过分解图卷积层的邻接矩阵和参数来实现。
-
STFGNN（2021）：时空融合图神经网络通过学习时间序列间的相似性来构建时间图。
-
K- STTN（2023）：该模型是一种知识驱动的时空变换器网络，通过整合格林希尔兹交通模型来捕捉时空依赖性，旨在同步预测交通流量与车速。
-
ST-AE（2023）：时空自编码器是一种专门设计的自编码器，用于从交通流量数据中学习内在模式，并将当前交通流量信息编码为低维表示。
实验设置
我们基于PyTorch深度学习框架实现 STFAN 模型，并采用Python 3.6作为运行环境。实验设置如下：PeMS04数据集和PeMS08数据集分别包含59天和62天的交通数据。训练集、验证集和测试集按6：2：2的比例划分。输入时间步长设为12，预测步长同样设为12。在模型训练阶段，批量大小设为16，训练轮数设为120，头数设为8，学习率设为0.001。在数据集实验中，堆叠的时空变换器模块数量设为3，切比雪夫多项式参数k设为3，多头注意力机制的头数设为3。模型训练采用AdamW优化器，损失函数采用真实值与预测值之间的均方误差（MSE）。
在本研究中，我们采用广泛认可的指标来评估模型的预测准确性，即(i)平均绝对误差（MAE），（ii）平均绝对百分比误差（MAPE），以及（iii）均方根误差（RMSE），这些误差通过以下等式计算得出：
比较分析
本研究采用PeMS04和PeMS08数据集的交通流量数据作为输入，通过所提出的 STFAN 模型预测未来时间点的交通流量。这些数据集同时作为前述各类基准模型的输入，用于生成其预测结果。随后将STFAN 模型的预测精度与基准模型进行对比。表2展示了各模型在不同评估指标下，针对一小时预测窗口的实际值与预测值的对比情况。
对表2所列模型在PeMS04和PeMS08数据集上的预测结果进行对比分析发现，STFAN 模型在预测30分钟以上交通流量时展现出更优的准确性。具体而言，在30分钟预测范围内， STFAN 模型在两个数据集中的表现始终优于所有基准模型。在PeMS04数据集中， STFAN 模型与表现最佳的基线模型相比，均值绝对误差（MAE）降低了1.02倍，平均绝对 MAPE（MAPE） 降低了1.05倍，平均绝对RMSE（RMSE）降低了1.02 倍。类似地，在PeMS08 数据集中， STFAN 模型的MAE、MAPE和RMSE分别降低了1.02倍、1.03倍和1.04倍。
在60分钟预测周期下， STFAN 模型持续优于基线模型：在PeMS04数据集上，其平均绝对误差（MAE）降低1.06倍，平均绝对MAPE（MAPE）降低1. 1倍，平均绝对RMSE（RMSE）降低1.03倍；在PeMS08数据集上，分别降低1.08倍、1. 15倍和1.04倍。
在15分钟以下的短期交通流量预测中， STFAN 模型在 MAPE 方面表现相对更优，其PeMS04和PeMS08数据集上的预测精度分别提升了1.03倍和1.01倍。然而，MAE和 RMSE 值在PeMS04数据集上略有上升（1.01倍），PeMS08数据集上MAE略微增加（1.002倍），而 RMSE 则出现小幅下降（1.009倍）。短期预测性能的不足可能源于在如此短的时间框架内，难以准确表达交通流量在频域中的周期性和振幅特性——因为交通流量的动态变化在15分钟等短暂时段内可能无法形成明显的周期性模式。这种局限性因短期交通数据的不完整性而加剧，导致从时域到频域转换过程中误差可能增加。为直观展示这些结果，我们针对上述指标制作了柱状图，如图5所示，清晰呈现了新模型在各项评估标准下的分布情况。
表2. 不同模型的交通流量预测结果。显著性值以粗体显示。
消融研究
为评估空间、时间及频率模块对交通学习的影响，我们通过消融实验进行了预测分析。我们依次移除空间注意力模块(S)、时间注意力层(T)和频率注意力层(F)，并将网络对下一小时的预测结果与完整架构模型进行对比。表3展示了最终预测结果，该结果在PeMS08数据集中测试了移除不同模块后网络对15分钟、30分钟和60分钟预测结果的准确性。各时间间隔的评估指标均基于所有节点的实际数据与预测数据计算得出。为直观呈现这些结果，我们在图6中绘制了条形图展示各评估指标的分布情况。从图表中可以看出，每个模块的缺失确实会影响各时间段的预测准确性。具体而言，移除空间注意力模块（T+F）后，不同时间段的平均预测准确率分别提升了1.05 、1. 13和1.27 ，分别；缺失频率注意力层（S+T）使平均预测准确率分别降低1.01 、1.02和1.02；缺失时间注意力层（S+F）使平均预测准确率分别增加1.06 、1.07和1.08 。消融实验进一步验证了空间、时间和频率特征对未来交通特征预测的影响，并证实了 STFAN 模型的有效性。
此外，我们对注意力机制及其头数量进行了深入分析，并通过对比实验评估不同模型的预测效果差异。具体而言，我们选取了软注意力和硬注意力机制，与模型中采用的自注意力机制进行对比。在自注意力机制的头选择上，我们测试了2头、4头以及模型选用的8头配置。通过在PeMS08数据集上进行不同周期的预测实验，如表4所示，自注意力机制在所有测试周期均展现出最佳预测效果，硬注意力机制紧随其后。值得注意的是，随着注意力头数量的增加，模型预测准确率持续提升。这些发现进一步验证了我们构建模型的有效性和可靠性。为评估不同超参数设置对模型性能的影响，我们系统分析了两个关键参数：学习率和批量大小。在本次分析中，我们测试了学习率（0.01、0.001和0.0001）与批量大小（16和32）的组合。经过对预测结果的全面比较及深入分析，我们发现当学习率为0.001且批量大小为16时，该模型在当前数据集上达到了最佳学习性能。
结论
本研究开发了时空-频率注意力网络（STFAN），用于交通流量的时空预测。通过将交通流量的时间特征分解为时域和频域， STFAN 能够更全面地分析交通模式。此外，我们还整合了
图5 在PeMS04和PeMS08数据集上，针对15分钟、30分钟和60分钟预测时段，对比分析了所提出的 STFAN 模型与基准方法的交通流量预测指标。
该交通网络空间拓扑结构采用注意力机制，能够跨空间、时间及频率维度学习隐藏状态，从而实现对交通动态从历史到未来时间点的深度建模。这种多维方法显著提升了模型对时空序列数据动态变化的敏感度，增强了其识别和整合不同维度特征的能力，为交通分析提供了更丰富精准的框架。为评估模型性能，我们通过对比多个基准模型，在两个真实数据集上进行了实验验证。
表3 基于PeMS08数据集的消融研究结果。S+T：包含空间注意力模块和时间注意力层的模型。S+F：包含空间注意力模块和频率注意力层的模型。T+F：包含时间注意力层和频率注意力层的模型。S+ T+F：包含所有注意力层的模型
图6 基于PeMS08数据集的消融研究结果，对比了移除不同模块的 STFAN 在15分钟、30分钟和60分钟预测间隔下的表现。
研究结果表明，我们的框架在这些基准测试中表现优异，尤其在中长期预测方面。这凸显了该模型揭示内在信息丰富隐藏状态的能力，为交通流预测（特别是在频域分析方面）提供了新的视角。
本研究选择傅里叶变换进行频率分析，因其具有操作简便、结果可解释性强及计算效率高等优势，特别适用于大规模数据集的初步探索性分析与处理。傅里叶变换在本方法中的有效性已得到验证。
表4 不同超参数设置对PeMS08数据集预测结果的影响。
通过与基准模型的详细对比分析，我们验证了该方法的有效性。不过，我们注意到频域变换方法的多样性，特别是小波变换在交通数据频域分析中展现出的巨大潜力。未来研究可重点探索合适的小波基函数和尺度函数的选择，因为这些参数会显著影响小波变换的性能表现。此外，研究时间注意力层与小波变换的兼容性——特别是其对时间信息保留能力的影响——也是极具前景的方向。通过这些多维度的探索，不仅能推动交通预测领域的发展，还能提升基于频率的方法在复杂非平稳数据集中的应用价值。
数据可用性
支持本研究结果的交通流量数据已提供在加州交通局绩效测量系统（PeMS）中，网址为http://pems. dot.ca.gov。
参考文献
1. Mori ，U. ，Mendiburu ，A. ，Alvarez ，M. & Lozano ，J. A. 高级旅行者信息系统中旅行时间估算与预测的综述.Transp. A Transp. Sci.11 ，119-157（2015）.
2. Ei Leen ，M. W. ，Jafry ，N. H. A. ，Salleh ，N. M. ，Hwang ，H. & Jalil ，N. A. 利用机器学习缓解智能可持续城市交通拥堵：综述。见国际计算科学及其应用会议 ，321-331（Springer ，2023年）。
3. Fang, X. 等人. Constgat:百度地图旅行时间估算的上下文时空图注意力网络. 第26届ACM SIGKDD 国际知识发现与数据挖掘会议论文集,2697-2705(2020).
4. Nagy ，A. M. & Simon ，V. 智慧城市交通预测研究综述.Pervas. Mob. Comput.50 ，148-163（2018）.
5. Barros ，J. ，Araujo ，M. & Rossetti ，R. J. 短期实时交通预测方法：综述。2015年智能交通系统模型与技术国际会议（MT-ITS），132-139（IEEE ，2015）。
6. Yuan ，H. & Li ，G. 交通预测综述：从时空数据到智能交通。数据科学与工程6 ，63-85（2021）.
7. Fei-Fei ，X. ，Zhao-Cheng ，H. & Zhi-Ren ，S. 交通管理措施对城市网络微观基本图的影响. 交通系统工程与信息技术杂志13 ，185（2013）.
8. 徐X.-Y. 、刘J. 、李H.-Y.与胡J.-Q. 基于排队论的地铁站容量分析. 交通研究C辑：应急技术38卷，28-43页（2014）.
9. Mrad ，S. & Mraihi ，R. 智能交通模型驱动与数据驱动预测方法综述。载于数据分析与计算智能：新模型、算法与应用，159-183页（2023年）。
10. Vlahogianni ，E. I. 运输大数据的计算智能与优化：挑战与机遇 。见《工程与应用科学优化：纪念MG Karlaftis教授》，107-128页（2015年）。
11. Garg ，T. & Kaur ，G. 智能交通系统系统综述. 计算与认知工程杂志2 ，175-188（2023）.
12. Tedjopurnomo ，D. A. ，Bao ，Z. ，Zheng ，B. ，Choudhury ，F. M. & Qin ，A. K. 现代深度神经网络在交通预测中的应用综述：趋势、方法与挑战.IEEE Trans. Knowl. Data Eng.34 ，1544-1561（2020）.
13. 江，W. & 罗，J. 交通预测的图神经网络：综述。专家系统应用207 ，117921（2022）。
14. Bui ，K.-H.N. ，Cho ，J. & Yi ，H. 交通预测的时空图神经网络： 概述与开放研究问题 。 应用智能 52 ，2763-2774
（2022）.
15. 李Y 、余R、沙 哈 比C 与刘Y. 扩散卷积循环神经 网络： 数据驱动 的交通预测 。arXiv 预 印本arXiv：1707.01926 （2017）。
16. Seo ，Y. ，Defferrard ，M. ，Vandergheynst ，P. & Bresson ，X. 结构化序列建模与图卷积循环网络. 神经信息处理：第25届国际会议，ICONIP 2018 ，暹粒，柬埔寨，2018年12月13-16 日，会议论文集，第I部分25 ，362-373（Springer ， 2018）.
17. Xu, M. 等人.交通流量预测的时空变换器网络.arXiv预印本arXiv:2001.02908(2020).
18. Lan, S. 等人 DSTGNN :交通流量预测的动态时空感知图神经网络.在国际机器学习会议上, 11906-11917(PMLR ,2022年).
19. Jiang ，J. ，Han ，C. ，Zhao ，W. X. & Wang ，J. PDFormer： 基于传播延迟感知的动态长程交通流预测模型。 收录于《美国人工智能协会会议论文集》第37卷，4365-4373页（2023年）。
20. Chen, J. 等人.基于交通流矩阵的注意力机制图神经网络用于交通流预测. 信息融合104, 102146(2024).
21. Jonathan ，D. C. & Kung-Sik ，C. 《时间序列分析及其在r中的应用》（2008年）。
22. Feng ，A. & Tassiulas ，L. 用于交通预测的自适应图时空变换器网络。收录于第31届ACM信息与知识管理国际会议论文集 ，3933-3937页（2022年）。
23. 李S 、葛L 、林Y 、曾B. 自适应时空融合图卷积网络在交通流量预测中的应用.2022国际神经网络联合会议（IJCNN）1-8 （IEEE ，2022）.
24. Han, L. 等人.交通速度预测的动态多维时空深度学习.收录于第27届ACM SIGKDD 知识发现与数据挖掘会议论文集,第547-555页(2021年).
25. 余斌、尹浩、朱志. 空时图卷积网络：交通预测的深度学习框架. arXiv预印本arXiv：1709.04875（2017）。
26. Zhao, L. et al. T- GCN :一种用于交通预测的时间图卷积网络.IEEE智能交通系统汇刊21,3848-3858(2019).
27. 郭思、林艳、冯娜、宋晨、万浩. 基于注意力机制的时空图卷积网络在交通流预测中的应用.AAAI人工智能会议论文集 ，第33卷，922-929页（2019）.
28. 方Y 、赵F 、秦Y 、罗H 、王C. 全动态学习：基于局部感知时空联合变换器的交通预测.IEEE智能交通系统汇刊23卷， 23433-23446页（2022）.
29. Fang, Y. 等人.时频掩蔽自编码器用于时间序列异常检测.发表于2024年IEEE第40届国际数据工程会议(ICDE), 1228-1241页(IEEE,2024年).
30. 杨Z 、严W 、黄X 、梅L. 时序预测的自适应时频网络.IEEE知识数据工程汇刊34卷，1576-1587页（2020）.
31. Fang, Y. 等人在2023年IEEE第39届国际数据工程会议(ICDE)(第517-529页,IEEE,2023年)上发表的论文《时空交汇的小波分析:基于高效谱图注意力网络的交通预测解耦》.
32. Liao, L. 等人.一种改进的动态切比雪夫图卷积网络用于具有时空注意力的交通流预测. 应用智能52, 16104-16116(2022).
33. Sundararajan ，D.《离散傅里叶变换：理论、算法与应用》（世界科学出版社，2001年）。
34. Chen ，T. & Guestrin ，C. XGBoost： 一种可扩展的树提升系统。在第22届ACM SIGKDD 国际知识发现与数据挖掘会议论文集，785-794（2016）。
35. Shi, X. 等. 卷积 LSTM 网络:一种用于降水预报的机器学习方法. 先进神经信息处理系统28(2015).
36. 吴Z 、潘S 、龙G 、江J 、张C. 深度时空图建模的图波网. 在第二十八届国际人工智能联合会议论文集IJCAI-19 ，1907- 1913（2019）。
37. Song ，C. ，Lin ，Y. ，Guo ，S. & Wan ，H. 空时同步图卷积网络：一种新的时空网络数据预测框架。见《AAAI人工智能会议论文集》，第34卷，914-921页（2020年）。
38. Bai ，L. ，Yao ，L. ，Li ，C. ，Wang ，X. & Wang ，C. 用于交通预测的自适应图卷积循环网络.Adv. Neural Inf. Process. Syst.33 ，17804-17815（2020）.
39. 李明、朱志. 空时融合图神经网络在交通流预测中的应用.AAAI人工智能会议论文集 ，第35卷，4189-4196页（2021）.
40. 万Y 、李J 、郭Q 、彭Y 、史B. K- STTN ：知识诱导的时空变换器网络在交通预测中的应用。收录于2023 IEEE国际网络智能与智能代理技术会议（WI- IAT），563-568页（IEEE ，2023年）。
41. Liu, M. 等人.交通流量预测的时空自编码器.IEEE智能交通系统汇刊24,5516-5526(2023).
致谢
本研究获得以下资助：中国国家自然科学基金委员会/香港研究资助局（RGC）联合研究计划（项目编号：62261160387 ， N_HKBU222 /22），以及江苏省优秀博士后人才资助计划（项目编号：2024ZB 709）对郭琦的资助。
作者贡献
Q.G.撰写了主要手稿的文本，完成了大部分建模与实验工作，并制作了图表。Q.T.对文章的语言描述进行了校正，并对模型进行了测试。J.T.审阅了文章。BY.S.审阅了文章，并提供了实验硬件及资金支持。
