2024大数据挑战赛全国五强团队的获奖经验分享

“会萤的”团队分享了在2024大数据挑战赛获奖的经验,强调数据处理和模型优化的重要性。

原文标题:2024大数据挑战赛全国六强团队获奖经验+ppt分享(二)

原文作者:数据派THU

冷月清谈:

在2024大数据挑战赛中,名为“会萤的”团队从上海第二工业大学获得了全国第五名的佳绩。他们的经验分享主要集中在数据处理与特征工程、模型设计与优化以及模型集成等方面。在数据处理阶段,通过提取气象数据特征、增加统计量来提升模型的泛化能力,使得模型在复杂时间序列的数据处理中表现更加稳定。模型设计上,他们利用了改进的iTransformer,并引入LSTM提高了时间序列的适应能力。为了提升长期预测的准确性,团队采用了模型集成的方法,通过加权平均短期预测结果来减少长期预测的不稳定性。整场比赛,让团队深刻意识到数据预处理的重要性、团队合作的价值以及跨领域交流的必要性。这次参赛经历不仅提升了他们的深度学习能力,也开阔了视野,为未来的项目积累了宝贵经验。

怜星夜思:

1、在数据处理阶段,特征工程具体包括哪些方面?
2、团队在模型设计与优化中引入LSTM的原因是什么?
3、对于长期预测,你认为还有哪些提升策略?

原文内容





团队名称

会萤的

团队成员

周文骞(上海第二工业大学)

陈   凯(上海第二工业大学)

潘瑞珺(上海第二工业大学)

团队名次

全国第五名


赛题描述说明介绍



关注微信公众号“数据派THU”,后台回复“20240615”,即可获取“赛题描述”




参赛分享与收获





1. 数据处理与特征工程


针对原始数据的处理至关重要。通过对站点周围的气象数据进行特征提取,包括矢量风速的合成、差分和时间序列的引入,有效提升了模型捕捉局部气象特征的能力。增加了特征维度中的均值和方差等统计量,增强了模型对数据模式的泛化能力。这使得模型在面对复杂的时间序列时表现更加稳定。


2. 模型设计与优化


使用 iTransformer,并对其进行改进,去除decoder部分,替换为RNN系列模型,强化了模型对局部时序信息的捕捉能力。在长短期时间序列的处理上,该结构能有效平衡复杂性和预测性能。LSTM被引入作为decoder,通过逐步解码时间序列,提升了模型在面对复杂变化时的适应能力,减少了预测的波动性。该方法证明了在应对长时间预测中的有效性。


3. 模型集成


比赛中,模型在长期预测时表现不如短期预测准确。为此,通过将短期(24小时)的预测结果复制并加权平均,融合为72小时的预测结果。这样做有效减少了长期预测的不稳定性,提高了长时间跨度内的准确性。


4. 总结


这次参赛经历充满了挑战与收获。面对庞大的气象数据和复杂的任务目标,团队深刻意识到数据预处理和分析在整个过程中的关键作用。尽管过程中遇到了许多难题,但通过不断的实验和调整,逐步掌握了如何更好地处理时间序列数据,并探索出了一些提升预测精度的有效策略。在模型设计和优化的过程中,团队始终保持开放的心态,不断尝试新思路,结合讨论和反馈,逐渐优化了模型的整体性能。同时,随着项目的推进,我们意识到在面对复杂问题时,团队合作和跨领域的交流尤为重要,每个人的不同视角都为问题的解决提供了新的可能。整个参赛过程不仅提升了我们在大数据和深度学习方面的能力,也帮助我们更加系统地思考问题。通过与其他团队的交流,我们开阔了视野,学到了很多有价值的经验,这为未来类似的项目奠定了坚实的基础。





决赛答辩ppt分享




编辑:文婧
校对:林亦霖



关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。


新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU

特征工程通常包括特征选择、特征提取和特征构建。比如针对气象数据,可以提取气温、湿度、风速等特征,还可以做时间序列差分以降低数据的非平稳性。

我觉得特征工程的关键是要理解数据背后的含义,试试不同的组合,比如对时间特征做周期性分析。也可以考虑一些领域知识,把业务需求转化为特征。

在特征提取时,像统计量(均值、方差)就是很好的切入点,同时使用一些降维技术,如PCA也能够有效减少特征数量,提高模型的性能。

除了加权平均的方式,还可以考虑模型融合,多模型投票或堆叠以增加预测的稳定性,往往能有效提升最终结果的准确性。

使用滚动预测的方法,通过不断更新模型,让其时刻适应最新的数据变化,这样也能提高长期预测的准确性。

或者可以尝试一些时间序列专用模型,如ARIMA、Prophet等,它们在处理长期趋势和季节性上有很大优势。是值得测试的方案。

LSTM能够有效捕捉时间序列中的长期依赖性,解决了传统RNN在长序列上训练不稳定的问题。这对于气象数据这种随时间变化的序列特别重要。

因为气象数据时序性强,很多因素需要考虑,LSTM的工作机制可以帮助模型保存过去的信息,让预测更加准确。很值得研究的一个方向!

在面对复杂的时间序列数据时,使用RNN系列模型,尤其是LSTM,可以调优其结构以适应具体的业务场景,减少预测的波动性,一定程度上提升模型性能。