清华Timer 3.0以生成式预测、原生Transformer架构和万亿级数据训练，引领时序大模型新高度。
原文标题：清华大学软件学院长聘副教授龙明盛：Timer 3.0 已经成为了“满血版”的时序大模型
原文作者：数据派THU
冷月清谈：
Timer 1.0通过数据治理和创新的纯解码器架构，实现了在少样本情况下的泛化能力和多任务适配。Timer 2.0则针对多变量时序数据的建模难题，引入了二维注意力机制，能够有效利用长期历史信息进行预测，突破了传统建模的局限，并在国际评测中取得领先。而Timer 3.0作为核心亮点，创新性地采用生成式建模方法，深度学习化ARIMA第一性原理，能够为同一输入生成多个可能的未来序列，有效应对工业场景中的不确定性。该版本实现了万亿级工业时序数据的训练突破，推理速度显著提升，功能覆盖全面，被誉为“满血版”时序大模型。文章也提到，未来时序大模型将继续通过IoTDB社区生态的协同创新，为工业数智化转型提供更强大的技术支持。
怜星夜思：
2、文章提到Timer 3.0训练集达到万亿级，历时一年半构建，充分印证了“数据资产的战略价值”。大家觉得，在真实的工业场景中，收集和治理如此大规模、高质量的时序数据，会遇到哪些具体的挑战？除了大模型本身，企业还需要在哪些方面投入，才能真正实现“越用越精准”的良性循环呢？
3、Timer 3.0已经被称为“满血版”时序大模型了，并且文章也展望了3.5和4.0版本。大家认为，在未来（比如接下来的3到5年），时序大模型在技术上还可能在哪些方面进行突破，带来哪些新的、甚至颠覆性的能力？
原文内容
本文约4000字，建议阅读5分钟通过 IoTDB 社区生态的协同创新，时序大模型技术必将取得更大突破，为工业数智化转型提供更强大的技术支撑。
7 月 5 日，2025 时序数据库技术创新大会在北京成功举办，清华大学软件学院长聘副教授龙明盛在大会上做主题报告《Timer 3.0：新一代生成式时序大模型》，深入剖析当前时间序列分析领域面临的核心挑战，系统阐述了时序大模型的技术演进趋势与行业痛点，并重点分享清华团队自主研发的时序大模型 Timer 从 1.0 至 3.0 版本的关键技术路线、创新突破点及在多项国际基准测试中的卓越表现。
以下为报告核心内容总结。
01 时序分析三大挑战
龙明盛教授首先系统地梳理了时序分析的技术挑战。他指出，在工业时序数据分析领域，核心需求聚焦于通过对历史数据的深度挖掘，构建预测式分析模型，以实现对设备复杂工况的精准预判，并最终支撑智能化运维决策体系的建立。
龙明盛教授认为，时间序列数据作为重要的工业资产，其分析面临三大核心难题：第一，数据变化呈现非线性特征，传统线性建模工具，如 ARIMA、Holt-Winters 存在理论局限，无法适配时序数据变化趋势。
第二，时序数据变化往往呈现非平稳性，传统分析方法需依赖大量人工规则，一事一议地进行拟合，大幅增加了建模复杂性，无法高效进行扩展。
第三，模型训练需要充足数据样本，在历史数据稀缺环境下，模型往往难以构建，而当数据规模扩大时，现有模型又存在容量天花板，出现性能饱和现象，无法有效支撑大规模时序分析。
02 时序大模型发展与研究历程
龙明盛教授系统回顾了清华团队在时序大模型领域的研究历程与技术探索。团队在过去五年中构建了完整的时序分析技术栈，从数据预处理发展至深度学习模型，最终形成涵盖 FFT 频域变换、数据分解、归一化等分析算子的自研时序大模型成果。
龙明盛教授将时序分析技术演进划分为三个阶段：传统统计分析（1.0）、深度学习模型（2.0）和时序大模型（3.0）。团队的时序大模型技术研发秉持孙家广院士“能用、管用、好用”的研发理念，始于服务北京冬奥会的实践场景。
2023 年下半年，清华团队在 2023 IoTDB 用户大会上发布了支持深度学习模型的 IoTDB 原生节点 AINode，同时启动了从深度学习模型到大模型的升级转型，希望进一步满足用户对开箱即用、一键微调分析模型的迫切需求。
尽管时序大模型概念兴起不足两年，但发展极为迅速，呈现出激烈竞争态势。龙明盛教授认为，时序大模型的核心价值在于实现“一对多”的泛化能力——通过海量数据训练获得通用时序理解能力，并能够灵活适配各类下游任务。这种“一库一模型”的架构理念，将彻底突破传统“单模型对应单任务”的局限，使时序大模型真正具备与数据库同等重要的基础设施地位，成为工业智能化转型的核心支撑。
同时，龙明盛教授深入剖析了时序大模型领域的技术发展现状。作为国际上最早开展时序大模型研究的团队之一，龙明盛教授指出，行业初期普遍存在简单移植语言模型架构的现象，而这种做法其实无法解决时序数据分析复杂性所带来的一系列根本问题。
主流科技企业在时序大模型方向的技术方案集中在解决时序数据分析中的特定技术难题：Google 采用分窗注意力建模，延续了语言模型的传统方法；Salesforce 的 MOIRAI 模型通过展平处理多变量数据，一定程度解决了时间序列多变量分析问题，但成效有限；亚马逊的 Chronos 模型直接将时间点类比为自然语言词汇，导致预测长度受限和资源消耗过大等问题。
龙明盛教授特别强调，时序数据与自然语言存在本质差异，如何在大模型中定义窗口和 Token 尚未得到彻底解决。即便引入混合专家模型，仍面临诸多技术瓶颈。
03 自研时序大模型 Timer 的探索之路
（1）Timer 1.0：实现少样本预测、多任务适配双能力
龙明盛教授指出，与自然语言数据相比，时序数据具有两个本质差异：其一，时序数据本质上是多变量序列而非单序列；其二，时序数据展现出更强的多样性，包括形态变化、采样频率差异和值域分布波动等 OOD（Out-of-Distribution）特性。这些特性导致直接应用 Transformer 等架构面临根本性困难。
针对这些问题，团队在自研时序大模型 Timer 1.0 中重点实施了两项关键创新：首先通过值域规范化与统计检验（如非平稳性检验、周期性检测）等方法对数据进行治理，构建适合大模型训练的数据集。龙明盛教授强调，如果将未经治理的原始工业数据直接用于训练，任何异常值和缺失值都可能突破模型数值精度上限，因此异构数据规范化对于保障大模型性能非常重要。
其次，团队创新性地采用纯解码器（Decoder-only）架构而非业界常见的纯编码器（Encoder-only）架构。许多研究团队倾向于选择纯编码器方案，主要是因为其架构网络更容易训练，对数据出现问题的容忍度也更强。然而，这种架构在可扩展性方面存在明显局限。
通过数据治理获得高质量数据训练集后，团队验证了解码器架构的独特优势，其能够支持多任务适配能力，可以同时处理预测、填补和异常检测等多样化时序分析任务。
通过上述两项技术创新，Timer 1.0 展现出优异的少样本泛化能力，只需要少量数据进行微调，就能达到较好的预测效果。更重要的是，该模型在时序领域验证了扩增定律，即随着参数规模和时间长度的增加，模型性能将持续获得提升。
（2）Timer 2.0：盘活历史数据，适配长上下文预测场景
在 Timer 2.0 的迭代阶段，研究团队发现，时间序列领域多变量均可能对目标变量效果产生较大影响，因此时序建模的关键在于正确构建单变量上下文关系及多变量间的影响关系。
而传统将多变量展平为单一序列的方法存在两个根本缺陷：一是导致序列过长难以训练，二是破坏了原始数据的时间顺序特性。
由此，团队针对 Timer 技术路线进行升级，将时序数据定义为涵盖时间、变量的二维数据，并基于这一认识创新性地提出了大模型二维注意力机制架构，在时间维度的注意力建模聚焦历史和未来的关系，而在变量维度的注意力建模聚焦不同变量之间的相关性。
相比经典 VAR 模型，这种二维建模方式突破了固定参数相关性的限制，实现了有注意力机制的自适应相关性建模。
通过实验数据对比（如左上角图）显示，传统建模方法中，当引入长期历史数据时，因为数据中的无关信息干扰，模型预测很可能效果不佳。然而，团队创新的自适应二维注意力机制成功解决了这一难题，实现了“历史信息越长，预测效果越好”的突破，大模型训练不用局限于近期数据，长期积累的历史数据价值得以充分释放。
Timer 2.0 的创新设计使其在国际权威评测中取得了领先成绩，验证了其二维注意力机制在时序建模中的优越性。
（3）Timer 3.0：生成式预测“深度思考”，万亿级数据规模训练
龙明盛教授重点介绍了 Timer 3.0 的创新设计与技术突破。该版本主要针对时序预测中的不确定性这一核心问题，突破了传统确定性模型的局限。龙明盛教授指出，时序数据本质上具有混沌特性，微小输入差异可能导致显著不同的输出结果。为此，Timer 3.0 创新性地采用了生成式建模方法，能够为同一输入生成多个可能的未来序列。
在 Timer 3.0 的研发过程中，团队对于过去的技术路线进行了系统反思，选择继承 Timer 1.0 和 2.0 已构建的连续性建模技术方案，继续使用注意力机制及解码器架构，避免时间序列离散化建模所可能导致的精度损失与泛化能力问题。
在新版本的技术方向上，团队回归时序分析的本质规律，运用了 ARIMA 第一性原理，即预测时间序列结果应受到过去时间点数据的影响，并应根据一系列多阶噪声对预测结果进行修正，从而得到最终的准确预测结果。
研究团队突破性地将这一经典原理深度学习化，采用解码器架构 Transformer 进行自回归建模，并引入生成式 Flow Model 处理噪声对预测结果的非线性影响，得到最终的 Timer 3.0 时序大模型架构。
Timer 3.0 的架构设计赋予其三大核心能力：首先，其生成式预测功能可针对单一输入生成多组可能结果，有效应对工业场景中的不确定性；其次，作为时序原生 Transformer 架构，它摒弃了传统离散化处理方法，从根本上避免了精度损失；第三，该模型开创性地实现了万亿级工业时序数据的训练突破，树立了行业新标杆。
龙明盛教授特别强调，构建 Timer 3.0 的万亿级训练数据集历时一年半，这一过程深刻印证了数据资产的战略价值。未来，当 Timer 3.0 部署至实际工业产线时，通过与产线实时数据的持续交互学习，模型将实现动态进化——不仅能突破现有性能上限，更能深度适配特定产线的工艺特性和管理需求，最终形成"越用越精准"的良性循环。
通过实验验证，Timer 3.0 大模型能够产生高质量的多样化预测结果。针对“大模型生成多结果，该如何选择”这一实际问题，龙明盛教授指出，借鉴大语言模型的成功经验，时序大模型只要拥有生成能力，首先生成多种可能结果，只需进行轻量级的人类对齐，即可筛选出最优方案。
龙明盛教授强调，传统确定性模型一旦预测错误就束手无策，而生成式模型的优势在于能够提供多种可能解，为后续的推理增强创造条件。这种技术路线真正实现了将大语言模型的智能内核融入时序分析领域。简单移植语言模型架构与数据集治理技术到时序领域并不可行，引入其推理能力才是正确的发展方向。
Timer 3.0 在 Time-Series-Library、GIFT-Eval、AutoGluon FEV LeaderBoard 等国际权威预测基准中均表现优异，其推理速度更是达到了同类模型 Chronos 的 20 倍，能够为工业场景中的时序预测需求提供强有力的技术支撑。
Timer 3.0 的“Model Name Card”名片可见，该模型已实现全方位能力覆盖，包括连续预测、多窗口预测、大规模参数支持以及不确定性建模等，成为一个功能完备的“满血版”时序大模型。
在推荐配置方案方面，龙明盛教授提供了灵活的配置建议：全模型训练推荐使用 4 张 A100 显卡，大模型微调仅需 1 张 RTX4090 显卡（约 5000 元），而推理任务则支持 CPU 与 GPU 双环境运行，充分考虑了不同用户的需求方向与硬件条件。
（4）未来展望：路虽远，行则将至
最后，龙明盛教授总结了时序大模型 Timer 从 1.0 到 3.0 的技术演进历程。他特别强调，虽然时序大模型的 4.0 时代尚未到来，但在 IoTDB 社区的共同推进下，3.5 和 4.0 版本的突破指日可待。
龙明盛教授表示，团队将继续努力践行孙家广院士“做‘能用，管用，好用’的软件”的指导原则。他相信，通过 IoTDB 社区生态的协同创新，时序大模型技术必将取得更大突破，为工业数智化转型提供更强大的技术支撑。
编辑：文婧
