清华联合字节跳动发布十亿级时序基础模型Timer-S1，在GIFT-Eval中预测性能达到SOTA，通过串行缩放范式，在架构、数据和训练上实现了创新。
原文标题：Timer-S1 正式发布：首个十亿级时序基础模型，预测性能达到 SOTA
原文作者：数据派THU
冷月清谈：
怜星夜思：
2、Timer-S1模型在数据构建中，如何评估时间序列数据的复杂度？这种复杂度评估对于模型训练有什么作用？
3、Timer-S1模型在训练流程中，为什么要采用“预训练+后训练”的多阶段训练方式？这种方式与单阶段训练相比，有什么优势？
原文内容
本文约3600字，建议阅读5分钟十亿级规模化的突破，首次将时间序列预测的串行本质，融入模型架构、数据、训练全流程！
在 AI 全面渗透各行业的背景下，工业企业对时序数据的应用需求已从基础查询计算，升级为设备状态预测、缺失数据智能填补等智能化任务，而实现精准预测的关键，在于采用适配时序特性的基础模型开展高效训练。受时序数据多变、随机等固有特性影响，传统模型在通用性与可扩展性上存在明显瓶颈，面向时序场景的专用基础模型也因此成为行业研究焦点。
针对这一技术难点，清华大学软件学院研究团队联合字节跳动研究团队，在自研时序基础模型 Timer 1.0 至 3.0 版本的研究基础上实现新突破，正式发布最新版本 Timer-S1。该模型首次将时序基础模型拓展至十亿参数级别，上下文长度达到 11.5K 时间点，在大规模基准测试 GIFT-Eval 中取得了当前最优（State-of-the-art，SOTA）预测性能。
Timer-S1 通过创新的串行缩放范式，从模型架构、数据集、训练流程三大维度重新定义了时序通用预测能力边界。相关研究论文 "Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling" 已正式发布，今天我们将结合论文内容，对核心技术进行详细解读。
01 时间序列基础模型的核心研发难题
相较于自然语言、图像视频等模态，时间序列基础模型的构建面临着独有的技术挑战，这也是模型难以规模化升级的关键原因：
-
数据异质性强：不同领域的时间序列数据分布差异大，频率、形态多变，高维非结构化的原始数据中，多尺度依赖关系的捕捉难度高；
-
数据本身的不确定性：现实场景中的时间序列具有非平稳、随机的特性，外部因素或状态变化会导致时间动态突发偏移，为预测带来大量未知性；
-
规模化适配困境：大语言模型中成熟的 MoE 等规模化架构，直接适配时间序列时容易导致性能下降，且现有预测方法难以兼顾串行特性与推理效率；
-
训练与推理的鸿沟：自回归模型虽然贴合时间序列的串行预测本质，但迭代滚动推理会带来巨大计算开销和严重的误差累积；并行多步预测虽然提升效率，却缺失必要的串行计算，无法捕捉长期依赖，形成规模化瓶颈。
此前的 Timer 系列模型为统一化时间序列基础模型奠定了基础，而 Timer-S1 的研发核心，正是针对上述难题提出系统性的解决方案。
长期预测累积不确定性，每一步的预测都依赖于先前的估计，这使时间序列预测成为一个串行问题
02 Timer-S1 核心创新：串行缩放的三大维度
Timer-S1 的核心突破在于提出串行缩放范式，从架构设计、数据构建、训练流程三个维度层层推进，既尊重时间序列预测的串行本质，又解决了规模化中的效率、偏差、性能问题，三者相辅相成形成完整的技术体系。
Timer-S1 的串行缩放通过串行预测、数据缩放和后训练三个维度实现
(1) 架构设计：实现高效串行预测
Timer-S1 采用解码器 - only Transformer 作为基础骨干，创新性融合了稀疏 TimeMoE 块和通用 TimeSTP 块，打造了适配时间序列的串行预测架构，兼顾异质性处理、串行计算与推理效率：
-
TimeMoE 块：针对时间序列数据的全局异质性，采用稀疏混合专家架构，能自适应为不同模式的时间序列片段分配专属专家，同时优化提升训练稳定性，在实现 83 亿大参数量的同时，保证推理速度，解决了模型规模化与效率的矛盾；
-
TimeSTP 块：为核心的串行令牌预测 (STP) 设计，是 Transformer 块的串行化版本。它会参考初始历史序列和中间特征表示，迭代生成步进式预测，为多步长预测引入渐进式串行计算，且推理阶段保留该模块，无需自回归模型的滚动推理，仅通过单次前向传播就能生成多步预测，既避免了误差累积，又大幅提升效率；
-
统一的预测头：采用共享分位数预测头，同时支持线性投影、扩散基头等多种预测头，具备架构通用性。
此外，模型还通过实例重归一化解决不同数据集的尺度差异，补丁级令牌嵌入将连续时间点转化为模型可处理的令牌，进一步提升跨域泛化能力。
Timer-S1 整体架构图
(2) 数据构建：万亿级高质量数据集
高质量的大规模数据集是基础模型的核心支撑，团队为此打造了包含 1 万亿时间点的时间序列语料库 TimeBench，并通过精细化预处理和数据增强，解决了时间序列数据质量差、分布失衡导致的预测偏差问题：
-
多源数据融合：整合金融、物联网、气象、医疗等真实场景数据，以及 Chronos、LOTSA 等公开研究数据集，同时加入线性、正弦、指数等规范信号及组合的合成数据，丰富数据模式；
-
严格质量管控：通过因果均值插补、滑动窗口异常值移除等预处理解决缺失值、异常值问题，剔除可能导致测试数据泄露的样本，保证数据可靠性；
-
针对性数据增强：采用重采样和值翻转两种方式，有效缓解了模型的预测偏差，提升跨场景泛化能力；
-
数据复杂度评估：通过 ADF 平稳性检验、基于频谱熵的可预测性指标，为每个数据集建立二维 “复杂度平面”，实现数据的精细化筛选。
(3) 训练流程：兼顾短期与长期预测性能
Timer-S1 摒弃单一阶段的训练模式，创新性设计预训练 + 后训练的多阶段训练流程，通过解耦训练目标，分别提升模型的短期预测精度和长上下文处理能力，进一步降低整体训练成本：
-
基础预训练：以 STP 为核心目标，对不同输入、输出长度的预测任务进行密集监督，充分训练 TimeMoE 的上下文特征提取能力和 TimeSTP 的多步预测能力；
-
持续预训练：针对 “长期预测的精度依赖短期预测” 的串行特性，采用加权 STP 目标进行训练，重点提升短期预测性能，同时通过混合采样的重访机制，避免过拟合；
-
长上下文扩展：基于 RoPE 旋转位置嵌入，将模型的上下文长度从 2880 扩展至 11520，让模型能捕捉更长的历史序列信息，提升长时预测的准确性。
训练过程中，团队实现了跨设备的十亿级参数规模化训练，并采用混合内存-磁盘加载策略，解决了万亿级数据的高效读取问题。
TimeBench 数据集及 Timer-S1 训练流程示意图
03 基准测试结果：GIFT-Eval 实现 SOTA
Timer-S1 在时间序列通用预测基准 GIFT-Eval 上完成了全面评估，该基准包含 24 个数据集、14.4 万个时间序列、1.77 亿数据点，覆盖了主流的统计方法和先进的时间序列基础模型。测试结果充分验证了 Timer-S1 的性能优势：
-
整体性能 SOTA：Timer-S1 取得了最优的 MASE 和 CRPS 分数，相较于同基于 TimeBench 训练的前代模型 Timer-3，MASE 降低 7.6%，CRPS 降低 13.2%，直接验证了串行缩放的有效性；
Timer-S1 在 GIFT-Eval 排行榜的性能表现
-
中长期预测表现突出：按预测时长分组的测试显示，Timer-S1 在中、长期预测任务上的性能提升尤为显著，这正是串行预测架构的核心优势 —— 通过渐进式串行计算，有效捕捉了时间序列的长期依赖，解决了现有模型长期预测误差大的痛点；
按预测步长分组的 MASE 性能对比：Timer-S1 在中、长期预测任务中性能优势显著
-
后训练增益明显：单阶段预训练的模型性能远低于 “预训练 + 持续预训练 + 长上下文扩展” 的多阶段版本，验证了分阶段训练、针对性优化不同能力的技术路线的正确性。
Timer-S1 不同训练流程的性能对比
此外，团队还通过对比实验验证了 STP 的优越性：在相同计算预算下，采用 STP 的 Timer-S1，性能显著优于采用传统下一个令牌预测（NTP） 和多令牌预测（MTP） 的模型，且推理时间更短，充分证明 STP 是提升时间序列长期预测性能的通用有效模块。
NTP/MTP 与 STP 的性能对比
04 消融实验：核心组件缺一不可
为了明确各核心组件对模型性能的贡献，团队开展了详细的消融实验，关键结论如下：
-
TimeSTP 的设计细节至关重要：如果模仿大语言模型丢弃训练后的 TimeSTP 块、采用滚动推理，或引入训练时可见的未来信息，模型性能会显著下降，证明现有设计有效缩小了训练与推理的鸿沟，适配时间序列的分布特性；
Timer-S1 不同 TimeSTP 变体的性能对比
-
数据增强效果显著：移除重采样、值翻转的增强策略后，模型的泛化能力下降，预测偏差增加，验证了数据增强对缓解时间序列分布失衡的必要性；
Timer-S1 有无数据增强的性能对比
-
预训练的知识迁移能力强：在相同配置下，未在 TimeBench 上预训练、直接从头训练的模型，在 GIFT-Eval 上的表现明显落后，证明 Timer-S1 在预训练阶段学习到了通用时序模式，具备优秀的跨任务知识迁移能力。
Timer-S1 有无 TimeBench 预训练的性能对比
同时，模型缩放规律的实验显示，Timer-S1 在 24 个 TimeMoE 块 + 16 个 TimeSTP 块的配置下达到最优性能，验证了时间序列基础模型在十亿级参数规模下仍能保持性能增益，打破了规模瓶颈。
不同 TimeMoE/TimeSTP 模块数的预训练性能
05 总结
Timer-S1 实现了时间序列基础模型领域十亿级规模化的突破，提出的串行缩放范式，将时间序列预测的串行本质融入模型的架构、数据、训练全流程，为解决现有模型的规模化瓶颈提供了通用的技术思路。
同时，万亿级数据集 TimeBench、多阶段串行训练流程、TimeSTP 串行预测模块等创新，也为时间序列基础模型的研发提供了可复用的技术方案。
在时序基础模型的探索之路上，Timer-S1 的发布并非终点，而是新的锚点。未来，研究团队将持续深耕时序大模型的泛化效能，推动 Timer 系列在更多工业场景中释放价值，让时序智能成为驱动产业升级的可靠力量。
编辑：文婧
