ICLR 2026 论文提出 DistDF 框架，通过联合分布 Wasserstein 距离对齐，解决时序预测中 MSE 损失因标签自相关性产生的偏差问题，显著提升预测精度。
原文标题：ICLR 2026 | DistDF：时序预测需要分布对齐——从MSE到联合Wasserstein
原文作者：机器之心
冷月清谈：
怜星夜思：
2、DistDF 框架中，将条件分布对齐问题转化为联合分布对齐问题是一个关键步骤。那么，这种转化在其他机器学习任务中是否也有应用前景？例如，在生成对抗网络（GAN）中，是否可以通过对齐真实数据和生成数据的联合分布来提升生成效果？
3、文章提到 DistDF 是一种模型无关的损失函数，可以支持各类预测模型。那么，在实际应用中，如何选择与 DistDF 框架兼容性最好的预测模型？是否存在某些类型的预测模型更适合与 DistDF 结合使用？
原文内容
目前，时间序列预测方法通常采用基于极大似然估计的 MSE 作为损失函数，但这类损失在标签序列具有自相关性时有偏。
近期，北大林宙辰团队将时间序列预测转化为条件分布对齐问题。并提出一种新的损失函数，通过最小化预测序列与标签序列条件分布之间的 Wasserstein 距离训练预测模型；既能保证无偏训练，又能充分考虑标签序列内的几何结构（自相关性）。
这一工作为以最优传输为代表的分布对齐技术赋能预测问题提供了全新的研究思路和理论框架。
-
论文标题：DistDF: Time-series Forecasting Needs Joint-distribution Wasserstein Alignment
-
作者单位： 小红书、北京大学、浙江大学、上海财经大学、松鼠 AI 等
-
代码链接：https://github.com/Master-PLC/DistDF
1. 问题分析：标签中的自相关性
构建一个有效的预测模型需要解决两个问题：用什么架构和怎么训练。过去十年，研究者们在架构创新上投入了大量精力 ——Transformer、线性模型、图神经网络轮番登场。但很少有人质疑：我们使用的损失函数，真的适合时间序列数据吗？
目前主流的时间序列预测方法采用直接预测范式（Direct Forecast, DF）：模型接收一段历史观测，通过神经网络提取特征，然后一次性并行预测未来 T 步。相比传统的迭代预测，DF 方法具有并行计算的优势，训练效率更高。
在损失函数的选择上，DF 方法几乎 "不约而同" 地选择了时序均方误差（TMSE）：
其中，
为给定历史序列 X 时的标签序列的第 t 步，
为对应的预测序列的第 t 步。然而，TMSE 损失函数在计算时，默认各预测步之间相互独立。但在时间序列预测中，标签序列往往呈现显著的自相关性 —— 每个观测值通常依赖于其前序观测值，因此，这一假设不成立，导致 MSE 损失函数相比似然函数存在偏差。
[似然估计偏差] 当标签之间的条件协方差矩阵
不是单位矩阵时，MSE 损失函数相比真实似然函数存在偏差：
这一偏差只有在
为单位矩阵时，也就是标签序列在给定输入时条件独立时才会消失，但在实际时间序列数据中几乎不可能满足这一条件。因此，使用极大似然训练预测模型，不可避免地会遇到有偏似然估计的问题。
2. DistDF：基于联合分布对齐的训练方法
DistDF 团队注意到：训练预测模型，本质上是让模型预测分布与真实标签的条件分布尽可能接近。受此启发，DistDF 不再依赖传统的极大似然估计，而是直接最小化预测分布与真实条件分布之间的距离，从而规避了标签自相关带来的似然估计偏差问题。
2.1 从条件分布对齐到联合分布对齐
直接对齐条件分布面临估计困难：对于任何给定的 X，一个有限样本数据集通常只提供一个相关的标签序列 Y，预测模型也只产生一个输出。因此，条件分布 
和 
各自只包含一个样本，不足以表示底层条件分布，使得用于对齐的分布距离变得无意义也无法计算。
为了解决这一难题，注意到：
也就是说，若能使两个分布的联合分布完全对齐，并已确保
相同，则其条件分布也会对齐。
因此，条件分布对齐问题可以转化为联合分布对齐问题。进一步，论文基于最优传输领域的 Wasserstein 距离，进行了理论推导，证明了联合分布的 Wasserstein 距离是条件分布 Wasserstein 距离期望的上界：
因此，最小化历史 - 预测联合分布与历史 - 标签联合分布的 Wasserstein 距离，可以有效实现条件分布的对齐，从而实现预测模型的无偏训练。此外，联合分布的样本可以直接从全体数据集采集，极大丰富了用于估计分布距离的样本数量，提高了距离估算的可靠性。
2.2 基于 Bures-Wasserstein 距离的损失函数
然而，直接计算前述的 Wasserstein 距离需要求解大规模的最优传输问题，在大批量训练时会带来较大的计算负担。幸运的是，在高斯分布假设下，联合分布间的 Wasserstein 距离可以被解析地表示为均值与协方差之间的距离之和：
其中，
也被称为 Bures-Wasserstein 距离，
项衡量协方差矩阵之间的距离。这避免了求解复杂的传输问题，可以直接从经验样本中计算。
DistDF 的具体实现步骤如下：
1）构造联合序列：将历史序列X与标签Y 和预测
分别拼接，得到联合向量
和 
2）计算统计量：计算Z和
的均值和协方差矩阵
3）计算损失：使用上述统计量计算 
和 
的 Bures-Wasserstein 距离，记作 
用于平衡两者贡献：
3. 实验结果
DistDF 可以显著提升预测性能。以 ECL 为例，DistDF 将 iTransformer 的 MSE 降低了 2.7%。这些改进归因于 DistDF 能够通过对齐条件分布来处理标签中的自相关性，从而提升预测性能。
DistDF 相比现有损失函数也取得了较大的性能提升。FreDF 和 Time-o1 虽然减少了似然估计的偏差并提升了性能，但残差偏差仍然存在，因此性能仍有改进空间；DistDF 通过最小化条件分布之间的距离，实现了无偏对齐，因此取得了最佳性能。
论文还进行了消融实验，研究均值对齐和协方差对齐对损失函数性能的贡献。结果表明：仅均值对齐或仅协方差对齐相比 DF 都有改进，而结合两者取得了最佳结果，展示了两者的协同效应。
通过可视化预测序列发现，DistDF 生成的预测序列与真实标签序列之间的拟合度更高，同时抑制明显的噪声和异常波动；对困难样本的外推能力更好。
论文还测试了 DistDF 在不同神经网络架构上的表现，包括 TimeBridge、FredFormer、iTransformer 和 FreTS 等，证明了其与模型无关的特性：可以切实有效提升大多数主流预测模型的精度。
4. 结论
本文深入剖析了基于极大似然估计的预测模型训练方法有偏的问题。针对这一痛点，作者提出了 DistDF 训练框架，直接通过对齐条件分布训练预测模型。考虑到有限样本下条件分布之间的距离难以直接估计，论文提出转向联合分布对齐，并理论证明该方法足以保证条件分布对齐。大量实验证明，DistDF 在不同数据集和模型中均带来显著提升。
本研究不仅强调了损失函数设计在时间序列预测中的重要性，还揭示了分布对齐技术在设计时间序列损失函数中的重要潜力。为迁移学习、领域自适应、生成模型等领域的分布对齐技术在时序任务中的落地应用提供了理论基础和实践思路。
5. 作者介绍
本文通讯作者李昊轩现任北京大学助理研究员，清华大学逻辑学研究中心、牛津大学研究员（Research Fellow）。研究兴趣是因果推断和大模型逻辑推理，以第一作者和通讯作者发表 CCF-A 类论文 50 余篇，谷歌学者引用超 1000 次，国家发明专利授权 17 项，研究成果被麻省理工科技评论、人民日报、中国人工智能学会等报道。
本文通讯作者林宙辰博士现任北京大学智能学院、通用人工智能全国重点实验室教授。他的研究领域包括机器学习和数值优化。他已发表论文 360 余篇，谷歌学术引用超过 42,000 次。他是 IAPR、IEEE、AAIA、CCF 和 CSIG 会士，多次担任 CVPR、NeurIPS、ICML 等会议的 Senior Area Chair，现任 ICML Board Member。本工作得到了北京市科学技术委员会、中关村科技园区管理委员会的大力支持，在此深表感谢。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com