Moirai-MoE:利用稀疏混合专家构建时序预测基础模型

新たなモデルMoirai-MoEは、時系列予測の基本モデルに特化されたモジュールを、細かくトークンレベルで組み込みます。このモデルは、データ駆動型で専門性を自動的に付与し、39個以上のデータセットで他モデルを凌駕する結果を示しました。

原文标题:新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

原文作者:机器之心

冷月清谈:

**背景:**

传统的时序预测モデルでは、単一データセットで単一モデルを训练する模式が主流でしたが、近年では「汎用予測基礎モデル」への移行が進んでいます。しかし、多様な時系列データを効率的に訓練する方法については、まだ課題が残っています。

**研究の目的:**

研究では、モデルの専門性を設計に組み込むことで、次世代の時系列予測基礎モデルを構築することを目的としています。

**Moirai-MoE:**

Moirai-MoE は、トークンレベルで専門性を設計し、データ駆動型のモードで自動的に専門性を付与します。単一の入出力投影層を使用し、Transformer 層内の希少混合エキスパートに時系列データのさまざまなパターンのモデリングを委任します。

**評価:**

Moirai-MoE は 39 のデータセットで広く評価され、他のモデルを上回りました。Monash ベンチマークでの分布内予測評価では、Moirai-MoE はすべての競合モデルを凌駕し、以前の Moirai モデルよりも 19% 向上しました。

**内部の仕組み:**

Moirai-MoE の内部動作の探索から、以下が明らかになりました。

- 浅層では、周波数の異なるデータの専門家割り当て分布は多様ですが、層が深くなるにつれて、周波数に依存しない時間依存性のパターンに重点を置きます。
- 層が深くなるにつれて、専門家選択が収束してきますが、これは Large Language Models で観察されるパターンとは異なります。これは時系列トークンのダイナミックでノイズの多い特性のためと考えられます。

怜星夜思:

1、Moirai と Moirai-MoE の主な違いは何ですか?
2、Moirai-MoE で提案された新しいゲート制御機能について教えてください。
3、時系列 MoE 基礎モデルの内部動作における重要な洞察を共有してください。

原文内容

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected][email protected]


本文由 Salesforce、新加坡国立大学、香港科技大学(广州)共同完成。其中,第一作者柳旭是 Salesforce 亚洲研究院实习生、新加坡国立大学计算机学院四年级博士生。通讯作者刘成昊是 Salesforce 亚洲研究院高级科学家。该工作的短文版本已被 NeurIPS 2024 Workshop on Time Series in the Age of Large Models 接收。


时间序列预测是人类理解物理世界变化的重要一环。自去年底以来,时序预测领域正在经历重大转型,从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」。目前虽然有不少基础模型已经提出,但如何有效地在高度多样化的时序数据上训练基础模型仍是一个开放问题。


近期,来自 Salesforce、新加坡国立大学、香港科技大学(广州)的研究者以模型专家化这一全新视角作为抓手,设计并提出了下一代时序预测基础模型 Moirai-MoE。该模型将模型专业化设计在 token 这一细粒度运行,并且以完全自动的数据驱动模式对其赋能。模型性能方面,不同于仅在少量数据集上进行评估的已有时序基础模型,Moirai-MoE 在一共 39 个数据集上进行了广泛评估,充分验证了其优越性。



  • 论文标题:Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts

  • 论文地址:https://arxiv.org/abs/2410.10469

  • 代码仓库:https://github.com/SalesforceAIResearch/uni2ts


研究动机


训练通用基础模型的一大挑战在于适应时间序列数据的高度异质性,这种时序数据的独特特性凸显了设计专业化模块的必要性。现有的解决方案主要分为两种。第一种是通过基于语言的提示来识别数据源,从而实现非常粗粒度的数据集级别模型专业化。第二种方案利用了时序数据的频率这一元特征实现了更细粒度的专业化:该方法为特定频率设计单独的输入 / 输出投影层,从而实现特定频率的模型专业化。


作者认为,这种人为强加的频率级专业化缺乏普适性,并引入了一些局限性。(1)频率并不总是一个可靠的指标,无法有效地捕捉时序数据的真实结构。如下图所示,具有不同频率的时间序列可以表现出相似的模式,而具有相同频率的时间序列可能显示出多样且不相关的模式。这种人为强加的频率和模式之间的不匹配削弱了模型专业化的有效性,从而导致性能下降。(2)现实世界的时间序列本质上是非平稳的,即使在单个时间序列的短窗口内也会显示出不同的分布。显然,频率级专业化的粒度无法捕捉这种程度的多样性,这凸显了对更细粒度的建模方法的需求。



为了解决上述问题,作者提出了全新的时间序列统一训练解决方案 Moirai-MoE,其核心思想是利用单个输入 / 输出投影层,同时将各种时间序列模式的建模委托给 Transformer 层中的稀疏混合专家。通过这些设计,Moirai-MoE 的专业化以数据驱动的方式实现,并在 token 级别运行。


基于稀疏混合专家的时序基础模型


Moirai-MoE 构建在它的前序工作 Moirai 之上。虽然 Moirai-MoE 继承了 Moirai 的许多优点,但其主要改进在于:Moirai-MoE 不使用多个启发式定义的输入 / 输出投影层来对具有不同频率的时间序列进行建模,而是使用单个输入 / 输出投影层,同时将捕获不同时间序列模式的任务委托给 Transformer 中的稀疏混合专家。此外,Moirai-MoE 提出了一种新型的利用预训练模型中知识的门控函数,并采用自回归的训练目标来提高训练效率。下面简要介绍 Moirai-MoE 的模块。



1. 时序 Token 构造


Moirai-MoE 采用切块(patching)技术将时间序列输入切成没有重叠的小块,而后对小块进行标准化来缓解分布迁移的问题。为了在自回归模型中获取准确、鲁棒的标准化统计值,作者引入掩蔽率 r 作为超参数,它指定整个序列中专门用于正则化器计算的部分,不对这些 patch 计算预测损失。最后,一个输入投影层来负责把 patch 投影到和 Transformer 一样的维度,生成时序 token。


2. 稀疏混合专家 Transformer


通过用 MoE 层替换 Transformer 的每个 FFN 来建立专家混合层。该 MoE 层由 M 个专家网络和一个门控函数 G 组成。每个 token 只激活一个专家子集,从而允许专家专注于不同模式的时间序列数据并确保计算效率。在 Moirai-MoE 中,作者探索了不同的门控函数。首先使用的是最流行的线性投影门控函数,它通过一个线性层来生成专家子集的分配结果。此外,作者提出了一种新的门控机制,利用从预训练模型的 token 表示中得出的聚类中心来指导专家分配。这一方法的动机是,与随机初始化的线性投影层相比,预训练 token 表示的聚类更接近数据的真实分布,可以更有效地实现模型专业化。


3. 训练目标

为了同时支持点预测和概率预测两种预测模式,Moirai-MoE 的训练目标设定为优化未来混合分布的对数似然函数。

实验效果

作者在 39 个数据集上的进行了广泛测试评估来验证 Moirai-MoE 的有效性。


上图展示了在 Monash 基准中 29 个数据集上进行的分布内预测评估。结果表明,Moirai-MoE 击败了所有竞争对手。相比前序工作 Moirai,Moirai-MoE 的提升幅度达到了 19%。与 Moirai 无法超越的基础模型 Chronos 相比,Moirai-MoE 成功弥补了差距,并相比它少 65 倍激活参数,这带来了巨大的推理速度的优势。


上表展示了在零样本预测设定时,Moirai-MoE 在 10 个数据集上的点预测和概率预测的表现。Moirai-MoE-Base 取得了最佳的零样本性能,甚至超越了 Google 的 TimesFM 和 Amazon 的 Chronos(他们在预训练语料库中已包含了部分评估数据,因此存在数据泄露)。与所有规模的 Moirai 相比,Moirai-MoE-Small 在 CRPS 方面提高了 3%-14%,在 MASE 方面提高了 8%-16%。考虑到 Moirai-MoE-Small 只有 11M 激活参数(比 Moirai-Large 少 28 倍),这些进步是非常显著的。


在这篇研究中,作者还对时序 MoE 基础模型的内部工作机制进行了首次探索。上图是对 Moirai-MoE 的专家分配分布进行的可视化。基于此,作者总结了以下观点:

1. 在浅层中,不同频率的数据在专家选择的分布上呈现多样化。随着层数的加深,模型将重点转移到更通用的时间依赖性,例如更广泛的趋势和长期模式,这些依赖性可以在不同频率之间共享。到最后一层(第 6 层),专家分配在所有频率上变得几乎相同,表明模型已将时间序列抽象为与频率基本无关的高级表示。这一证据表明 Moirai-MoE 学习到了频率不变的隐层表示,这对于模型泛化至关重要。

2. 随着层数增加专家选择逐渐收敛的行为与 Large Language Models 中观察到的模式完全相反。这种分歧可能源于时间序列 token 的动态和噪声特性,它们是由小时间窗口生成的,不像从固定词汇表中派生的语言 token。研究结果表明,随着层数增加,模型实际上是在进行逐步去噪过程。这一观察结果与 GPT4TS 的结论一致:随着层深度增加,token 会被投影到输入的低维顶部特征向量空间中。

更多实验结果,可参考原论文。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

さらに、このゲート制御機能を使用すると、Moirai-MoEは学習プロセスの早い段階で、関連するパターンをより効果的に識別できます。

また、層が深くなるにつれて、専門家の選択が徐々に収束することが観察されました。この動作は、Large Language Modelsで観察されるパターンとは異なります。研究チームは、これを時系列トークンの特有の特性に起因すると考えています。

Moirai-MoEでは2種類のゲート制御機能が提案されています。1つ目は線形投影ゲート制御機能で、最も一般的な方法です。2つ目は、事前学習モデルのトークン表現から得られたクラスタ中心を活用する新しいゲート制御メカニズムで、より効率的なモデル専門化を実現します。

Moirai-MoEの専門家割り当ての分布を可視化すると、浅い層ではデータの周波数によって分布が多様になることがわかりました。層が深くなるにつれて、モデルはより一般的な時間依存性に重点を置きます。

これらの洞察は、Moirai-MoEが時系列データを抽象化し、周波数に依存しない高レベル表現を作成する方法を理解する上で重要です。

Moirai-MoEの革新的な点は、モデリングを周波数レベルではなくトークンレベルで行うことです。これにより、現実世界の時系列の非定常性をより効果的に捉えることができます。

この新しいゲート制御機能は、事前学習されたモデルの知識を最大限に活用します。これにより、Moirai-MoEはデータの真の分布に沿った専門化を行うことができます。

Moirai-MoE は、単一の入出力投影層を使用して、Transformer 層内の希少混合エキスパートにさまざまな時系列パターンのモデリングを委任します。これにより、データ駆動型の自動専門付与が可能になります。Moirai は、周波数に基づく複数の啟発的に定義された入出力投影層を使用して、異なる周波数を持つ時系列をモデリングします。

Moirai-MoEのもう1つの利点は、推論速度が向上することです。Moirai-Largeと比較して、Moirai-MoE-Smallは活性化パラメータが28倍少なく、より高速な推論が可能になります。