耶鲁&斯坦福联合发表，融合channel独立/联合建模提升多元时序预测效果

今天给大家介绍的文章，是耶鲁大学和斯坦福大学联合发表的多元时间序列预测工作，重点解决的问题还是最近经常被提及的channel之间的联合建模还是独立建模的问题，提出了一种多channel间关系建模的新方法，通过学习各个channel间的关系，实现channel独立和channel联合建模的融合。

论文标题：From Similarity to Superiority: Channel Clustering for Time Series Forecasting

下载地址：​​https://arxiv.org/pdf/2404.01340v1.pdf​​

1、背景

多元时间序列建模问题中，各个变量（channel）之间是独立建模还是联合建模，是近期的一个研究焦点。以PatchTST为代表的channel independent建模方法，将多元序列看成多个单元序列，每个单元序列分别建模，取得了很好的效果，也有一些工作验证了多元序列使用channel dependent进行联合建模会造成严重的过拟合问题。这导致现在很多方法都采用了独立建模来将多变量序列建模简化成单变量序列建模。

然而，多变量之间的关系一定会带来一些信息增益，忽略这部分信息，模型就缺少了各个变量之间互相影响关系的信息输入，会造成一定的效果损失。因此核心问题在于，如何既能将多变量之间的关系引入模型，同时又能缓解多变量联合建模的过拟合问题。

针对上述问题，本文提出了一种融合channel independent和channel dependent的建模方法，核心思路是将各个变量序列进行聚类，根据变量间的相似程度，选择channel dependent建模的强度。其前提假设为，越相似的序列，通过channel dependent建模方法能带来的信息增益越大；反之，如果两个序列完全没关系，那么引入channel dependent的建模反而会带来过拟合问题，就更应用channel independent的方式进行独立建模。

2、实现方法

基于上述的出发点，文中提出的解决路径为：先将序列聚类得到相似簇->每个簇内用channel dependent建模->簇间使用channel independent建模。通过这种方式，使得channel independent和channel dependent这两种建模方法融合了起来，充分发挥二者优势。

在聚类阶段，主要采用的是prototype embedding的方式。初始生成k个cluster质心embedding，每个变量时间序列使用MLP得到相应的序列embedding，使用cluster embedding和序列embedding之间夹角余弦计算相似度，为每个序列分配聚类结果，得到分配矩阵。同时，根据变量序列embedding和分配矩阵，可以融合生成每个聚类相应的prototype embedding。

在聚类之后，对于属于一个类簇的变量，其具有较高的相似性，使用一个共享的MLP进行多变量关系建模；对不同类簇的变量，使用独立的MLP，进行独立建模。通过这种方式，相当于将原来变量粒度的建模，转换成了类簇粒度的channel independent建模，类簇内为channel dependent的建模。

此外，文中的方法也可以扩展到单变量序列建模中，将每个序列当成一个变量，进行序列粒度的聚类，实现样本间关系的捕捉。在聚类过程中，生成的prototype embedding，也可以用于zero-shot learning。对于一个之前没见过的序列，先获取其属于各个类别的概率，然后使用各个类别的MLP进行加权融合，实现未见过序列的zero-shot learning。

3、实验结果

本文提出的方法，可以嵌套在任何一个目前SOTA的时间序列预测模型中。文中在TSMixer、DLinear、PatchTST、TimeNet等4个目前SOTA的时间序列模型中，嵌入了文中提出的模块，对比是否包含该模块的效果。从实验结果可以看出，引入改模块对于多元时间序列预测的效果有显著的提升。

此外，文中也对channel的embedding、prototype的embedding进行了可视化分析。

图片

图片

本文转载自 ​​圆圆的算法笔记​​，作者： Fareise