AI.x社区

在现实世界中，观测到的时间序列通常表现出复杂多样的多尺度时间模式。尽管基于Transformer的方法在多尺度时间模式交互建模中取得了显著成功，但是两个关键问题限制了其在时间序列预测中的进一步发展。一方面，单个的时间点包含的语义信息较少，利用attention建模pairwise交互会造成信息利用瓶颈。另一方面，时间模式中存在多种固有的时序变化，这些时序变化相互纠缠，为建模多尺度时间模式交互带来了较大的挑战。针对上述问题...

在这个系列里，圆圆会带大家梳理2024年时间序列预测领域的经典工作，涉及多个优化方向。在这一节里，会为大家整体介绍2024年的时间序列一些具有突破性进展的领域。后续章节将持续在知识星球中更新，深入解读和串联这些领域的相关工作。1.时间序列基础模型2024年是时间序列预测与大模型深度结合的元年，涌现了很多时间序列基础模型和大模型中建模方法在时间序列预测的应用。一方面，今年出现了很多类型的时间序列基础模型，希望...

这篇文章给大家介绍一下北邮在NeurIPS2024中发表的一篇时间序列预测工作，重点研究了如果有效利用时间戳特征提升时序预测效果，相关方法可以嵌入到现有的各类SOTA时序预测模型中。论文标题：RethinkingthePowerofTimestampsforRobustTimeSeriesForecasting:AGlobalLocalFusionPerspective下载地址：https:arxiv.orgpdf2409.186961.研究背景现有的时间序列预测方法大多依赖于数值型的历史数据，并且假设这些数据的分布是相对稳定...

今天给大家介绍一篇南京大学、阿里巴巴联合发表的多模态模型建模方法WINGS，解决基于LLM的多模态模型在进行跨模态建模时的灾难遗忘问题。论文标题：WINGS:LearningMultimodalLLMswithoutTextonlyForgetting下载地址：​​https:arxiv.orgpdf2406.03496​​1.研究背景随着人工智能技术的进步，多模态大型语言模型（MLLMs）作为大型语言模型（LLMs）的扩展，已经在视觉相关的描述生成、理解、推理等方面展现出惊人的性能。这些模...

今天给大家介绍一篇清华大学发表于NIPS2024中的大模型时间序列预测工作AutoTimes，使用大模型进行自回归形式的时间序列预测，并结合InContextLearning提升预测效果。论文标题：AutoTimes:AutoregressiveTimeSeriesForecastersviaLargeLanguageModels下载地址：​​https:arxiv.orgpdf2402.02370​​1.背景大模型在时间序列预测中的应用已经有了一些研究工作。之前的大模型时序预测，主要讲大模型当成一个表征抽取器，将时间序列...

​多任务学习是推荐系统中非常常见的一个问题。推荐系统中，经常要对多个目标进行预测，比如点击率、转化率、观看时长等等。将这些任务联合学习，希望通过不同的监督信息，互相增强各自目标的拟合能力。但是同时，不同目标之间又不一定是正向关系，可能存在负向迁移问题，存在跷跷板现象。因此，如何最好的发挥多任务学习的作用，达到各个任务联合最优，一直是一个推荐系统领域的核心研究问题。这篇文章就给大家汇总一下，推荐...

今天给大家介绍一篇港中文、上海AILab等机构联合发表的CLIP优化工作，构建了基于多专家网络的MoE模型，实现更细粒度的视觉表征器训练，提升下游多模态大模型论文标题：CLIPMOE:TOWARDSBUILDINGMIXTUREOFEXPERTSFORCLIPWITHDIVERSIFIEDMULTIPLETUPCYCLING下载地址：​​https:arxiv.orgpdf2409.19291v2​​1.背景基于CLIP的图文对比学习预训练是构建多模态大模型的一个核心基础模块。通过图片和文本的对比学习过程，训练图片和文...

今天给大家介绍一篇华东师范大学联合丹麦奥尔堡大学和松鼠AI发布的时间序列模型统一评测基准FoundTS，这是一个针对时间序列预测基础模型的基准测评框架，旨在利用不同领域和特征的数据集对不同的时间序列预测基础模型进行全面、公平的测评。该论文在统一评测结果的基础上，分析了现有时序预测基础模型的优缺点，并为基础模型的提升提出一些可行的方向。论文标题：FOUNDTS:COMPREHENSIVEANDUNIFIEDBENCHMARKINGOFFOUNDATIONMODEL...

今天这篇文章给大家介绍几篇KDD2024中，大厂在推荐系统领域的优化工作，论文来自爱彼迎、腾讯、快手、美团等公司，设计多目标建模、多样性、搜索意图建模、rankingloss等问题。1.爱彼迎：多目标建模和模型蒸馏论文标题：MultiobjectiveLearningtoRankbyModelDistillation下载地址：https:arxiv.orgpdf2407.07181多目标建模转换成模型蒸馏问题。多目标的场景要求最小化一个目标的预测误差，同时其他目标的预估误差在一个约束内。...

今天给大家介绍一篇清华大学的时间序列预测最新工作，提出了统一的Transformer时序预测模型，能同时处理单变量和多变量时序预测，并将时序预测的上下文长度首次扩充到千级别。论文标题：TIMERXL:LONGCONTEXTTRANSFORMERSFORUNIFIEDTIMESERIESFORECASTING下载地址：​​https:arxiv.orgpdf2410.04803v1​​1.背景构建类似NLP领域的统一大模型是时序预测领域近期研究的焦点。虽然前序已经涌现很多工作，但是这些建模方法只能处理...

今天给大家介绍一篇时空预测最新模型PredFormer，由上海交大等多所高校发表，采用纯Transformer模型结构，在多个数据集中取得SOTA效果。1.背景时空预测学习是一个拥有广泛应用场景的领域，比如天气预测，交通流预测，降水预测，自动驾驶，人体运动预测等。提起时空预测，不得不提到经典模型ConvLSTM和最经典的benchmarkmovingmnist，在ConvLSTM时代，对于MovingMNIST的预测存在肉眼可见的伪影和预测误差。而在最新模型PredForme...

这篇文章给大家介绍一下阿里发表的多模态大模型工作mPLUGOwl，共2篇文章，建立在前序图像表征对齐预训练大语言模型的思路，提出了不同的参数训练方式、多模态解耦映射等优化方法，在多项任务取得了SOTA效果。相关论文：mPLUGOwlLanguageModelswithMultimodalitymPLUGOwl2:RevolutionizingMultimodalLargeLanguageModelwithModalityCollaboration1.核心思路多模态大模型希望构建一个能同时处理文本、图像等不同模态信息的数据，...

时间序列预测建模中，非平稳性或distributionshift一直是一个建模难点。非平稳性指的是时间序列的统计量，如均值、方差随时间发生变化，导致数据分布随着时间发生漂移，造成了模型训练和拟合的难度。今天给大家介绍一下最近一段时间提出的2种解决时间序列非平稳性问题的方法。这两种方法分别从多粒度的角度和频域的角度进行可逆归一化，实现了不错的效果提升。1.基础可逆归一化方法可逆归一化最基础的方法来自REVERSIBLEINSTANC...

今天给大家介绍一篇普林斯顿大学提出的时间序列大模型工作，是首个基于MoE的百万级别参数时间序列大模型，将时序大模型参数量扩展到2.4billion的水平，在多个数据集上取得了显著优于其他时间序列大模型的效果。论文标题：TIMEMOE:BILLIONSCALETIMESERIESFOUNDATIONMODELSWITHMIXTUREOFEXPERTS下载地址：https:arxiv.orgpdf2409.16040v11、背景时间序列大模型是目前的一个研究热点，很多工作都利用大量的时间序列数据训练专属于...

在CTR预估中，主流都采用特征embedding+MLP的方式，其中特征非常关键。然而对于相同的特征，在不同的样本中，表征是相同的，这种方式输入到下游模型，会限制模型的表达能力。为了解决这个问题，CTR预估领域提出了一系列相关工作，被称为特征增强模块。特征增强模块根据不同的样本，对embedding层的输出结果进行一次矫正，以适应不同样本的特征表示，提升模型的表达能力。最近，复旦大学和微软亚研院联合发布了一篇特征增强工作...

时间序列建模中很多种类型的结构可以选择，比如Transformer、CNN、RNN，以及最近被验证有效的MLP、Mamba等结构。然而，不同模型都有特定的潜在优势和劣势。因此，现在越来越多的时序预测模型优化工作，采用了多模型组合的建模方式。今天这篇文章，就给大家介绍一下多模型组合建模的核心思路，以及几篇近期发表的多模型组合时序预测工作，在一个模型中同时使用不同类型的模型结构，实现各个结构之间的优势互补。1.早期模型组合建...

1.长周期时序预测核心问题长周期时间序列预测，指的是预测窗口较长一类时间序列预测问题。一般来说，预测长度在50个点以上，就可以认为是长周期时间序列预测问题。同时，预测长度的增加，会使得模型需要引入更长的历史序列，才能实现更好的预测。相比短周期时序预测，长周期时序预测主要面临的挑战有以下几个方面。长周期历史信息提取：相比短序列，长序列由于其样本点更多，对历史信息的提取也更加困难，模型容易随着输入历史...

Transformer的序列建模能力，让其天然就比较适合时间序列这种也是序列类型的数据结构。但是，时间序列相比文本序列也有很多特点，例如时间序列具有自相关性或周期性、时间序列的预测经常涉及到周期非常长的序列预测任务等。这些都给Transformer在时间序列预测场景中的应用带来了新的挑战，也使业内出现了一批针对时间序列任务的Transformer改造。下面给大家介绍Transformer在时间序列预测中的应用，基本上按照时间顺序，到2023...

今天给大家介绍两篇经典的工作，这两篇工作都是针对推荐系统中排序模型的优化，方法有一些相似之处，都是利用门控网络对底层特征进行交叉。最关键的在于，这类方法已经在很多真实业务场景中被验证效果显著，非常值得还没有应用这类方法的同学进行尝试。1.MaskNet论文标题：MaskNet:IntroducingFeatureWiseMultiplicationtoCTRRankingModelsbyInstanceGuidedMask下载地址：​​https:arxiv.orgabs2102.07619​​MaskNet是2021年...

扩散模型是目前生成式AI中的最核心模块，在Sora、DALLE、Imagen等生成式AI大模型中都取得了广泛的应用。与此同时，扩散模型也被越来越多的应用到了时间序列中。这篇文章给大家介绍了扩散模型的基本思路，以及几篇扩散模型用于时间序列的典型工作，带你理解扩散模型在时间序列中的应用原理。1、扩散模型建模思路生成模型的核心是，能够从随机简单分布中采样一个点，并通过一系列变换将这个点映射到目标空间的图像或样本上。扩散...