Chronos:学习时间序列的大语言模型(论文解读)

Chronos: 革命性的时间序列预测模型 Chronos的出现标志着时间序列预测进入了一个新的时代。它不仅带来了技术上的突破,更为我们理解和预测复杂的时间序列数据提供了新的视角。随着技术的不断发展和应用的深入,Chronos有望在各个领域发挥越来越重要的作用,为数据驱动的决策提供更可靠的支持。 阅读详情
AI摘要

本文介绍了预训练概率时间序列模型框架Chronos,它通过缩放和量化技术将时间序列标记化,在大量公开数据集上预训练。结合数据增强策略,在42个数据集评估中,Chronos在域内和zero - shot预测上超越传统与特定任务深度学习方法,还探讨了其应用拓展与局限。

前言

  • 《Chronos: Learning the Language of Time Series》原文地址
  • GitHub项目地址Some-Paper-CN。本项目是译者在学习长时间序列预测、CV、NLP和机器学习过程中精读的一些论文,并对其进行了中文翻译。还有部分最佳示例教程。
  • 如果有帮助到大家,请帮忙点亮Star,也是对译者莫大的鼓励,谢谢啦~

摘要

本文介绍了一个简单而有效的预训练概率时间序列模型框架Chronos。Chronos使用缩放(scaling)和量化(quantization)技术将时间序列标记为固定词汇,并通过交叉熵损失在这些标记化(tokenized)的时间序列上训练基于Transformer的语言模型架构。我们在大量公开数据集上预训练了基于T5系列的Chronos模型(参数范围从20M到710M),并通过高斯过程生成了一个合成数据集作为补充,以提高泛化能力。在由42个数据集组成,同时包含经典局部模型和深度学习方法的综合基准测试中,我们发现Chronos模型:(a)在属于训练语料库的数据集上的表现明显优于其他方法;(b)在新数据集上,与专门训练过的方法相比,Chronos模型具有不相上下甚至有时更优越的性能。我们的研究结果表明,Chronos模型可以利用来自不同领域的时间序列数据提高未见预测任务的zero-shot准确率,预训练模型是简化预测管道的可行工具。

引言

时间序列预测是零售、能源、金融、医疗保健、气候科学等各个领域决策的重要组成部分。传统上,预测主要使用 ARIMA 和 ETS 等统计模型。至少在最近转向深度学习技术之前,这些模型一直是可靠的工具。这种转变可归因于大量、多样的时间序列数据源的可用性,以及业务预测问题的出现,这些都发挥了深度预测的优势,即从大量时间序列中提取模式的能力。尽管深度预测器的性能令人印象深刻,但它们仍然是在同一数据集上进行训练和预测的标准系统。虽然已有研究致力于转移学习和领域适应预测,但该领域尚未形成统一的通用预测模型,而这一目标仍是时间序列研究人员的指路明灯。

具有zero-short学习能力的大语言模型(LLM)的出现激发了人们对于开发时间序列“基础模型”的兴趣。在大语言模型的背景下,这种兴趣是通过两个主要途径来实现的:直接对预训练的LLMs使用提示词工程和针对时间序列任务微调LLM。然而,这些方法面临很大的局限性,特别是需要对每个新任务进行提示词工程或微调,并且大规模语言模型(GPT-3、Llama2)需要大量的计算资源和时间进行推理。最近的工作还探索了在大量真实或合成时间序列数据语料上,通过复杂的时间序列特定设计,对基于Transformer的模型进行预训练。

在这项工作中,我们回过头来问:预测下一个token的语言模型与预测下一个值的时间序列预测模型之间有什么本质区别?尽管表面上有区别——来自有限字典的token与来自无边界、通常是连续领域的值——但从根本上说,这两种工作都旨在对数据的序列结构进行建模,以预测未来的模式。优秀的语言模型难道不应该在时间序列上“顺利工作”吗?这个简单的问题促使我们挑战针对时间序列特定修改的必要性,回答这个问题促使我们开发了Chronos,一个最小化地适用于时间序列预测的语言建模框架。Chronos通过对实值进行简单的缩放和量化,将时间序列标记为离散的分段。这样,我们就可以在这种 "时间序列语言 "上训练现成的语言模型,而无需改变模型架构(Chronos的深层描述见图1)。值得注意的是,这种直截了当的方法证明是有用和高效的,凸显了语言模型架构的潜力,只需最小的改动就能解决广泛的时间序列问题。
请添加图片描述

图 1:Chronos深层描述。(左)输入时间序列经过缩放和量化,得到一个序列的tokens。(中)标记被输入到语言模型中,该模型可以是encoder-decoder或仅decoder模型。该模型使用交叉熵损失进行训练。(右)在推理过程中,自回归地从模型中抽取tokens,并将它们映射回数值。通过抽取多个轨迹来得到预测分布。

为了开发一种有用的通用时间序列预测模型,公开可用的时间序列数据集稀缺性(无论在数量还是质量上)可能比建模框架更为关键。除了我们用来训练Chronos的公开数据集外,另一个核心方面是数据增强策略的整合,包括TSMix和KernelSynth。TSMix从不同的训练数据集中随机选取一组基础时间序列,并基于它们的凸组合生成新的时间序列;KernelSynth使用高斯过程通过随机组合核函数来生成合成的时间序列。这些技术解决了时间序列预测中小型训练数据集的固有限制,增强了模型的稳健性和泛化能力。

根据我们对42个数据集的全面评估,将Chronos设为领域内和zero-shot预测的基准,超越了传统模型和特定任务的深度学习方法。值得注意的是,Chronos出色的实现了zero-short预测,无需针对特定任务进行调整。其精度,加上相对适中的模型大小,使其成为zero-short领域更大、计算需求更高模型的选择。作为一种在固定词汇表上运作的语言模型,Chronos可以与未来的LLMs进步无缝集成,使其成为作为通用时间序列模型进一步开发的理想候选者。

本文接下来的内容安排如下。第2节介绍了时间序列预测和语言模型的背景,并讨论了相关工作。第3节介绍了我们提出的时间序列语言建模框架Chronos。第4节讨论我们的数据增强技术和合成时间序列生成过程。第5节介绍了我们的主要成果以及对不同设计选择的严格分析。我们在第6节讨论了未来的发展方向,并在第7节总结了本文。其他材料见附录。

背景及相关工作

时间序列预测涉及使用相关历史数据预测其未来值。形式上,给定一个均匀间隔的时间序列 x 1 : C = [ x 1 , ⋯   , x C ] x_{1:C} = [x_1,\cdots,x_C] x1:C​=[x1​,⋯,xC​],我们感兴趣的是预测接下来H个步长的联合分布情况, p ( x C + 1 : c + H ∣ x 1 : C ) p(x_{C+1:c+H}|x_{1:C}) p(xC+1:c+H​∣x1:C​)。在这项工作中,我们的重点是单变量预测,即观测值为标量,对于所有 i i i, x i ∈ R x_i \in R xi​∈R。

时间序列预测有多种不同的方法,大致可分为经典预测方法和深度学习方法。经典预测方法(如ETS、ARIMA、Theta)对每个时间序列独立拟合一个单独的模型。相比之下,深度学习预测模型则对给定数据集中的所有时间序列进行学习(被称为全局模型)。这些方法利用了深度学习的先进技术,如DeepState、DeepAR、TimeGrad使用的RNN,以及TFT和PatchTST使用的Transformer。除了架构的选择,这些方法对目标建模的方式也不尽相同,有的对密度函数建模,有的则直接预测一组量值。不过,并非所有模型都能进行概率预测:特别是Informer和DLinear等模型只能进行点预测。

**大型语言模型(LLM)**在各种自然语言处理任务中表现出令人印象深刻的性能。给定输入tokens序列, w 1 : k = [ w 1 , ⋯   , w k ] w_{1:k} = [w_1, \cdots ,w_k] w1:k​=[w1​,⋯,wk​],语言模型旨在预测下一个tokens, w k + 1 w_{k+1} wk+1​,建立条件分布模型 p ( w k + 1 ∣ w 1 : k ) p(w_{k+1}|w_{1:k}) p(wk+1​∣w1:k​)。tokens属于一个词汇表(vocabulary), V V V,tokens可以是字符、子词或词,具体取决于所使用的tokenization方案。

大多数现代LLM都基于Transformer架构。最初的Transformer架构是为机器翻译设计的encoder-decoder模型。encoder将某种语言的输入句子映射为连续表示,decoder使用输入表示和先前解码的token逐个生成翻译。许多流行的语言模型,如BART和T5,都属于这个系列。另一种流行的LLM架构是GPT-3和Llama 2中使用的纯decoder架构,即模型只关注当前标记之前的标记。LLM通常是在非常庞大的文本语料库中进行训练的,其参数数量从数百万到数千亿不等。读者可参阅Zhao等人(2023 年)对这一研究领域的最新调查。

基于LLM的预测器。受预训练LLM的成功启发,最近的研究表明LLM是一种通用模式识别器,并开发了几种将LLM应用于时间序列领域的方法。其中一种方法是将数值时间序列数据视为原始文本,直接使用预训练的 LLMs,只需极少或无需微调即可预测未见的时间序列。PromptCast将时间序列数据转换为基于文本的输入和输出对,并将预测问题重新表述为问题解答任务,从而利用预训练的 LLM 进行预测。不过,PromptCast 需要特定于数据集的模板来将数字数据转换为文本提示。LLMTime也许是最直接的基于LLM的预测模型,它在各种基准时间序列数据集上清楚地证明了预训练LLM的zero-shot预测能力。LLMTime提出了一种新的标记化方案,在固定数值精度和适当缩放数据后,将实值数据编码为数字字符串。一旦编码为字符串,预测结果就能从GPT-3和Llama 2等经过预训练的LLM在zero-short的情况下获得。不过,使用这种计算负荷高的模型会影响LLMTime的可扩展性和实用性。

Zhou 等人(2023a)以预训练的GPT-2模型为骨干,针对不同的时间序列分析任务提出了一个统一的万能模型(GPT4TS),并且只对每个任务的位置嵌入和归一化层参数进行微调。与PatchTST相似,他们没有使用标记化输入,而是直接向模型提供patch嵌入。最近的工作TimeLLM将LLM用于时间序列预测,方法是将时间序列patch的嵌入与文本原型对齐,并用这些对齐的嵌入和描述任务的自然语言提示(冻结的)LLM。与 Chronos不同,GPT4TS和TimeLLM都需要进行域内训练或微调,即在每个数据集上分别进行微调和测试。此外,上述方法都是基于提示词或微调预训练的LLM。相比之下,Chronos则是在大量时间序列上从头开始训练语言模型,并通过缩放和量化进行tokenized。

Zero-shot预测。zero-shot预测是指模型在从未见过的数据集上时间序列预测的能力。zero-shot预测的一些早期工作是在单个时间序列数据集上进行训练,然后在不同的数据集上进行测试。ForecastPFN解决zero-shot预测问题的方法是,根据预定趋势和季节性生成的合成数据上训练一个基于Transformer的模型。然后,训练好的Transformer模型将被用于预测真实世界中的zero-shot时间序列。 在这项工作中,我们还提出了一种从高斯过程生成合成时间序列数据的方法(第 4.2 节);不过,我们将合成数据与真实数据结合起来使用,以训练 Chronos 模型,从而提高了zero-shot误差性能。此外,Chronos模型是概率模型,而 ForecastPFN只能生成点预测。

最近的一些研究还通过在大量时间序列数据上对基于Transformer的架构进行预训练,开发了zero-shot预测模型。这些模型对时间序列的实值进行操作,并包含时间序列的特定设计,如时间特征、滞后、修补和实值分布等。相比之下,Chronos采用的是一种简约方法,它将时间序列值标记为固定词汇,并在这些标记上训练现有的语言模型架构,而不使用任何特定于时间序列的设计或特征。也就是说,Chronos 使用分类分布对观测数据建模,通过分类进行回归。

其他时间序列任务。与 Zhou 等人(2023a)的研究类似,最近的研究也对适用于各种时间序列任务的通用模型进行了研究,包括插补、预测、分类和异常检测。Wu 等人(2023 年)开发了基于Inception模型的任务通用骨干网。为了使用基于CNN的Inception模型,需要将一维时间序列转换为二维图像式表示,具体方法是根据周期性对时间序列进行分段并堆叠分段。SimMTM是针对时间序列的掩码预训练框架,可学习一般的时间序列表示,然后通过微调用于预测和分类。虽然我们在这项工作中重点关注的是单变量时间序列预测,但基于其在未见时间序列数据集上的出色表现,我们假设Chronos可以学习一般表征,从而有可能用于预测以外的任务。

Chromos:时间序列的语言模型框架

在本节中,我们将介绍 Chronos,这是一个将现有语言模型架构和训练程序应用于概率时间序列预测的框架。虽然语言和时间序列在本质上都是连续的,但它们在表示形式上有所不同——自然语言由有限词汇表中的单词组成,而时间序列则是实值。这种区别要求对现有的语言建模框架进行特定的修改,特别是在tokenized方面,以使其适用于时间序列数据。尽管如此,由于现有的Transformer模型在语言任务中表现出色,我们的设计理念是对模型架构和训练过程进行最小限度的修改。

用于时间序列的Tokenization

考虑一个时间序列 x 1 : C + H = [ x 1 , ⋯   , x C + H ] x_{1:C+H} = [x_1, \cdots ,x_{C+H}] x1:C+H​=[x1​,⋯,xC+H​],其中,前 C C C个时间步构成历史信息,其余 H H H个时间步代表预测范围。语言模型的操作对象是有限词汇中的词块,因此将其用于时间序列数据需要将观测值 x i ∈ R x_i \in R xi​∈R映射到有限的词块集中。为此,我们首先对观察数据进行缩放,然后将其量化为固定数量的箱(bins)。

缩放。即使在同一个数据集中,时间序列的规模也会有很大差异。这给深度学习模型的优化带来了挑战。因此,需要对单个时间序列进行归一化处理,以便更好地进行优化。就Chronos而言,归一化的目的是将时间序列值映射到适合量化的范围内。常见的归一化技术包括对时间序列进行仿射变换,即 x ~ i = ( x i − m ) / s \tilde{x}_i = (x_i - m)/s x~i​=(xi​−m)/s。我们选择了均值缩放,这种方法已经在常用的深度学习模型中被证明是有效的,但其他方法也是可行的,而且只需要做最小的改动。 均值缩放是根据历史数值绝对值的平均值对时间序列的数值进行归一化处理。具体的,设 m = 0 m=0 m=0, s = 1 C ∑ i = 1 C ∣ x i ∣ s = \frac{1}{C}\sum^{C}_{i=1}|x_i| s=C1​

《Chronos: Learning the Language of Time Series》 本文提出了Chronos,一个简单而有效的预训练概率时间序列模型框架。Chronos通过缩放和量化将时间序列值标记化为固定词汇,并利用现有的基于变换器的语言模型架构进行训练。我们在多个公开数据集和合成数据集上预训练了Chronos模型,并在42个数据集的基准测试中显示出其在训练数据集上的显著优势,以及在新数据集上的零-shot性能。结果表明,Chronos能够有效利用多领域的时间序列数据,简化预测流程。 阅读详情

相关推荐

Chronos:学习时间序列的大语言模型(代码解析)

Chronos:学习时间序列的大语言模型(代码解析),对关键类进行了逐行代码解析,并对需要注意的地方进行了说明。

qq_20144897的博客 2931

Chronos:学习时间序列的大语言模型(训练、微调代码解析)

Chronos:学习时间序列的大语言模型(训练、微调代码解析)

qq_20144897的博客 3437

Chronos:亚马逊最新的时间序列预测基础模型

深入了解 Chronos、其内部工作原理,以及如何使用 Python 将其应用到您的预测项目中。

探索人工智能领域 2156

Chronos微调实战:用大语言模型进行时间序列预测

时间序列预测广泛应用于电力负荷、零售销量等场景,传统统计模型难以捕捉节假日脉冲等复杂模式,深度学习模型又依赖大量数据。大语言模型的出现提供了新思路:通过将连续数值分箱离散化为token,将序列预测转化为文本生成问题,从而复用Transformer架构的预训练能力。Chronos基于T5模型,在大规模多领域时间序列上预训练,能够学习通用的趋势与周期模式;在此基础上,利用领域数据进行轻量微调,可显著提升预测精度,尤其在数据量有限时比从头训练LSTM更具优势。本文以电力负荷预测为例,完整介绍Chronos的环境搭

weixin_42662605的博客 319

医药行业新零售项目数据分析报告——基于Excel的分析与可视化

不同平台客户支付金额用数字+百分比展示更直观。各大区支付金额分析较为粗浅,后续可加入不同大区人数、配送费等进行细分分析。图表略微单一,可采用组合图,运用两个及以上维度对数据进行分析。数据来源本项目数据来源于某机构的项目案例,以上分析内容均为本人原创,不涉嫌抄袭。原做项目,新平台首发。

2401_84213513的博客 1497

基于YOLO11深度学习的糖尿病视网膜病变智能诊断系统【Python源码+Pyqt5界面+数据集+训练代码】

本文详细介绍如何利用YOLO11深度学习技术构建糖尿病视网膜病变智能诊断系统。项目提供完整的Python源码、PyQt5图形界面、标注数据集及训练代码,实现从图片、视频到摄像头的多模态病变检测,旨在辅助医疗筛查,提升诊断效率。

weixin_29089057的博客 280

详解卷积神经网络(CNN)

卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。

qq_25762497的博客 25万+

Ollama内网离线部署大模型实战:从模型文件到私有化服务

本文详细介绍了如何在内网离线环境下,利用Ollama部署私有化大模型服务。内容涵盖从获取GGUF格式模型文件、手动安装Ollama、编写核心Modelfile配置文件,到创建运行模型、性能调优及安全加固的全流程实战指南,旨在帮助企业安全、可控地构建内部AI能力。

weixin_29209805的博客 224

【系统架构设计师】二十三、通信系统架构设计理论与实践①

通信网络主要形式:局域网、广域网、移动通信网。 局域网网络架构有 4 种类型:单核心架构、双核心架构、环型架构、层次型架构。 广域网属于多级网络,通常由骨干网、分布网、接入网组成。在网络规模较小时,可仅由骨干网和接入网组成。通常,在大型网络构建中,通过广域网将分布在各地域的局域网互连起来,形成一个大的网络。 移动通信网为移动互联网提供了强有力的支持,尤其是5G 网络为个人用户、垂直行业等 提供了多样化的服务。

帅次的博客 3769

【部署】Kimi 接入OpenClaw完整步骤及关键注意事项

本文详细介绍了如何将Kimi AI接入OpenClaw系统的完整步骤。首先需确保环境满足OpenClaw版本要求和系统支持,然后通过配置向导完成本地网关设置和Kimi模型接入,包括API密钥配置。文章提供了详细的命令操作和界面截图指导,并重点说明了安全警告处理、服务状态检查、API密钥有效性验证等关键注意事项。最后还展示了Kimi流量消耗明细和问题排查方法,帮助用户顺利完成接入并解决常见问题。整个流程清晰明了,涵盖了从环境准备到最终验证的全部环节。

海兰 7245

Spine骨骼动画查看器 - Skeleton Viewer

骨骼动画是现代游戏和动画制作中常用的技术之一。Spine骨骼动画查看器(Skeleton Viewer)是一个官方提供的工具,用于查看和调试Spine骨骼动画。本文将介绍Skeleton Viewer的功能和使用方法,并提供相应的源代码示例。通过Skeleton Viewer,开发者可以直观地查看和调试Spine骨骼动画,包括骨骼结构、动画播放和事件触发等。这有助于提高骨骼动画的质量和效果,并加速开发过程。以上代码演示了如何使用Skeleton Viewer查看和播放Spine骨骼动画。

HsvvDatabase的博客 3477

2026.3.21:Ubuntu26.04 apt换国内源 清华源 阿里源 中科大源 163源

作为 LTS 版本,它会有 5 年的常规维护和安全更新。如果订阅 Ubuntu Pro,还能享受额外7年的支持。也就是说, Ubuntu Pro将享有长达 12 年的系统更新保障!接下来,我们将重点介绍 Ubuntu 24.04 LTS 中那些值得关注的新特性,以方便你决定是否进行升级。Ubuntu 24.04 LTS,代号 「Noble Numbat」,即将与我们见面!Canonical 已经宣布, Ubuntu 24.04 LTS。源文件地址 已经更换为。

拥抱具身智能,昇腾Ascend C 9100

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

上一篇: 使用LoRA和QLoRA微调LLMs:数百次实验的见解
下一篇: 使用PyTorch从头实现Transformer
羽星_s
博客等级 码龄12年 1554粉丝 180原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羽星_s

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址