前言
- 《Chronos: Learning the Language of Time Series》原文地址
- GitHub项目地址Some-Paper-CN。本项目是译者在学习长时间序列预测、CV、NLP和机器学习过程中精读的一些论文,并对其进行了中文翻译。还有部分最佳示例教程。
- 如果有帮助到大家,请帮忙点亮Star,也是对译者莫大的鼓励,谢谢啦~
摘要
本文介绍了一个简单而有效的预训练概率时间序列模型框架Chronos。Chronos使用缩放(scaling)和量化(quantization)技术将时间序列标记为固定词汇,并通过交叉熵损失在这些标记化(tokenized)的时间序列上训练基于Transformer的语言模型架构。我们在大量公开数据集上预训练了基于T5系列的Chronos模型(参数范围从20M到710M),并通过高斯过程生成了一个合成数据集作为补充,以提高泛化能力。在由42个数据集组成,同时包含经典局部模型和深度学习方法的综合基准测试中,我们发现Chronos模型:(a)在属于训练语料库的数据集上的表现明显优于其他方法;(b)在新数据集上,与专门训练过的方法相比,Chronos模型具有不相上下甚至有时更优越的性能。我们的研究结果表明,Chronos模型可以利用来自不同领域的时间序列数据提高未见预测任务的zero-shot准确率,预训练模型是简化预测管道的可行工具。
引言
时间序列预测是零售、能源、金融、医疗保健、气候科学等各个领域决策的重要组成部分。传统上,预测主要使用 ARIMA 和 ETS 等统计模型。至少在最近转向深度学习技术之前,这些模型一直是可靠的工具。这种转变可归因于大量、多样的时间序列数据源的可用性,以及业务预测问题的出现,这些都发挥了深度预测的优势,即从大量时间序列中提取模式的能力。尽管深度预测器的性能令人印象深刻,但它们仍然是在同一数据集上进行训练和预测的标准系统。虽然已有研究致力于转移学习和领域适应预测,但该领域尚未形成统一的通用预测模型,而这一目标仍是时间序列研究人员的指路明灯。
具有zero-short学习能力的大语言模型(LLM)的出现激发了人们对于开发时间序列“基础模型”的兴趣。在大语言模型的背景下,这种兴趣是通过两个主要途径来实现的:直接对预训练的LLMs使用提示词工程和针对时间序列任务微调LLM。然而,这些方法面临很大的局限性,特别是需要对每个新任务进行提示词工程或微调,并且大规模语言模型(GPT-3、Llama2)需要大量的计算资源和时间进行推理。最近的工作还探索了在大量真实或合成时间序列数据语料上,通过复杂的时间序列特定设计,对基于Transformer的模型进行预训练。
在这项工作中,我们回过头来问:预测下一个token的语言模型与预测下一个值的时间序列预测模型之间有什么本质区别?尽管表面上有区别——来自有限字典的token与来自无边界、通常是连续领域的值——但从根本上说,这两种工作都旨在对数据的序列结构进行建模,以预测未来的模式。优秀的语言模型难道不应该在时间序列上“顺利工作”吗?这个简单的问题促使我们挑战针对时间序列特定修改的必要性,回答这个问题促使我们开发了Chronos,一个最小化地适用于时间序列预测的语言建模框架。Chronos通过对实值进行简单的缩放和量化,将时间序列标记为离散的分段。这样,我们就可以在这种 "时间序列语言 "上训练现成的语言模型,而无需改变模型架构(Chronos的深层描述见图1)。值得注意的是,这种直截了当的方法证明是有用和高效的,凸显了语言模型架构的潜力,只需最小的改动就能解决广泛的时间序列问题。

图 1:Chronos深层描述。(左)输入时间序列经过缩放和量化,得到一个序列的tokens。(中)标记被输入到语言模型中,该模型可以是encoder-decoder或仅decoder模型。该模型使用交叉熵损失进行训练。(右)在推理过程中,自回归地从模型中抽取tokens,并将它们映射回数值。通过抽取多个轨迹来得到预测分布。
为了开发一种有用的通用时间序列预测模型,公开可用的时间序列数据集稀缺性(无论在数量还是质量上)可能比建模框架更为关键。除了我们用来训练Chronos的公开数据集外,另一个核心方面是数据增强策略的整合,包括TSMix和KernelSynth。TSMix从不同的训练数据集中随机选取一组基础时间序列,并基于它们的凸组合生成新的时间序列;KernelSynth使用高斯过程通过随机组合核函数来生成合成的时间序列。这些技术解决了时间序列预测中小型训练数据集的固有限制,增强了模型的稳健性和泛化能力。
根据我们对42个数据集的全面评估,将Chronos设为领域内和zero-shot预测的基准,超越了传统模型和特定任务的深度学习方法。值得注意的是,Chronos出色的实现了zero-short预测,无需针对特定任务进行调整。其精度,加上相对适中的模型大小,使其成为zero-short领域更大、计算需求更高模型的选择。作为一种在固定词汇表上运作的语言模型,Chronos可以与未来的LLMs进步无缝集成,使其成为作为通用时间序列模型进一步开发的理想候选者。
本文接下来的内容安排如下。第2节介绍了时间序列预测和语言模型的背景,并讨论了相关工作。第3节介绍了我们提出的时间序列语言建模框架Chronos。第4节讨论我们的数据增强技术和合成时间序列生成过程。第5节介绍了我们的主要成果以及对不同设计选择的严格分析。我们在第6节讨论了未来的发展方向,并在第7节总结了本文。其他材料见附录。
背景及相关工作
时间序列预测涉及使用相关历史数据预测其未来值。形式上,给定一个均匀间隔的时间序列 x 1 : C = [ x 1 , ⋯ , x C ] x_{1:C} = [x_1,\cdots,x_C] x1:C=[x1,⋯,xC],我们感兴趣的是预测接下来H个步长的联合分布情况, p ( x C + 1 : c + H ∣ x 1 : C ) p(x_{C+1:c+H}|x_{1:C}) p(xC+1:c+H∣x1:C)。在这项工作中,我们的重点是单变量预测,即观测值为标量,对于所有 i i i, x i ∈ R x_i \in R xi∈R。
时间序列预测有多种不同的方法,大致可分为经典预测方法和深度学习方法。经典预测方法(如ETS、ARIMA、Theta)对每个时间序列独立拟合一个单独的模型。相比之下,深度学习预测模型则对给定数据集中的所有时间序列进行学习(被称为全局模型)。这些方法利用了深度学习的先进技术,如DeepState、DeepAR、TimeGrad使用的RNN,以及TFT和PatchTST使用的Transformer。除了架构的选择,这些方法对目标建模的方式也不尽相同,有的对密度函数建模,有的则直接预测一组量值。不过,并非所有模型都能进行概率预测:特别是Informer和DLinear等模型只能进行点预测。
**大型语言模型(LLM)**在各种自然语言处理任务中表现出令人印象深刻的性能。给定输入tokens序列, w 1 : k = [ w 1 , ⋯ , w k ] w_{1:k} = [w_1, \cdots ,w_k] w1:k=[w1,⋯,wk],语言模型旨在预测下一个tokens, w k + 1 w_{k+1} wk+1,建立条件分布模型 p ( w k + 1 ∣ w 1 : k ) p(w_{k+1}|w_{1:k}) p(wk+1∣w1:k)。tokens属于一个词汇表(vocabulary), V V V,tokens可以是字符、子词或词,具体取决于所使用的tokenization方案。
大多数现代LLM都基于Transformer架构。最初的Transformer架构是为机器翻译设计的encoder-decoder模型。encoder将某种语言的输入句子映射为连续表示,decoder使用输入表示和先前解码的token逐个生成翻译。许多流行的语言模型,如BART和T5,都属于这个系列。另一种流行的LLM架构是GPT-3和Llama 2中使用的纯decoder架构,即模型只关注当前标记之前的标记。LLM通常是在非常庞大的文本语料库中进行训练的,其参数数量从数百万到数千亿不等。读者可参阅Zhao等人(2023 年)对这一研究领域的最新调查。
基于LLM的预测器。受预训练LLM的成功启发,最近的研究表明LLM是一种通用模式识别器,并开发了几种将LLM应用于时间序列领域的方法。其中一种方法是将数值时间序列数据视为原始文本,直接使用预训练的 LLMs,只需极少或无需微调即可预测未见的时间序列。PromptCast将时间序列数据转换为基于文本的输入和输出对,并将预测问题重新表述为问题解答任务,从而利用预训练的 LLM 进行预测。不过,PromptCast 需要特定于数据集的模板来将数字数据转换为文本提示。LLMTime也许是最直接的基于LLM的预测模型,它在各种基准时间序列数据集上清楚地证明了预训练LLM的zero-shot预测能力。LLMTime提出了一种新的标记化方案,在固定数值精度和适当缩放数据后,将实值数据编码为数字字符串。一旦编码为字符串,预测结果就能从GPT-3和Llama 2等经过预训练的LLM在zero-short的情况下获得。不过,使用这种计算负荷高的模型会影响LLMTime的可扩展性和实用性。
Zhou 等人(2023a)以预训练的GPT-2模型为骨干,针对不同的时间序列分析任务提出了一个统一的万能模型(GPT4TS),并且只对每个任务的位置嵌入和归一化层参数进行微调。与PatchTST相似,他们没有使用标记化输入,而是直接向模型提供patch嵌入。最近的工作TimeLLM将LLM用于时间序列预测,方法是将时间序列patch的嵌入与文本原型对齐,并用这些对齐的嵌入和描述任务的自然语言提示(冻结的)LLM。与 Chronos不同,GPT4TS和TimeLLM都需要进行域内训练或微调,即在每个数据集上分别进行微调和测试。此外,上述方法都是基于提示词或微调预训练的LLM。相比之下,Chronos则是在大量时间序列上从头开始训练语言模型,并通过缩放和量化进行tokenized。
Zero-shot预测。zero-shot预测是指模型在从未见过的数据集上时间序列预测的能力。zero-shot预测的一些早期工作是在单个时间序列数据集上进行训练,然后在不同的数据集上进行测试。ForecastPFN解决zero-shot预测问题的方法是,根据预定趋势和季节性生成的合成数据上训练一个基于Transformer的模型。然后,训练好的Transformer模型将被用于预测真实世界中的zero-shot时间序列。 在这项工作中,我们还提出了一种从高斯过程生成合成时间序列数据的方法(第 4.2 节);不过,我们将合成数据与真实数据结合起来使用,以训练 Chronos 模型,从而提高了zero-shot误差性能。此外,Chronos模型是概率模型,而 ForecastPFN只能生成点预测。
最近的一些研究还通过在大量时间序列数据上对基于Transformer的架构进行预训练,开发了zero-shot预测模型。这些模型对时间序列的实值进行操作,并包含时间序列的特定设计,如时间特征、滞后、修补和实值分布等。相比之下,Chronos采用的是一种简约方法,它将时间序列值标记为固定词汇,并在这些标记上训练现有的语言模型架构,而不使用任何特定于时间序列的设计或特征。也就是说,Chronos 使用分类分布对观测数据建模,通过分类进行回归。
其他时间序列任务。与 Zhou 等人(2023a)的研究类似,最近的研究也对适用于各种时间序列任务的通用模型进行了研究,包括插补、预测、分类和异常检测。Wu 等人(2023 年)开发了基于Inception模型的任务通用骨干网。为了使用基于CNN的Inception模型,需要将一维时间序列转换为二维图像式表示,具体方法是根据周期性对时间序列进行分段并堆叠分段。SimMTM是针对时间序列的掩码预训练框架,可学习一般的时间序列表示,然后通过微调用于预测和分类。虽然我们在这项工作中重点关注的是单变量时间序列预测,但基于其在未见时间序列数据集上的出色表现,我们假设Chronos可以学习一般表征,从而有可能用于预测以外的任务。
Chromos:时间序列的语言模型框架
在本节中,我们将介绍 Chronos,这是一个将现有语言模型架构和训练程序应用于概率时间序列预测的框架。虽然语言和时间序列在本质上都是连续的,但它们在表示形式上有所不同——自然语言由有限词汇表中的单词组成,而时间序列则是实值。这种区别要求对现有的语言建模框架进行特定的修改,特别是在tokenized方面,以使其适用于时间序列数据。尽管如此,由于现有的Transformer模型在语言任务中表现出色,我们的设计理念是对模型架构和训练过程进行最小限度的修改。
用于时间序列的Tokenization
考虑一个时间序列 x 1 : C + H = [ x 1 , ⋯ , x C + H ] x_{1:C+H} = [x_1, \cdots ,x_{C+H}] x1:C+H=[x1,⋯,xC+H],其中,前 C C C个时间步构成历史信息,其余 H H H个时间步代表预测范围。语言模型的操作对象是有限词汇中的词块,因此将其用于时间序列数据需要将观测值 x i ∈ R x_i \in R xi∈R映射到有限的词块集中。为此,我们首先对观察数据进行缩放,然后将其量化为固定数量的箱(bins)。
缩放。即使在同一个数据集中,时间序列的规模也会有很大差异。这给深度学习模型的优化带来了挑战。因此,需要对单个时间序列进行归一化处理,以便更好地进行优化。就Chronos而言,归一化的目的是将时间序列值映射到适合量化的范围内。常见的归一化技术包括对时间序列进行仿射变换,即 x ~ i = ( x i − m ) / s \tilde{x}_i = (x_i - m)/s x~i=(xi−m)/s。我们选择了均值缩放,这种方法已经在常用的深度学习模型中被证明是有效的,但其他方法也是可行的,而且只需要做最小的改动。 均值缩放是根据历史数值绝对值的平均值对时间序列的数值进行归一化处理。具体的,设 m = 0 m=0 m=0, s = 1 C ∑ i = 1 C ∣ x i ∣ s = \frac{1}{C}\sum^{C}_{i=1}|x_i| s=C1
2931



被折叠的 条评论
为什么被折叠?



