時間序列的基礎(chǔ)模型像自然語言處理那樣存在嗎

時間序列預(yù)測領(lǐng)域在最近的幾年有著快速的發(fā)展，比如N-BEATS、N-HiTS、PatchTST和TimesNet。

大型語言模型(LLM)最近在ChatGPT等應(yīng)用程序中變得非常流行，因為它們可以適應(yīng)各種各樣的任務(wù)，而無需進一步的訓練。

這就引出了一個問題： 時間序列的基礎(chǔ)模型能像自然語言處理那樣存在嗎？ 一個預(yù)先訓練了大量時間序列數(shù)據(jù)的大型模型，是否有可能在未見過的數(shù)據(jù)上產(chǎn)生準確的預(yù)測?

通過Azul Garza和Max Mergenthaler-Canseco提出的 TimeGPT-1 ，作者將llm背后的技術(shù)和架構(gòu)應(yīng)用于預(yù)測領(lǐng)域，成功構(gòu)建了第一個能夠進行零樣本推理的時間序列基礎(chǔ)模型。

在本文中，我們將探索TimeGPT背后的體系結(jié)構(gòu)以及如何訓練模型。然后，我們將其應(yīng)用于預(yù)測項目中，以評估其與其他最先進的方法(如N-BEATS, N-HiTS和PatchTST)的性能。

TimeGPT

TimeGPT是為時間序列預(yù)測創(chuàng)建基礎(chǔ)模型的第一次嘗試。

從上圖中，我們可以看到TimeGPT背后的一般思想是在來自不同領(lǐng)域的大量數(shù)據(jù)上訓練模型，然后對未見過的數(shù)據(jù)產(chǎn)生零樣本的推斷。

這種方法依賴于遷移學習，遷移學習是指模型利用在訓練過程中獲得的知識解決新任務(wù)的能力。這種方式只有當模型足夠大，并且在大量數(shù)據(jù)上進行訓練時才有效。

為此，作者對TimeGPT進行了超過1000億個數(shù)據(jù)點的訓練，這些數(shù)據(jù)點都來自開源的時間序列數(shù)據(jù)。該數(shù)據(jù)集涵蓋了廣泛的領(lǐng)域，從金融、經(jīng)濟和天氣，到網(wǎng)絡(luò)流量、能源和銷售。

但是這里作者沒有披露用于管理1000億個數(shù)據(jù)點的公共數(shù)據(jù)的來源。

這種多樣性對于基礎(chǔ)模型的成功至關(guān)重要，因為它可以學習不同的時間模式，因此可以更好地進行泛化。

例如，我們可以預(yù)期天氣數(shù)據(jù)具有日季節(jié)性(白天比晚上熱)和年季節(jié)性，而汽車交通數(shù)據(jù)可以具有日季節(jié)性(白天路上的汽車比晚上多)和周季節(jié)性(一周內(nèi)路上的汽車比周末多)。

為了保證模型的魯棒性和泛化能力，預(yù)處理被保持在最低限度。事實上只有缺失的值被填充，其余的保持原始形式。雖然作者沒有具體說明數(shù)據(jù)輸入的方法，但我懷疑使用了某種插值技術(shù)，如線性、樣條或移動平均插值。

然后作者對模型進行多天的訓練，在此期間對超參數(shù)和學習率進行優(yōu)化。雖然作者沒有透露訓練需要多少天和gpu資源，但我們確實知道該模型是在PyTorch中實現(xiàn)的，并且它使用Adam優(yōu)化器和學習率衰減策略。

TimeGPT利用Transformer架構(gòu)。

從上圖中，我們可以看到TimeGPT使用了完整的編碼器-解碼器Transformer架構(gòu)。

輸入可以包括歷史數(shù)據(jù)窗口，也可以包括外生數(shù)據(jù)窗口，如準時事件或其他系列。

輸入被饋送到模型的編碼器部分。然后編碼器內(nèi)部的注意力機制從輸入中學習不同的屬性。然后將其輸入解碼器，解碼器使用學習到的信息進行預(yù)測。預(yù)測序列在達到用戶設(shè)置的預(yù)測范圍長度時結(jié)束。

值得注意的是，作者已經(jīng)在TimeGPT中實現(xiàn)了適形預(yù)測，允許模型根據(jù)歷史誤差估計預(yù)測間隔。

考慮到TimeGPT是為時間序列構(gòu)建基礎(chǔ)模型的第一次嘗試，它具有一系列廣泛的功能。

TimeGPT的功能總結(jié)：

首先 ，TimeGPT是一個預(yù)先訓練的模型，這意味著可以生成預(yù)測，而不需要對數(shù)據(jù)進行特定的訓練。盡管如此，還是可以根據(jù)我們的數(shù)據(jù)對模型進行微調(diào)。

其次 ，該模型支持外生變量來預(yù)測我們的目標，也就是說可以處理多變量預(yù)測任務(wù)。

最后 ，使用保形預(yù)測，TimeGPT可以估計預(yù)測區(qū)間。這反過來又允許模型執(zhí)行異常檢測。如果一個數(shù)據(jù)點落在99%的置信區(qū)間之外，那么模型將其標記為異常。

所有這些任務(wù)都可以通過零樣本推理或一些微調(diào)來實現(xiàn)，這是時間序列預(yù)測領(lǐng)域范式的根本轉(zhuǎn)變。

現(xiàn)在我們對TimeGPT有了更扎實的了解，了解了它是如何工作的，以及它是如何訓練的，讓我們來看看實際的模型。

TimeGPT進行預(yù)測

現(xiàn)在讓我們將TimeGPT應(yīng)用于預(yù)測任務(wù)，并將其性能與其他模型進行比較。

在撰寫本文時，TimeGPT只能通過API訪問，并且還處于封閉測試階段。我提交申請，并獲得了免費使用該模型兩周的授權(quán)。

如前所述，該模型是在來自公開可用數(shù)據(jù)的1000億個數(shù)據(jù)點上進行訓練的。由于作者沒有指定使用的實際數(shù)據(jù)集，我認為在已知的基準數(shù)據(jù)集(如ETT或weather)上測試模型是不合理的，因為模型可能在訓練期間看到了這些數(shù)據(jù)。

因此，我使用了自己的數(shù)據(jù)集，數(shù)據(jù)集現(xiàn)在在GitHub上公開可用，最重要的是TimeGPT沒有在這些數(shù)據(jù)上進行訓練。

導(dǎo)入庫并讀取數(shù)據(jù)

import pandas as pd
import numpy as np
import datetime
import matplotlib.pyplot as plt

from neuralforecast.core import NeuralForecast
from neuralforecast.models import NHITS, NBEATS, PatchTST

from neuralforecast.losses.numpy import mae, mse

from nixtlats import TimeGPT

%matplotlib inline

然后，為了訪問TimeGPT模型從文件中讀取API密鑰。

with open("data/timegpt_api_key.txt", 'r') as file:
API_KEY = file.read()

然后讀取數(shù)據(jù)。

 df = pd.read_csv('data/medium_views_published_holidays.csv')
 df['ds'] = pd.to_datetime(df['ds'])

 df.head()

從上圖中，我們可以看到數(shù)據(jù)集的格式與我們使用Nixtla的其他開源庫時的格式相同。

我們有一個unique_id列來標記不同的時間序列，但在本例中，我們只有一個序列。

y列表示我的博客每天的瀏覽量，published是一個簡單的標志，用來標記某一天有新文章發(fā)布(1)或沒有文章發(fā)布(0)。一般來說當新內(nèi)容發(fā)布時，瀏覽量通常會增加一段時間。

最后，列is_holiday表示美國是否有假日。在假期很少有人會訪問。

現(xiàn)在讓我們把我們的數(shù)據(jù)可視化。

published_dates = df[df['published'] == 1]

fig, ax = plt.subplots(figsize=(12,8))

ax.plot(df['ds'], df['y'])
ax.scatter(published_dates['ds'], published_dates['y'], marker='o', color='red', label='New article')
ax.set_xlabel('Day')
ax.set_ylabel('Total views')
ax.legend(loc='best')

fig.autofmt_xdate()


plt.tight_layout()

從上圖中，我們可以看到一些有趣的行為。首先，紅點表示新發(fā)表的文章，并且?guī)缀蹙o隨其后的是訪問高峰。

我們還注意到2021年的活動減少，這反映在日瀏覽量減少上。最后在2023年，我們注意到一篇文章發(fā)表后，訪問量出現(xiàn)了一些異常高峰。

放大數(shù)據(jù)，我們還發(fā)現(xiàn)了明顯的每周季節(jié)性。

從上圖中，可以看到周末訪問的訪客比平時少。

考慮到所有這些，讓我們看看如何使用TimeGPT進行預(yù)測。

首先，將數(shù)據(jù)集分成訓練集和測試集。在這里為測試集保留168個時間步長，這對應(yīng)于24周的每日數(shù)據(jù)。

train = df[:-168]
test = df[-168:]

然后使用7天的預(yù)測范圍，因為我對預(yù)測整個星期的每日視圖感興趣。

該API沒有附帶驗證的實現(xiàn)。因此我們創(chuàng)建自己的循環(huán)，一次生成七個預(yù)測，直到我們對整個測試集進行預(yù)測。

future_exog = test[['unique_id', 'ds', 'published', 'is_holiday']]

timegpt = TimeGPT(token=API_KEY)

timegpt_preds = []

for i in range(0, 162, 7):

timegpt_preds_df = timegpt.forecast(
df=df.iloc[:1213+i],
X_df = future_exog[i:i+7],
h=7,
finetune_steps=10,
id_col='unique_id',
time_col='ds',
target_col='y'
)

preds = timegpt_preds_df['TimeGPT']

timegpt_preds.extend(preds)

在上面的代碼塊中必須傳遞外生變量的未來值，因為它們是靜態(tài)變量，我們知道未來假期的日期，

這里我們還使用finetune_steps參數(shù)對TimeGPT進行了微調(diào)。

一旦循環(huán)完成就可以將預(yù)測結(jié)果添加到測試集中。TimeGPT一次生成7個預(yù)測，直到獲得168個預(yù)測，因此我們可以評估它預(yù)測下周每日瀏覽量的能力。

test['TimeGPT'] = timegpt_preds

test.head()

與N-BEATS, N-HiTS和PatchTST對比

現(xiàn)在我們用其他方法來進行對比，這里使用了N-BEATS, N-HiTS和PatchTST。

horizon = 7

models = [NHITS(h=horizon,
input_size=5*horizon,
max_steps=50),
NBEATS(h=horizon,
input_size=5*horizon,
max_steps=50),
PatchTST(h=horizon,
input_size=5*horizon,
max_steps=50)]

然后，我們初始化NeuralForecast對象并指定數(shù)據(jù)的頻率，在本例中是每天。

nf = NeuralForecast(models=models, freq='D')

在7個時間步驟的24個窗口上運行執(zhí)行驗證，以獲得與用于TimeGPT的測試集一致的預(yù)測。

preds_df = nf.cross_validation(
df=df,
static_df=future_exog ,
step_size=7,
n_windows=24
)

然后合并結(jié)果，這樣就得到了一個包含所有模型預(yù)測的單一DataFrame。

preds_df['TimeGPT'] = test['TimeGPT']

下面開始評估每個模型的性能。在度量性能指標之前，可視化一下測試集中每個模型的預(yù)測。

每個模型之間有很多重疊。我們確實注意到N-HiTS預(yù)測的兩個峰值在現(xiàn)實中沒有實現(xiàn)。此外PatchTST似乎經(jīng)常預(yù)測不足。但是TimeGPT似乎通常與實際數(shù)據(jù)重疊得很好。

但是評估每個模型性能的唯一方法是度量性能指標。在這里使用平均絕對誤差(MAE)和均方誤差(MSE)。另外我們做的一個動作是將預(yù)測四舍五入為整數(shù)，因為小數(shù)在每日訪問量上下文中是沒有意義的。

preds_df = preds_df.round({
'NHITS': 0,
'NBEATS': 0,
'PatchTST': 0,
'TimeGPT': 0
})

data = {'N-HiTS': [mae(preds_df['NHITS'], preds_df['y']), mse(preds_df['NHITS'], preds_df['y'])],
'N-BEATS': [mae(preds_df['NBEATS'], preds_df['y']), mse(preds_df['NBEATS'], preds_df['y'])],
'PatchTST': [mae(preds_df['PatchTST'], preds_df['y']), mse(preds_df['PatchTST'], preds_df['y'])],
'TimeGPT': [mae(preds_df['TimeGPT'], preds_df['y']), mse(preds_df['TimeGPT'], preds_df['y'])]}

metrics_df = pd.DataFrame(data=data)
metrics_df.index = ['mae', 'mse']

metrics_df.style.highlight_min(color='lightgreen', axis=1)

從上圖中可以看到TimeGPT是表現(xiàn)最好，它實現(xiàn)了最低的MAE和MSE，其次是N-BEATS, PatchTST和N-HiTS。

這是一個令人興奮的結(jié)果，因為TimeGPT從未見過這個數(shù)據(jù)集，并且只進行了幾個步驟的微調(diào)。雖然這不是一個詳盡的實驗，但我相信它確實展示了潛在的基礎(chǔ)模型在預(yù)測領(lǐng)域的潛力。

對TimeGPT的看法

TimeGPT是時間序列預(yù)測的第一個基礎(chǔ)模型。它利用了Transformer架構(gòu)，并在1000億個數(shù)據(jù)點上進行了預(yù)訓練，以便對新的未見過的數(shù)據(jù)進行零樣本推斷。該模型結(jié)合保形預(yù)測技術(shù)，無需特定數(shù)據(jù)集的訓練即可生成預(yù)測區(qū)間并進行異常檢測。

雖然TimeGPT的簡短實驗證明是令人興奮的，但原始論文在許多重要概念仍然含糊不清。

比如我們不知道使用了哪些數(shù)據(jù)集來訓練和測試模型，因此我們無法真正驗證TimeGPT的性能結(jié)果，如下所示。

從上表中可以看到TimeGPT在每月和每周頻率上表現(xiàn)最好，N-HiTS和TFT通常排名第二或第三。因為我們不知道使用了什么數(shù)據(jù)，所以我們無法驗證這些指標。

雖然TimeGPT看起來很好，但是它還是有2個問題要面對：

1、 當涉及到如何訓練模型以及如何調(diào)整模型來處理時間序列數(shù)據(jù)時缺乏透明度，可以認為是沒有任何的可解釋性。

2、 這個模型是用于商業(yè)用途的，這也就是為什么論文缺少細節(jié)，無法讓人通過論文來復(fù)制TimeGPT。當然這并沒有錯，因為畢竟是要賺錢的。但這就導(dǎo)致論文缺乏可重復(fù)性，沒人或再去研究和改進他。

雖然是這樣，但是我還是覺得這能激發(fā)時間序列基礎(chǔ)模型的新工作和研究，并且我們最終能看到這些模型的開源版本，就像我們在LLM中看到的那樣。