5個時間序列預測的深度學習模型對比總結(jié)：從模擬統(tǒng)計模型到可以預訓練的無監(jiān)督模型
時間序列預測在最近兩年內(nèi)發(fā)生了巨大的變化，尤其是在kaiming的MAE出現(xiàn)以后，現(xiàn)在時間序列的模型也可以用類似MAE的方法進行無監(jiān)督的預訓練
Makridakis M-Competitions系列（分別稱為M4和M5）分別在2018年和2020年舉辦（M6也在今年舉辦了）。對于那些不了解的人來說，m系列得比賽可以被認為是時間序列生態(tài)系統(tǒng)的一種現(xiàn)有狀態(tài)的總結(jié)，為當前得預測的理論和實踐提供了經(jīng)驗和客觀的證據(jù)。
2018年M4的結(jié)果表明，純粹的“ ML”方法在很大程度上勝過傳統(tǒng)的統(tǒng)計方法，這在當時是出乎意料的。在兩年后的M5[1]中，最的高分是僅具有“ ML”方法。并且所有前50名基本上都是基于ML的（大部分是樹型模型）。這場比賽看到了LightGBM（用于時間序列預測）以及Amazon's Deepar [2]和N-Beats [3]的首次亮相。N-Beats模型于2020年發(fā)布，并且優(yōu)于M4比賽的獲勝者3％！
最近的?Ventilator Pressure Prediction比賽展示了使用深度學習方法來應對實時時間序列挑戰(zhàn)的重要性。比賽的目的是預測機械肺內(nèi)壓力的時間順序。每個訓練實例都是自己的時間序列，因此任務是一個多個時間序列的問題。獲勝團隊提交了多層深度架構(gòu)，其中包括LSTM網(wǎng)絡和Transformer 塊。
在過去的幾年中，許多著名的架構(gòu)已經(jīng)發(fā)布，如MQRNN和DSSM。所有這些模型都利用深度學習為時間序列預測領(lǐng)域貢獻了許多新東西。除了贏得Kaggle比賽，還給我們帶來了更多的進步比如:
多功能性：將模型用于不同任務的能力。
MLOP：在生產(chǎn)中使用模型的能力。
解釋性和解釋性：黑盒模型并不那么受歡迎。
本文討論了5種專門研究時間序列預測的深度學習體系結(jié)構(gòu)，論文是：
N-BEATS?(ElementAI)
DeepAR?(Amazon)
Spacetimeformer?[4]
Temporal Fusion Transformer or TFT?(Google) [5]
TSFormer（時間序列中的MAE）[7]
N-BEATS
這種模式直接來自于(不幸的)短命的ElementAI公司，該公司是由Yoshua Bengio聯(lián)合創(chuàng)立的。頂層架構(gòu)及其主要組件如圖1所示:
N-BEATS是一個純粹的深度學習架構(gòu)，它基于集成前饋網(wǎng)絡的深度堆棧，這些網(wǎng)絡也通過正向和反向的相互連接進行堆疊。
每一個塊只對由前一個的backcast產(chǎn)生的殘差進行建模，然后基于該誤差更新預測。該過程模擬了擬合ARIMA模型時的Box-Jenkins方法。
以下是該模型的主要優(yōu)勢:
表達性強且易于使用:該模型易于理解，具有模塊化結(jié)構(gòu)，它被設(shè)計為需要最小的時間序列特征工程并且不需要對輸入進行縮放。
該模型具有對多個時間序列進行概括的能力。換句話說，分布略有不同的不同時間序列可以用作輸入。在N-BEATS中是通過元學習實現(xiàn)的。元學習過程包括兩個過程:內(nèi)部學習過程和外部學習過程。內(nèi)部學習過程發(fā)生在塊內(nèi)部，并幫助模型捕獲局部時間特征。外部學習過程發(fā)生在堆疊層，幫助模型學習所有時間序列的全局特征。
雙重殘差疊加:殘差連接和疊加的想法是非常巧妙的，它幾乎被用于每一種類型的深度神經(jīng)網(wǎng)絡。在N-BEATS的實現(xiàn)中應用了相同的原理，但有一些額外的修改:每個塊有兩個殘差分支，一個運行在回看窗口(稱為backcast)，另一個運行在預測窗口(稱為forecast)。
每一個連續(xù)的塊只對由前一個塊重建的backcast產(chǎn)生的殘差進行建模，然后基于該誤差更新預測。這有助于模型更好地逼近有用的后推信號，同時最終的堆棧預測預測被建模為所有部分預測的分層和。就是這個過程模擬了ARIMA模型的Box-Jenkins方法。
可解釋性:模型有兩種變體，通用的和可解釋性的。在通用變體中，網(wǎng)絡任意學習每個塊的全連接層的最終權(quán)值。在可解釋的變體中，每個塊的最后一層被刪除。然后將后推backcast和預測forecast分支乘以模擬趨勢(單調(diào)函數(shù))和季節(jié)性(周期性循環(huán)函數(shù))的特定矩陣。
注意:原始的N-BEATS實現(xiàn)只適用于單變量時間序列。
DeepAR
結(jié)合深度學習和自回歸特性的新穎時間序列模型。圖2顯示了DeepAR的頂層架構(gòu):
以下是該模型的主要優(yōu)勢:
來源鏈接：https://www.dianjilingqu.com/441420.html
