最近在和大佬朋友們交流的時候，發(fā)現(xiàn)時間序列領(lǐng)域有一個很有潛力的新方向：大模型+時間序列。

大模型可以處理不同類型的時間序列數(shù)據(jù)，例如文本、圖像、音頻等，也可以適應(yīng)不同的時間序列數(shù)據(jù)的變化和異常情況，有助于提高時間序列預(yù)測的準(zhǔn)確性和穩(wěn)定性。另外，大模型還可以通過文本形式提供解釋性的時間序列預(yù)測結(jié)果，從而幫助我們更好地理解時間序列數(shù)據(jù)的模式和趨勢。

為了方便想發(fā)論文的同學(xué)，學(xué)姐今天就來分享該領(lǐng)域的15篇必讀論文，這些文章主要涉及2大方向，一是用大模型處理時間序列，二是訓(xùn)練時間序列領(lǐng)域的大模型。

論文原文及模型代碼都整理好了，需要的同學(xué)看下面：

掃碼添加小享，回復(fù)“LLM時序”

免費(fèi)獲取全部論文+源碼合集

大模型處理時間序列

通用領(lǐng)域

1.Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

通過重新編程大型語言模型進(jìn)行時間序列預(yù)測

簡述：Time-LLM是一種重新編程大型語言模型（LLM）以進(jìn)行通用時間序列預(yù)測的方法，通過將輸入的時間序列與文本原型重新編程并使用Prompt-as-Prefix（PaP）來增強(qiáng)LLM對時間序列數(shù)據(jù)的推理能力。

2.OFA：One Fits All:Power General Time Series Analysis by Pretrained LM

通過預(yù)訓(xùn)練語言模型實(shí)現(xiàn)強(qiáng)大的一般性分析

簡述：本文介紹了一種名為Frozen Pretrained Transformer（FPT）的通用時間序列分析方法，利用預(yù)訓(xùn)練的語言或圖像模型來解決時間序列分析任務(wù)中的缺乏大量數(shù)據(jù)的問題。

3.PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

一種新的基于提示的時間序列預(yù)測學(xué)習(xí)范式

簡述：本文提出了一種名為PromptCast的基于提示的時間序列預(yù)測方法，將數(shù)值輸入和輸出轉(zhuǎn)化為提示，以句子到句子的方式進(jìn)行預(yù)測任務(wù)，并引入大型數(shù)據(jù)集PISA進(jìn)行評估。該方法具有可行性和有效性，并在零樣本設(shè)置下表現(xiàn)出更好的泛化能力。

4.TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting

用于時間序列預(yù)測的基于提示的生成式預(yù)訓(xùn)練Transformer模型

簡述：本文提出了一種新型框架TEMPO，利用時間序列任務(wù)的兩個重要?dú)w納偏置來預(yù)訓(xùn)練模型，并在多個時間序列基準(zhǔn)數(shù)據(jù)集上表現(xiàn)出優(yōu)于現(xiàn)有方法的性能。

5.TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series

TEST: 文本原型對齊嵌入以激活LLM的時間序列能力

簡述：本文提出了TEST的方法，首先將TS進(jìn)行標(biāo)記化，然后構(gòu)建一個編碼器，通過實(shí)例、特征和文本原型對齊對比來嵌入它們，接著創(chuàng)建提示讓LLM更加開放地接受嵌入，并最終實(shí)現(xiàn)TS任務(wù)。在8個不同結(jié)構(gòu)和規(guī)模的LLM上的實(shí)驗(yàn)證明了該方法的可行性。

6.LLM4TS: Two-Stage Fine-Tuning for Time-Series Forecasting with Pre-Trained LLMs

基于預(yù)訓(xùn)練llms的時間序列預(yù)測的兩階段微調(diào)

簡述：本文提出了LLM4TS方法，利用預(yù)訓(xùn)練的大型語言模型（LLM）增強(qiáng)時間序列預(yù)測。通過兩階段微調(diào)過程和參數(shù)高效微調(diào)技術(shù)，增強(qiáng)了LLM處理時間序列數(shù)據(jù)的能力，并在長期預(yù)測方面取得了最先進(jìn)的結(jié)果。

7.Large Language Models Are Zero-Shot Time Series Forecasters

大型語言模型是零射擊時間序列預(yù)測器

簡述：論文發(fā)現(xiàn)大型語言模型（如GPT-3和LLaMA-2）可以零樣本推斷時間序列，其性能可能超過針對下游任務(wù)進(jìn)行訓(xùn)練的專用時間序列模型。為了促進(jìn)這種性能，作者提出了有效標(biāo)記化時間序列數(shù)據(jù)和將離散分布轉(zhuǎn)換為高度靈活的連續(xù)值密度的程序。

特定領(lǐng)域

1.（交通）Leveraging Language Foundation Models for Human Mobility Forecasting

利用語言基礎(chǔ)模型進(jìn)行人類移動預(yù)測

簡述：本文提出了一種新穎的流程，利用語言基礎(chǔ)模型進(jìn)行時間序列模式挖掘，例如人類移動預(yù)測任務(wù)。作者設(shè)計(jì)了一個AuxMobLCast的方法，通過引入特定的提示將數(shù)值時間序列轉(zhuǎn)換為句子，使現(xiàn)有的語言模型可以直接應(yīng)用于預(yù)測任務(wù)。

2.（金融）Temporal Data Meets LLM -- Explainable Financial Time Series Forecasting

可解釋的金融時間序列預(yù)測

簡述：本文提出了一種新穎的研究方法，利用大型語言模型（LLMs）出色的知識和推理能力進(jìn)行可解釋的金融時間序列預(yù)測。展示了LLMs在解決金融時間序列預(yù)測中的跨序列推理和推斷困難、融入多模態(tài)信號的障礙以及解釋和說明模型結(jié)果的問題方面的潛力。

掃碼添加小享，回復(fù)“LLM時序”

免費(fèi)獲取全部論文+源碼合集

3.（金融）The Wall Street Neophyte: A Zero-Shot Analysis of ChatGPT Over MultiModal Stock Movement Prediction Challenges

ChatGPT在多模態(tài)股票走勢預(yù)測挑戰(zhàn)中的零射擊分析

簡述：本文對ChatGPT在多模態(tài)股票運(yùn)動預(yù)測中的能力和局限性進(jìn)行了廣泛的零射擊分析，結(jié)果表明ChatGPT在預(yù)測股票運(yùn)動方面表現(xiàn)不佳，不僅落后于最先進(jìn)的方法，還落后于使用價(jià)格特征的線性回歸等傳統(tǒng)方法。

4.（金融）Instruct-fingpt: Financial sentiment analysis by instruction tuning of general-purpose large language models

通過通用大型語言模型的指令調(diào)優(yōu)進(jìn)行金融情感分析

簡述：本文介紹了一種簡單而有效的指令調(diào)優(yōu)方法，通過將一小部分有監(jiān)督的金融情感分析數(shù)據(jù)轉(zhuǎn)化為指令數(shù)據(jù)，并使用該方法微調(diào)通用大型語言模型，顯著提高了金融情感分析的效果。

5.（醫(yī)療）Large Language Models are Few-Shot Health Learners

大型語言模型少樣本健康學(xué)習(xí)

簡述：本文證明，只需進(jìn)行少數(shù)幾次調(diào)整，大型語言模型就能夠?qū)⒏鞣N生理和行為時間序列數(shù)據(jù)與文本聯(lián)系起來，并在臨床和健康領(lǐng)域?qū)υS多健康任務(wù)進(jìn)行有意義的推斷。

6.（醫(yī)療）Frozen language model helps ecg zero-shot learning

凍結(jié)語言模型幫助心電圖零樣本學(xué)習(xí)

簡述：METS是一種利用自動生成的臨床報(bào)告指導(dǎo)ECG SSL預(yù)訓(xùn)練的方法，通過最大化配對ECG和自動生成的報(bào)告之間的相似度，最小化ECG和其他報(bào)告之間的相似度，實(shí)現(xiàn)了在不使用任何注釋數(shù)據(jù)的情況下進(jìn)行零次分類。

時間序列領(lǐng)域大模型

1.TimeGPT-1

簡述：本文介紹了TimeGPT，這是第一個用于時間序列的基礎(chǔ)模型，能夠?yàn)樵谟?xùn)練期間未見過的各種數(shù)據(jù)集生成準(zhǔn)確的預(yù)測。作者評估了預(yù)訓(xùn)練模型與已建立的統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法之間的性能，證明TimeGPT零次推理在性能、效率和簡單性方面表現(xiàn)出色。

2.Lag-Llama: Towards Foundation Models for Time Series Forecasting

邁向時間序列預(yù)測的基礎(chǔ)模型

簡述：為了建立時間序列預(yù)測的基礎(chǔ)模型并研究它們的縮放行為，論文介紹了Lag-Llama的工作進(jìn)展。 Lag-Llama是一種通用的單變量概率時間序列預(yù)測模型，在大量時間序列數(shù)據(jù)集上進(jìn)行訓(xùn)練。該模型在未見過“分布外”時間序列數(shù)據(jù)集時表現(xiàn)出良好的零次預(yù)測能力，優(yōu)于有監(jiān)督的基線方法。

掃碼添加小享，回復(fù)“LLM時序”

免費(fèi)獲取全部論文+源碼合集