散文網(wǎng) » 科技 »學(xué)習(xí) » 模型推理耗時降低98%！PaddleTS又雙叒叕帶來重磅升級！

模型推理耗時降低98%！PaddleTS又雙叒叕帶來重磅升級！

2023-02-10 13:13 作者:飛槳PaddlePaddle 0人讀過 | 我要投稿

大家好，飛槳時序模型庫PaddleTS的重磅升級啦！今天為大家介紹帶來的是PaddleTS此次升級的核心內(nèi)容解讀，快來看看有沒有你所期待的新內(nèi)容！

飛槳時序模型庫PaddleTS具備統(tǒng)一的時序數(shù)據(jù)結(jié)構(gòu)、全面的基礎(chǔ)模型功能、豐富的數(shù)據(jù)處理和分析算子以及領(lǐng)先的深度時序算法，可以幫助開發(fā)者實現(xiàn)時序數(shù)據(jù)處理、分析、建模、預(yù)測全流程，在預(yù)測性維護、能耗分析、價格銷量預(yù)估等場景中有重要應(yīng)用價值。

近期，PaddleTSv1.1版本重磅發(fā)布，帶來了在模型推理、模型可解釋性、新增模型算法等多方面的重要升級：

更高效的推理部署：基于Paddle Inference實現(xiàn)高吞吐、低時延的推理部署，MLP模型推理耗時降低98%！
新增時序分類模塊：覆蓋更多應(yīng)用場景需求，讓開發(fā)者一站式解決時序分類問題！
提升模型解釋能力：兩種技術(shù)實現(xiàn)模型解釋性，幫助開發(fā)者更好理解模型結(jié)果！
表征學(xué)習(xí)支持分類與聚類：針對先進的表征學(xué)習(xí)，提供即開即用的表征分類與聚類模型，提高開發(fā)效率！
擴充深度學(xué)習(xí)模型：增加更多時序預(yù)測與異常檢測模型，幫助開發(fā)者探索更多的領(lǐng)先模型！

?

??GitHub 傳送門 ?

https://github.com/PaddlePaddle/PaddleTS

??歡迎 Star 關(guān)注?? ?

可利用Paddle Inference進行推理部署

Paddle Inference是飛槳的原生推理庫，作用于服務(wù)器和云端，提供高性能的推理能力。其針對不同平臺不同的應(yīng)用場景進行了深度的適配優(yōu)化，提供了C、C++、Python、Golang四種API，實現(xiàn)做到高吞吐、低時延的推理部署。同時，通過對計算圖的分析，完成對計算圖的一系列的優(yōu)化，如OP的融合、內(nèi)存/顯存的優(yōu)化、MKLDNN、TensorRT等底層加速庫的支持等。

PaddleTSv1.1支持了原生飛槳Paddle Network模型的導(dǎo)出以及前序數(shù)據(jù)自動構(gòu)建功能，實現(xiàn)PaddleTS模型在多系統(tǒng)、多語言、多平臺的適配。開發(fā)者利用Paddle Inference即可完成推理部署，加速PaddleTS模型應(yīng)用的最后一公里，保證了PaddleTS模型在服務(wù)器端即訓(xùn)即用，快速部署。

以MLP和Informer為例，使用Paddle Inference推理后，MLP模型推理耗時降低約98%，Informer模型推理耗時降低約50%。

??直通車 ?

https://paddlets.readthedocs.io/zh_CN/stable/source/modules/models/paddle_inference.html

增加時序分類模塊

時間序列分類是時序預(yù)測任務(wù)中的一種，其目的是利用標(biāo)記好的訓(xùn)練數(shù)據(jù)（每個時間序列所屬類別），預(yù)測未來時間序列的分類，從而指導(dǎo)決策。時間序列分類在一些時間敏感的應(yīng)用領(lǐng)域至關(guān)重要，例如健康信息學(xué)、異常檢測、設(shè)備狀態(tài)識別等。

PaddleTSv1.1的時序分類模塊，新增兩個時序分類深度模型——經(jīng)典的CNN以及領(lǐng)先的InceptionTime，同時提供ClassifyBaseModel基類，開發(fā)者可利用其構(gòu)建時序分類模型。
同時，PaddleTSv1.1支持兩種分類結(jié)果評估方式，既可直接使用PaddleTS中預(yù)置的accuracy_score函數(shù)，也可調(diào)用sklearn.metrics相關(guān)評估算子，實現(xiàn)模型分類效果的評估。
開發(fā)者可以使用PaddleTS構(gòu)建時序分類模型，得到未來時間序列的分類結(jié)果及每個分類的概率，如設(shè)備故障類型、患病類型等。也可用來輔助用于時序數(shù)據(jù)的預(yù)處理，如檢測數(shù)據(jù)周期性并剔除，從而進行正常歷史數(shù)據(jù)的學(xué)習(xí)或異常檢測，實現(xiàn)預(yù)測或檢測準(zhǔn)確率的提升。

??直通車 ?

https://paddlets.readthedocs.io/zh_CN/latest/source/modules/models/classify.html

提升模型可解釋能力

近年來隨著深度學(xué)習(xí)的發(fā)展，深度時序模型逐步超越了淺層模型取得了更好的效果。但深度模型由于其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，往往難以解釋預(yù)測結(jié)果是如何產(chǎn)生的，給使用者帶來困擾，由此，模型解釋性技術(shù)應(yīng)運而生。PaddleTSv1.1提供ante-hoc（模型相關(guān)）和post-hoc（模型無關(guān)）兩種方式提升模型可解釋性。

ante-hoc（模型相關(guān)）

ante-hoc是一種模型相關(guān)的方法，即開發(fā)者在模型設(shè)計階段就考慮了模型可解釋性的問題，因此往往會設(shè)計特殊的模型結(jié)構(gòu)或損失函數(shù)，便于對已訓(xùn)練好的模型進行評估。PaddleTSv1.1的ante-hoc模塊引入了TFT模型，分別從特征權(quán)重、注意力評分角度對模型結(jié)果進行解釋。

特征權(quán)重

特征權(quán)重在掌握模型的關(guān)鍵特征方面具有重要作用，特征權(quán)重越高，代表特征對預(yù)測結(jié)果的影響越大。TFT模型將時序特征可以分為靜態(tài)特征、歷史特征、未來特征三類，用戶可以分析不同類別下的特征權(quán)重。

注意力評分

在進行時間序列建模時，不同時刻點之間存在著一定的相互依賴關(guān)系，自注意力機制可以最大程度上挖掘任意兩個點之間的關(guān)系，從而在進行時序預(yù)測時抽取強相關(guān)特征點的關(guān)鍵信息，使得預(yù)測更加準(zhǔn)確。自注意力評分可以幫助用戶判斷對于預(yù)測結(jié)果影響更大的時間序列節(jié)點。以TFT模型為例，注意力評分支持從“單步多分位數(shù)預(yù)測”與“多步單分位數(shù)預(yù)測”兩個角度給出注意力機制的分?jǐn)?shù)權(quán)重的可視化展示，幫助開發(fā)者更好地分析時間序列的周期模式。

post-hoc（模型無關(guān)）

post-hoc是一種模型無關(guān)的方法，把模型視為一個黑盒，通過外部添加擾動或建立一個代理模型等方法，對已訓(xùn)練好的模型進行評估和解釋。PaddleTSv1.1的post-hoc模塊，基于SHAP方法實現(xiàn)了模型的特征歸因，開發(fā)者僅需將模型和訓(xùn)練數(shù)據(jù)作為輸入，即可得到不同時間、協(xié)變量對輸出結(jié)果的貢獻(xiàn)，幫助決策者理解模型結(jié)果、指導(dǎo)業(yè)務(wù)優(yōu)化。

??直通車 ?

https://paddlets.readthedocs.io/zh_CN/latest/source/modules/xai/overview.html ?

表征學(xué)習(xí)支持分類和聚類

在歷史版本中，PaddleTS提供了表征預(yù)測模型ReprForecaster，實現(xiàn)了表征學(xué)習(xí)和下游預(yù)測任務(wù)相結(jié)合的全流程封裝，避免用戶處理表征與下游任務(wù)結(jié)合的復(fù)雜處理流程，在解決表征預(yù)測問題的同時降低開發(fā)者使用門檻，真正實現(xiàn)了模型的即開即用。
PaddleTSv1.1增加了表征分類模型ReprClassifier和表征聚類模型ReprCluster，針對時序分類和時序聚類問題也可以實現(xiàn)表征學(xué)習(xí)的快速應(yīng)用。