線上沙龍-Paper Reading 第 6 期回放來啦

本期直播我們邀請了 KaiwuDB 高級研發(fā)工程師孫路明博士為大家介紹《SUFS: 存儲(chǔ)資源使用量預(yù)測服務(wù)》。本期論文將發(fā)表于?ICDE 2023，感興趣的伙伴可以先關(guān)注我們公眾號哦。
我們希望通過本次直播帶大家深入學(xué)習(xí)數(shù)據(jù)庫系統(tǒng)智能運(yùn)維存儲(chǔ)資源預(yù)測模塊的內(nèi)容，幫助大家能夠準(zhǔn)確預(yù)測資源使用量，減少不必要的花費(fèi)和風(fēng)險(xiǎn)。

直播重點(diǎn)回顧

01?背景介紹

1. 存儲(chǔ)資源使用量預(yù)測的意義

在典型的 IT 服務(wù)或應(yīng)用中，計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)是支撐上層應(yīng)用服務(wù)的三個(gè)基礎(chǔ)，保證存儲(chǔ)系統(tǒng)的可用性對服務(wù)和應(yīng)用的穩(wěn)定運(yùn)行有重要意義。存儲(chǔ)系統(tǒng)可用性的一個(gè)重要方面就是有足夠的容量，可以滿足寫入、存儲(chǔ)的需求，所以合理規(guī)劃存儲(chǔ)系統(tǒng)的空間資源就非常重要。為了規(guī)劃存儲(chǔ)系統(tǒng)資源，就需要對資源的使用量進(jìn)行預(yù)測，在預(yù)測的基礎(chǔ)上進(jìn)行資源的規(guī)劃、擴(kuò)縮容等操作。

由于目前很多存儲(chǔ)是以云服務(wù)的形式提供的，對存儲(chǔ)資源進(jìn)行預(yù)測對于服務(wù)的提供商和使用者都很重要。對服務(wù)商來說，準(zhǔn)確的預(yù)測資源使用量可以幫助他們在保證服務(wù)的 SLA 同時(shí)避免額外的開銷；對用戶來說，可以在滿足自己業(yè)務(wù)需求的情況下更合理的申請配額（Quota）或者購買資源。

本文關(guān)注的存儲(chǔ)系統(tǒng)范圍比較廣泛，包括傳統(tǒng)的文件存儲(chǔ)、各式各樣的分布式存儲(chǔ)系統(tǒng)，比如最典型的 HDFS，也包括各種數(shù)據(jù)庫系統(tǒng)，比如 MySQL 這類關(guān)系型數(shù)據(jù)庫或者各類的 NoSQL 數(shù)據(jù)庫等等。

2?存儲(chǔ)資源使用量預(yù)測的現(xiàn)狀和挑戰(zhàn)

現(xiàn)在一些存儲(chǔ)系統(tǒng)的容量規(guī)劃比較依賴啟發(fā)式規(guī)則或者人的經(jīng)驗(yàn)知識，對未來的使用量預(yù)測的不準(zhǔn)，這種不準(zhǔn)確又可以分為高估（?overestimation）和低估（underestimation），這兩種不準(zhǔn)確也會(huì)產(chǎn)生不同的影響。

如果高估了未來的資源用量，那就會(huì)過多的配置存儲(chǔ)資源，導(dǎo)致空間浪費(fèi)和不必要的開銷；如果預(yù)測的偏低，那可能會(huì)造成存儲(chǔ)資源不足，嚴(yán)重的話會(huì)導(dǎo)致數(shù)據(jù)無法寫入和數(shù)據(jù)丟失的風(fēng)險(xiǎn)，影響系統(tǒng)的可用性。

如下圖所示，造成啟發(fā)式規(guī)則或傳統(tǒng)時(shí)序預(yù)測模型在存儲(chǔ)資源使用量預(yù)測任務(wù)中無法提供準(zhǔn)確預(yù)測的原因主要有兩個(gè)：

• 不同存儲(chǔ)系統(tǒng)、同一存儲(chǔ)系統(tǒng)的不同用戶，其存儲(chǔ)使用量曲線的模式區(qū)別非常大

• 存儲(chǔ)資源使用量中存在突增突降，對模型預(yù)測產(chǎn)生極大的影響

因此，本文提出了一種增強(qiáng)的 LSTM 神經(jīng)網(wǎng)絡(luò)應(yīng)對存儲(chǔ)資源使用量時(shí)序數(shù)據(jù)中的突增突降問題，提出了自適應(yīng)的模型集成方案解決不同系統(tǒng)、同一系統(tǒng)內(nèi)不同用戶存儲(chǔ)資源使用量模式差異大的挑戰(zhàn)。

02 SUFS 架構(gòu)與算法

如上圖所示，SUFS 在不同的存儲(chǔ)系統(tǒng)中使用 Agent 采集存儲(chǔ)空間使用量的歷史數(shù)據(jù)并存儲(chǔ)，在對數(shù)據(jù)進(jìn)行預(yù)處理后，使用自適應(yīng)模型集成方法對未來多天的存儲(chǔ)資源使用量進(jìn)行預(yù)測，根據(jù)預(yù)測結(jié)果提供資源的監(jiān)控告警、容量規(guī)劃、動(dòng)態(tài)擴(kuò)縮容等服務(wù)。
1.增強(qiáng) LSTM 神經(jīng)網(wǎng)絡(luò)
LSTM（Long Short-Term Memory）是一種循環(huán)神經(jīng)網(wǎng)絡(luò) RNN 的變體，本文提出的增強(qiáng)的 LSTM 神經(jīng)網(wǎng)絡(luò)，在普通 LSTM 神經(jīng)網(wǎng)絡(luò)的 Input Gate 前加入額外的一個(gè)信號量，該信號量的值與磁盤使用量的值是否為突增突降有關(guān)，而判斷是否突增突降使用了 IQR 檢驗(yàn)方法。
其工作原理為：如果 IQR 判斷當(dāng)前的磁盤使用量值是突增或突降，則該信號量是一個(gè)極小的值，在 LSTM 內(nèi)部就可以控制當(dāng)前使用量不對已有狀態(tài)產(chǎn)生影響，使得模型忽略掉這些突變；而當(dāng)沒有遇到突增突降時(shí)，這個(gè)增強(qiáng)的 LSTM 神經(jīng)網(wǎng)絡(luò)模塊與普通 LSTM 無異。
此外，這個(gè)神經(jīng)網(wǎng)絡(luò)還考慮到屬于同一用戶或服務(wù)的存儲(chǔ)資源使用具有類似模式的現(xiàn)象，通過存儲(chǔ)資源實(shí)體編碼嵌入網(wǎng)絡(luò)，將這種先驗(yàn)知識加入到模型的預(yù)測中。

2.自適應(yīng)模型集成算法
為了在一個(gè)統(tǒng)一的預(yù)測服務(wù)中完成不同模式時(shí)序數(shù)據(jù)的預(yù)測，這篇文章提出了一種自適應(yīng)的模型集成方法：

模型集成（Model Ensemble）：機(jī)器學(xué)習(xí)的一種范式，在模型集成時(shí)，通常會(huì)訓(xùn)練多個(gè)模型解決相同的問題，并且把這些模型的結(jié)果結(jié)合起來以獲得更好的結(jié)果。

這些被集成的模型稱為弱學(xué)習(xí)器或者叫基模型，當(dāng)基模型被合理的組合起來的時(shí)候，我們可以得到更準(zhǔn)確或者更魯棒的預(yù)測結(jié)果。一些常見的模型集成方法包括 Bagging、Boosting、Stacking 等，本文中用到的方法屬于 Stacking 這一類，是將多個(gè)基于不同算法的基模型的預(yù)測結(jié)果，通過某種方式將結(jié)果組合起來。

使用模型集成的出發(fā)點(diǎn)就是因?yàn)椴煌幕Ｐ蛯τ诓煌Ｊ降臅r(shí)序數(shù)據(jù)會(huì)有不同準(zhǔn)確率，比如前面提出的增強(qiáng)的 LSTM 神經(jīng)網(wǎng)絡(luò)會(huì)更適用于帶有突變的時(shí)序數(shù)據(jù)，而 SARIMA 模型更適用于帶有周期性的時(shí)序數(shù)據(jù)等。

在將多個(gè)基模型的預(yù)測結(jié)果進(jìn)行集成時(shí)，一種簡單并且常見的方案是將不同基模型的預(yù)測結(jié)果進(jìn)行加權(quán)平均，比如對某一天的使用量預(yù)測一個(gè)是 10，一個(gè)是 8，那集成后的結(jié)果就是 9。但是這種平均的集成方案還是存在弊端，不能充分發(fā)揮某一個(gè)基模型對其適合數(shù)據(jù)的預(yù)測能力，本文提出的模型集成則具有兩個(gè)特點(diǎn)：

• 不同存儲(chǔ)資源使用量序列的模型集成權(quán)重不同（Sequence-wise）

• 同一序列、未來多天預(yù)測時(shí)，每天預(yù)測值的模型集成權(quán)重不同（Step-wise）

03實(shí)驗(yàn)與總結(jié)

本文在多個(gè)真實(shí)生產(chǎn)環(huán)境的存儲(chǔ)系統(tǒng)上進(jìn)行了實(shí)驗(yàn)結(jié)果驗(yàn)證，從預(yù)測誤差分布、典型特例分析、存儲(chǔ)代價(jià)節(jié)省、模型預(yù)測開銷等多個(gè)角度驗(yàn)證了提出方法在存儲(chǔ)資源使用量預(yù)測任務(wù)中的有效性。

本文所解決的存儲(chǔ)空間使用量預(yù)測問題，是使用人工智能技術(shù)協(xié)助系統(tǒng)運(yùn)維的一個(gè)應(yīng)用，屬于 AI for DB 的范疇。AI for DB 包含的內(nèi)容很多，涉及到數(shù)據(jù)庫的各個(gè)方面，KaiwuDB 的 KAP 自治平臺,同樣提供包含存儲(chǔ)空間預(yù)測在內(nèi)的多項(xiàng)自治運(yùn)維服務(wù)。