一、背景介紹

渦輪發(fā)動(dòng)機(jī)的工作狀態(tài)直接影響飛機(jī)的性能。由于飛機(jī)需要頻繁地完成起飛、巡航、著陸等任務(wù)，在飛行過(guò)程中如果發(fā)動(dòng)機(jī)發(fā)生故障，不管是對(duì)人身安全方面的危害，還是經(jīng)濟(jì)方面的損失，都是無(wú)法估量的。因此，渦輪發(fā)動(dòng)機(jī)的剩余使用壽命(remaining useful life,RUL)對(duì)于規(guī)避永久性損壞，降低運(yùn)營(yíng)和維護(hù)成本，提高運(yùn)行安全具有重要意義。

RUL作為預(yù)測(cè)與健康管理(Prognostics and health management,PHM)技術(shù)的兩大組成部分之一，通常用于描述當(dāng)前時(shí)刻與失效時(shí)刻之間的時(shí)間間隔，可定義為

式中：T表示設(shè)備的失效時(shí)刻，t表示當(dāng)前時(shí)刻。

RUL預(yù)測(cè)對(duì)維修決策和備件訂購(gòu)具有指導(dǎo)性價(jià)值，長(zhǎng)期以來(lái)被當(dāng)作PHM技術(shù)的基礎(chǔ)和核心。主流的RUL方法主要分為三類：基于失效機(jī)理的分析方法、數(shù)據(jù)驅(qū)動(dòng)的方法以及失效機(jī)理分析與數(shù)據(jù)驅(qū)動(dòng)模型相融合的方法?；谑C(jī)理的分析方法和兩者相融合的方法都需要通過(guò)數(shù)學(xué)物理模型來(lái)描述設(shè)備的失效機(jī)理，建模過(guò)程較為復(fù)雜。數(shù)據(jù)驅(qū)動(dòng)的方法則不太依賴設(shè)備的失效機(jī)理，且機(jī)器學(xué)習(xí)的出現(xiàn)加速了PHM這一領(lǐng)域的成熟。基于機(jī)器學(xué)習(xí)的剩余壽命預(yù)測(cè)得到越來(lái)越多的認(rèn)可，相應(yīng)地，在復(fù)雜工程中也得到越來(lái)越多的應(yīng)用。

本文通過(guò)使用同元軟控AI系列工具箱中的同元深度學(xué)習(xí)工具箱(MWORKS.Syslab TyDeepLearning ToolBox)，并基于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory Network,LSTM)實(shí)現(xiàn)了對(duì)渦輪發(fā)動(dòng)機(jī)RUL的預(yù)測(cè)，取得了較好的效果。

MWORKS.Syslab是同元軟控全新推出的新一代科學(xué)計(jì)算環(huán)境，基于高性能科學(xué)計(jì)算語(yǔ)言Julia提供交互式編程環(huán)境的完備功能。在實(shí)際工程中，通過(guò)算法構(gòu)建實(shí)際設(shè)備的數(shù)據(jù)模型來(lái)描述系統(tǒng)或者部件的狀態(tài)，能夠大幅減少人力物力的投入，RUL預(yù)測(cè)便是MWORKS.Syslab的應(yīng)用場(chǎng)景之一。同元以華為昇思MindSpore為框架底座，打造了同元軟控AI系列工具箱，已于2023年1月8號(hào)正式對(duì)外發(fā)布。下面將應(yīng)用同元軟控AI系列-深度學(xué)習(xí)工具箱進(jìn)行渦輪發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)的算法設(shè)計(jì)和實(shí)現(xiàn)。

二、數(shù)據(jù)集介紹

本文使用NASA渦輪風(fēng)扇發(fā)動(dòng)機(jī)退化仿真數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)包含100臺(tái)發(fā)動(dòng)機(jī)的從完整運(yùn)行至故障的仿真時(shí)間序列數(shù)據(jù)。測(cè)試數(shù)據(jù)包含100個(gè)不完整序列，每個(gè)序列的末尾為相應(yīng)的剩余使用壽命值。旨在根據(jù)發(fā)動(dòng)機(jī)中各種傳感器的時(shí)間序列數(shù)據(jù)來(lái)預(yù)測(cè)發(fā)動(dòng)機(jī)的剩余使用壽命（預(yù)測(cè)性維護(hù)，以周期為單位度量）。

從https://www.nasa.gov/intelligent-systems-division下載并解壓縮渦輪風(fēng)扇發(fā)動(dòng)機(jī)退化仿真數(shù)據(jù)集。

渦輪風(fēng)扇發(fā)動(dòng)機(jī)退化仿真數(shù)據(jù)集的每個(gè)時(shí)間序列表示一個(gè)發(fā)動(dòng)機(jī)。每臺(tái)發(fā)動(dòng)機(jī)啟動(dòng)時(shí)的初始磨損程度未知。發(fā)動(dòng)機(jī)在每個(gè)時(shí)間序列開(kāi)始時(shí)運(yùn)轉(zhuǎn)正常，在到達(dá)序列中的某一時(shí)刻時(shí)出現(xiàn)故障。在訓(xùn)練集中，故障的規(guī)模不斷增大，直到出現(xiàn)系統(tǒng)故障。

數(shù)據(jù)包含26列以空格分隔的數(shù)值。每一行是在一個(gè)運(yùn)轉(zhuǎn)周期中截取的數(shù)據(jù)快照，每一列代表一個(gè)不同的變量。這些列分別對(duì)應(yīng)于以下數(shù)據(jù)：

- 第1列 - 單元編號(hào)

- 第2列 - 周期時(shí)間

- 第3-5列 - 操作設(shè)置

- 第6-26列 - 傳感器測(cè)量值1-21

將3-26列作為特征數(shù)據(jù)，繪制展示第一臺(tái)發(fā)動(dòng)機(jī)的特征數(shù)據(jù)。如下所示：

三、數(shù)據(jù)預(yù)處理

3.1 刪除具有常量值的特征

所有時(shí)間步都保持不變的特征可能無(wú)法提取對(duì)訓(xùn)練結(jié)果有用的信息。找到最小值和最大值相同的數(shù)據(jù)行，然后刪除這些行。

刪除的特征包括：["op_setting_3", Sensor1", "Sensor5", "Sensor10", "Sensor16", "Sensor18", "Sensor19"]，這與特征曲線圖中所繪制的情形相同。序列中剩余的特征數(shù)為17個(gè)。

將第一臺(tái)發(fā)動(dòng)機(jī)剩余的特征繪制成特征曲線圖，如下圖所示：

3.2?標(biāo)準(zhǔn)化訓(xùn)練預(yù)測(cè)變量

將訓(xùn)練預(yù)測(cè)變量進(jìn)行標(biāo)準(zhǔn)化。用待標(biāo)準(zhǔn)化數(shù)據(jù)減去均值，再除以標(biāo)準(zhǔn)差。經(jīng)過(guò)處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1。

標(biāo)準(zhǔn)化方程為：

式中：代表特征列的平均值，代表特征列的標(biāo)準(zhǔn)差。

對(duì)第一臺(tái)發(fā)動(dòng)機(jī)的17維傳感器參數(shù)進(jìn)行標(biāo)準(zhǔn)化處理后，如下圖所示：

3.3?剩余壽命估計(jì)目標(biāo)函數(shù)

機(jī)械設(shè)備工作初期設(shè)備磨損較小，工作處于穩(wěn)定狀態(tài)。經(jīng)過(guò)長(zhǎng)時(shí)間的磨損，機(jī)械設(shè)備性能逐漸降低，當(dāng)磨損達(dá)到臨界值，設(shè)備的使用壽命將逐漸下降。因此，使用分段目標(biāo)函數(shù)能夠更加準(zhǔn)確的預(yù)測(cè)剩余壽命的發(fā)展趨勢(shì)。

在本案例中，對(duì)于一個(gè)完整運(yùn)行壽命周期為200的實(shí)驗(yàn)，設(shè)其最初運(yùn)行時(shí)為最大使用壽命150，運(yùn)行一段時(shí)間后，電機(jī)壽命開(kāi)始逐漸下降，呈線性衰減，實(shí)驗(yàn)結(jié)束，剩余使用壽命衰減為0。

下圖顯示了第一臺(tái)發(fā)動(dòng)機(jī)的剩余壽命趨勢(shì)圖：

四、模型訓(xùn)練

本文使用深度學(xué)習(xí)工具箱中的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建模型，進(jìn)而比較各種模型的優(yōu)劣。

4.1 基于LSTM的剩余壽命預(yù)測(cè)

LSTM是一種改進(jìn)之后的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以解決RNN無(wú)法處理的長(zhǎng)距離依賴的問(wèn)題。其結(jié)構(gòu)圖如下所示：

根據(jù)圖示我們可以看到：LSTM主要有三個(gè)門(mén)組成，即遺忘門(mén)、輸入門(mén)和輸出門(mén)。

LSTM遺忘門(mén)會(huì)讀取和，輸出一個(gè)在0到1之間的數(shù)值，并傳遞給每個(gè)細(xì)胞狀態(tài)。1表示“完全保留”，0表示“完全舍棄”。

接下來(lái)，則由LSTM輸入門(mén)確定什么樣的新信息可以被存放在細(xì)胞狀態(tài)中，這里包含兩個(gè)部分：首先，sigmoid層決定什么值將要被更新；然后，tanh層創(chuàng)建一個(gè)新的候選值向量，并在之后將加入至狀態(tài)中。

我們將舊狀態(tài)與相乘，丟棄掉確定需要丟棄的信息，并加上，由此得到新的候選值。

LSTM輸出門(mén)將基于細(xì)胞狀態(tài)形成一個(gè)過(guò)濾后的版本。首先，運(yùn)行sigmoid層來(lái)確定細(xì)胞狀態(tài)將要輸出哪個(gè)部分；接著，通過(guò)tanh層處理細(xì)胞狀態(tài)（得到一個(gè)在-1到1之間的值）并將它和sigmoid門(mén)的輸出相乘，最終，LSTM輸出門(mén)僅會(huì)輸出我們確定需要的部分。

4.1.1 定義網(wǎng)絡(luò)架構(gòu)

創(chuàng)建一個(gè)LSTM網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含一個(gè)具有200個(gè)隱藏單元的LSTM層，然后是一個(gè)輸出大小為50的全連接層和一個(gè)丟棄概率為0.5的丟棄層，最后連接一個(gè)輸出大小為1的全連接層。

4.1.2?訓(xùn)練網(wǎng)絡(luò)

使用trainNetwork訓(xùn)練網(wǎng)絡(luò)。

其中：trainingOptions為訓(xùn)練所需參數(shù)設(shè)置，損失函數(shù)為RMSELoss，優(yōu)化器為Adam，評(píng)估指標(biāo)為MSE，BatchSize為1024，Epoch為50，學(xué)習(xí)率為0.01。

訓(xùn)練結(jié)果如下圖所示：

4.2 基于CNN的剩余壽命預(yù)測(cè)

CNN屬于前饋神經(jīng)網(wǎng)絡(luò)的一種，特點(diǎn)是每層的神經(jīng)元節(jié)點(diǎn)只響應(yīng)前一層局部區(qū)域范圍內(nèi)的神經(jīng)元。一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)模型，一般由若干卷積層疊加若干全連接層組成，中間包含各種的卷積操作、池化操作。其結(jié)構(gòu)圖如下所示：

可以看到，CNN主要有三個(gè)層組成，從左至右分別為：卷積層、池化層與全連接層。

卷積層中最重要的概念是卷積核(圖左橙色部分)，卷積核可以理解為是一種特征，將輸入和卷積核相乘得到的結(jié)果就是輸入在這個(gè)特征上的投影，這個(gè)投影可以稱之為特征圖。

常見(jiàn)的池化有最大值池化(如上圖所示)和平均池化兩種，顧名思義就是在池化窗口內(nèi)計(jì)算最大值和平均值作為池化結(jié)果。池化層的作用主要體現(xiàn)在：特征不變性、特征降維和減少過(guò)擬合。

全連接層一般位于整個(gè)神經(jīng)網(wǎng)絡(luò)的最后，負(fù)責(zé)將卷積輸出的二維特征圖（矩陣）轉(zhuǎn)換成一維向量。

對(duì)于文本分類和時(shí)間序列預(yù)測(cè)等簡(jiǎn)單任務(wù)，小型的一維卷積神經(jīng)網(wǎng)絡(luò)可以替代RNN，而且速度更快。

4.2.1 定義網(wǎng)絡(luò)架構(gòu)

創(chuàng)建一個(gè)CNN網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含一個(gè)具有5個(gè)一維卷積層，然后是一個(gè)展平層，接著是一個(gè)輸出大小為100的全連接層和一個(gè)丟棄概率為0.5的丟棄層，最后連接一個(gè)輸出大小為1的全連接層。

4.2.2?訓(xùn)練網(wǎng)絡(luò)

使用trainNetwork訓(xùn)練網(wǎng)絡(luò)。

其中：trainingOptions為訓(xùn)練所需參數(shù)設(shè)置，損失函數(shù)為RMSELoss，優(yōu)化器為Adam，評(píng)估指標(biāo)為MSE，BatchSize為512，Epoch為100，學(xué)習(xí)率為0.001。

訓(xùn)練結(jié)果如下圖所示：

五、模型驗(yàn)證與評(píng)估

5.1 模型驗(yàn)證

本文使用此數(shù)據(jù)集自帶的測(cè)試數(shù)據(jù)進(jìn)行驗(yàn)證，該數(shù)據(jù)集同樣進(jìn)行上述數(shù)據(jù)預(yù)處理，使用predict對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)。

計(jì)算真實(shí)值與預(yù)測(cè)值的均方根誤差：

式中：代表預(yù)測(cè)值，代表真實(shí)值。

在柱狀圖中可視化預(yù)測(cè)誤差，如下圖所示：

5.2 結(jié)果評(píng)估

為了對(duì)訓(xùn)練效果進(jìn)行評(píng)估，下圖展示了第一臺(tái)發(fā)動(dòng)機(jī)在訓(xùn)練集中真實(shí)值與預(yù)測(cè)值的剩余壽命預(yù)測(cè)對(duì)比：

從圖中可以看到，在訓(xùn)練集上，使用LSTM要比CNN擬合效果更好，更能貼近真實(shí)的剩余壽命值。

為了對(duì)測(cè)試集中的結(jié)果進(jìn)行評(píng)估，下圖展示了第一臺(tái)發(fā)動(dòng)機(jī)在測(cè)試集中真實(shí)值與預(yù)測(cè)值的剩余壽命預(yù)測(cè)對(duì)比：

綜上，不論是LSTM還是CNN，其預(yù)測(cè)的結(jié)果與真實(shí)值之間符合偏差要求，并且趨勢(shì)相同，可以較為真實(shí)的反應(yīng)實(shí)際的場(chǎng)景。

六、模型保存與加載

深度學(xué)習(xí)工具箱提供了模型保存與加載的函數(shù)，可以將模型快速進(jìn)行保存，支持函數(shù)重復(fù)調(diào)用，模型部署與推理，用戶可便捷地將訓(xùn)練好的模型應(yīng)用到實(shí)際場(chǎng)景中，真正實(shí)現(xiàn)渦輪發(fā)動(dòng)機(jī)剩余壽命預(yù)警。

七、總結(jié)

本文主要基于同元深度學(xué)習(xí)工具箱(TyDeepLearning ToolBox)設(shè)計(jì)了渦輪發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)算法，并采用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，分析了兩種情況下訓(xùn)練的模型對(duì)壽命預(yù)測(cè)的效果，篩選出了合適的模型，并能夠支持實(shí)際的應(yīng)用場(chǎng)景。

同元深度學(xué)習(xí)工具箱內(nèi)含豐富的函數(shù)庫(kù)、應(yīng)用案例及完善的幫助文檔。用戶可基于深度學(xué)習(xí)工具箱，采用Julia語(yǔ)言構(gòu)建多種神經(jīng)網(wǎng)絡(luò)，并進(jìn)行訓(xùn)練計(jì)算。目前，深度學(xué)習(xí)工具箱在圖像識(shí)別、語(yǔ)音識(shí)別和故障預(yù)測(cè)等領(lǐng)域已實(shí)現(xiàn)多項(xiàng)應(yīng)用，取得較好的效果。

未來(lái)，我們將進(jìn)一步擴(kuò)充深度學(xué)習(xí)工具箱函數(shù)庫(kù)、基于Julia語(yǔ)言實(shí)現(xiàn)多種深度學(xué)習(xí)底層框架自由選擇、完善GPU運(yùn)算功能及分布式并行計(jì)算能力、探索代碼生成邏輯、在此基礎(chǔ)上實(shí)現(xiàn)與MWORKS.Sysplorer相結(jié)合的機(jī)理數(shù)據(jù)融合建模。最終，構(gòu)建多硬件平臺(tái)、多框架、快速運(yùn)算、功能完備的新一代AI系列工具箱。

八、代碼附錄

九、參考文獻(xiàn)

原文鏈接：https://mp.weixin.qq.com/s/7fQXCUXokibkP_VNJd6zmA