內(nèi)容一覽：由于涉及到多種時空變化因素，山體滑坡預(yù)測一直以來都非常困難。深度神經(jīng)網(wǎng)絡(luò) (DNN) 可以提高預(yù)測準(zhǔn)確性，但其本身并不具備可解釋性。本文中，UCLA 研究人員引入了 SNN。SNN 具有完全可解釋性、高準(zhǔn)確性、高泛化能力和低模型復(fù)雜度等特點(diǎn)，進(jìn)一步提高了滑坡風(fēng)險的預(yù)測能力。

關(guān)鍵詞：山體滑坡 SNN DNN

本文首發(fā)自 HyperAI 超神經(jīng)微信公眾平臺~

山體滑坡的發(fā)生受到多種因素的綜合影響，如地形、坡度、土壤、巖石等物質(zhì)特征，以及氣候、降雨、水文等環(huán)境條件。因此，相關(guān)預(yù)測一直以來都非常困難。通常情況下，地質(zhì)學(xué)家使用物理和統(tǒng)計(jì)模型來估計(jì)滑坡發(fā)生的風(fēng)險。雖然這些模型可以提供相當(dāng)準(zhǔn)確的預(yù)測，但訓(xùn)練物理模型需要大量的時間和資源，并不適合大規(guī)模應(yīng)用。

近年來，研究人員一直在訓(xùn)練機(jī)器學(xué)習(xí)模型用于預(yù)測山體滑坡，特別是深度神經(jīng)網(wǎng)絡(luò) (Deep Neural Network, DNN)。DNN 作為一個高精度預(yù)測模型，在圖像識別、語音識別、自然語言處理、計(jì)算生物、金融大數(shù)據(jù)等多個領(lǐng)域效果顯著，但它輸入層和輸出層之外有多層隱藏結(jié)構(gòu)，缺乏可解釋性，這種黑盒問題一直困擾著研究人員。

近期，加利福尼亞大學(xué)洛杉磯分校 (UCLA) 的研究人員開發(fā)了一種可疊加神經(jīng)網(wǎng)絡(luò) (Superposable Neural Network，SNN)。與 DNN 不同，SNN 可以將不同數(shù)據(jù)輸入的結(jié)果分開，更好地分析自然災(zāi)害中的影響因素。SNN 模型在性能上優(yōu)于物理和統(tǒng)計(jì)模型，并且達(dá)到了與最先進(jìn) DNN 相似的性能。目前，該研究成果已發(fā)表在《Communications Earth & Environment》期刊上，標(biāo)題為《Landslide susceptibility modeling by interpretable neural network》。

閱讀完整論文：

https://www.nature.com/articles/s43247-023-00806-5#Sec4

選取喜馬拉雅山最東部滑坡數(shù)據(jù)

研究人員通過數(shù)據(jù)分析發(fā)現(xiàn)，2004-2016 年山體滑坡造成人員傷亡的情況集中發(fā)生在亞洲。喜馬拉雅山最東部地區(qū)極易發(fā)生陡坡滑坡、極端降水、洪水等事件。?研究人員通過將手動劃定滑坡區(qū)域與半自動檢測算法相結(jié)合，生成了喜馬拉雅山最東部的滑坡清單（滑坡事件的記錄或數(shù)據(jù)集）。在整個 4.19?×?109?平方米的研究區(qū)域內(nèi)，測繪滑坡總數(shù)為 2,289 處，面積范圍為 900 至 1.96?×?106 平方米。

顏色代表海拔，黃色框表示 N-S (Dibang)、NW-SE（range front）和 E-W (Lohit) 方向的研究區(qū)域。

插圖表示喜馬拉雅東部地區(qū)，黑框表示研究區(qū)域，深灰色線表示國家邊界（右上角）。

如上圖所示，研究人員在喜馬拉雅山最東部選擇了 3 個環(huán)境條件不同的地區(qū)（Dibang, Lohit 和 range front）測試 SNN 模型的性能和應(yīng)用。下文中，Dibang、Lohit 和 range front 地區(qū)分別被稱為 N-S、E-W 和 NW-SE。

數(shù)據(jù)集地址：

https://doi.org/10.25346/S6/D5QPUA

模型開發(fā)：6 步訓(xùn)練一個 SNN

本研究中，為了在保證精確度的同時，規(guī)避 DNN 缺乏可解釋性問題，研究人員結(jié)合模型提取 (model extraction) 和基于特征的方法，生成了一種完全可解釋的 additive ANN 優(yōu)化框架。Additive ANN 是廣義加性模型 (generalized additive models, GAM) 的一種。模型提取方法旨在訓(xùn)練一個可解釋的 student 模型來模仿 teacher 模型。基于特征的方法旨在分析和量化每個輸入特征的影響。

研究人員將這種 additive ANN 架構(gòu)稱為 Superposable Neural Network (SNN) 優(yōu)化。不同于 DNN 是通過不同層之間的連接來建立特征之間的相互依賴關(guān)系，SNN 是通過原始輸入特征的乘積函數(shù)來建立特征之間的相互依賴關(guān)系，兩者間的對比如下圖所示：

x1，x2，…，xn 表示一組 n 個原始特征，χ1，χ2，…，χM 表示一組 M 個組合特征，Y 和 St 分別指 DNN 和 SNN 中的易發(fā)性結(jié)果。

如圖 3 所示，在傳統(tǒng) DNN 中，特征通過網(wǎng)絡(luò)中的連接來表示和學(xué)習(xí)，這種依賴關(guān)系緊密嵌入在網(wǎng)絡(luò)結(jié)構(gòu)中，十分復(fù)雜并且難以分離。而在 SNN 中，研究人員事先找到并明確地將有助于輸出的特征獨(dú)立輸入，每個神經(jīng)元僅與一個輸入相連。

SNN 訓(xùn)練流程圖如下：

圖中顯示，研究人員采用了兩個主要方法， 特征選擇模型 (feature-selection model) 和多階段訓(xùn)練 (multistage training)。特征選擇模型用于選擇最相關(guān)的特征進(jìn)行后續(xù)分析和建模；多階段訓(xùn)練則指訓(xùn)練過程分為多個階段，每個階段都有特定目標(biāo)和訓(xùn)練策略，逐步優(yōu)化模型性能。

訓(xùn)練流程可總結(jié)為以下步驟：

1. 多元多項(xiàng)式展開 (Multivariate polynomial expansion)：生成復(fù)合特征。

2. 錦標(biāo)排名 (Tournament ranking)：一種自動特征選擇方法，用于找出與模型最相關(guān)的特征。

3. 多階段訓(xùn)練 (MST)：一種二階深度學(xué)習(xí)技術(shù)，用于生成高性能的 teacher 網(wǎng)絡(luò)。

4. 分?jǐn)?shù)知識蒸餾 (Fractional knowledge distillation)：用于分離每個特征對最終輸出的貢獻(xiàn)。

5. 并行知識蒸餾 (Parallel knowledge distillation)：將標(biāo)準(zhǔn)的知識蒸餾技術(shù)單獨(dú)應(yīng)用于與每個特征對應(yīng)的網(wǎng)絡(luò)。

6. 網(wǎng)絡(luò)疊加 (Network superposition)：將與每個特征對應(yīng)的單層網(wǎng)絡(luò)合并成一個 SNN。

實(shí)驗(yàn)結(jié)果

SNN 最高準(zhǔn)確率超 99%

根據(jù)模型訓(xùn)練中使用的最高級別的復(fù)合特征，研究人員將 SNN 分為 3 個不同級別的模型，即 Level-1、Level-2 和 Level-3。實(shí)驗(yàn)表明，Level-3 SNN 準(zhǔn)確率能達(dá)到 SOTA teacher DNN 的 99% 以上，Level-2 SNN 準(zhǔn)確率則超過 98%。考慮到兩者間準(zhǔn)確率的差距很小，研究人員假設(shè) Level-2 SNN 的可解釋性對于分析來說是足夠的。

接下來研究人員將 Level-1 和 Level-2 SNN 與 SOTA DNN teacher 模型（MST，基于二階優(yōu)化的 DNN），以及傳統(tǒng)方法（LogR 及 LR）進(jìn)行比較，所有方法均應(yīng)用于相同的區(qū)域并使用相同的數(shù)據(jù)，結(jié)果如下圖所示。

MST:?SOTA DNN Teacher 模型

LogR:?邏輯回歸 （傳統(tǒng)方法）

LR:?似然比（傳統(tǒng)方法）

如圖所示，SNN 與 MST 模型性能相當(dāng)，且優(yōu)于常用的傳統(tǒng)模型。3 個研究區(qū)域的平均值計(jì)算，Level-1 和 Level-2 SNN 的 AUROC 分別為 0.856 和 0.890。Level-2 SNN 的 AUROC 比 LogR (AUROC = 0.848) 和 LR (AUROC = 0.823) 高出約 8%。

AUROC (area under the receiver operating characteristic): 用于評估分類模型的性能指標(biāo)。AUROC 越接近 1，模型性能越好。

SNN 具備完全可解釋性

SNN 是一個完全可解釋的模型，其可解釋性水平可與線性回歸相媲美。

研究人員將研究區(qū)域分為滑坡 (ld) 和非滑坡 (nld) 區(qū)域。SNN 提供了個體特征對易發(fā)性的確切貢獻(xiàn)，使量化各特征對滑坡易發(fā)性的影響成為可能。通過計(jì)算個體特征在 ld 與 nld 區(qū)域間的差異，可以確定滑坡的主要控制因素及其相對貢獻(xiàn)。

如下圖所示，MAP*Slope（平均年降水量和斜坡的乘積）、NEE*Slope（極端降雨事件數(shù)量和斜坡的乘積）、Asp*Relief（坡向和局部送風(fēng)的乘積）及 Asp（坡向）在所有三個區(qū)域中都有較大的影響。

(a, d): N-S 研究區(qū)域；(b, e): NW-SE 研究區(qū)域；(c, f): E-W 研究區(qū)域。

(a–c) 中的條形圖按降序表示各特征在滑坡 (ld) 和非滑坡 (nld) 區(qū)域中的差異大??；(d–f) 中的餅圖表示各特征對滑坡 (ld) 和非滑坡 (nld) 區(qū)域的平均影響。

平均年降水量 (MAP)、極端降雨事件數(shù)量 (NEE)、坡向 (Asp)、海拔 (Elev)、平均曲率 (CurvM)、到河道的距離 (DistC)、所有斷層 (DistF) 和主鋒面逆沖和裂縫帶 (DistMFT)，以及局部送風(fēng) (Relief)。

星號 * 表示兩個特征的代數(shù)乘法。

由于 SNN 獨(dú)有的能力，研究人員可以分離出主要控制特征的空間分布及其局部影響。

a-c: 主要特征的空間分布。

d-f: 氣候與坡度對易發(fā)性的影響。

(a, d): N-S 研究區(qū)域；(b, e): NW-SE 研究區(qū)域；(c, f): E-W 研究區(qū)域。

氣候影響較大的地方呈藍(lán)色，坡度影響較大的地方呈紅色。

平均年降水量 (MAP)、極端降雨事件數(shù)量 (NEE)、坡向 (Asp)、海拔 (Elev)、平均曲率 (CurvM)、局部送風(fēng) (Relief)。

星號 * 表示兩個特征的代數(shù)乘法。

如上圖 d-f 所示，在 N-S、NW-SE 及 E-W 區(qū)域中，分別大約 74%、54% 和 54% 的地點(diǎn)受氣候特征（如極端降雨事件數(shù)量、平均年降水量和坡向）的影響程度大于坡度的影響程度，在圖中表現(xiàn)為藍(lán)色面積大于紅色，表明了氣候特征在控制喜馬拉雅最東部地區(qū)山體滑坡的重要性。由于沿喜馬拉雅山脈向東降水率逐漸增加，喜馬拉雅山脈東部地區(qū)垂直氣候變化顯著。這種氣候梯度很可能影響喜馬拉雅山脈東部地區(qū)的滑坡易發(fā)性。

SNN 代碼 GitHub 地址:

https://GitHub.com/geosnn/geosnn.git

SNN 突破滑坡預(yù)測難題

本研究作者 Louis Bouchard 和 Seulgi Moon 都是 UCLA 的副教授，Khalid Youssef 在 UCLA 進(jìn)行博士后研究，Kevin Shao 為 UCLA 地球、行星和空間科學(xué)博士研究生。

Kevin Shao 談到?「深度神經(jīng)網(wǎng)絡(luò) (DNN) 可以提供準(zhǔn)確的滑坡發(fā)生可能性，但無法確定哪些具體的變量會引起滑坡發(fā)生及其原因?！?/strong>共同第一作者 Khalid Youssef 指出?「問題在于 DNN 的各個網(wǎng)絡(luò)層在學(xué)習(xí)過程中不斷相互影響，因此將其結(jié)果分析清楚是不可能的。該研究希望能夠清楚地將不同數(shù)據(jù)輸入的結(jié)果分離出來，使其在確定影響自然災(zāi)害的最重要因素方面更加有用?！?/strong>

「類似于用尸檢來確定死因，確定滑坡的確切觸發(fā)因素總是需要田野測量和土壤、水文和氣候條件的歷史記錄，如降雨量和強(qiáng)度，這些數(shù)據(jù)在像喜馬拉雅山脈這樣的偏遠(yuǎn)地區(qū)很難獲取。但是 SNN 可以確定關(guān)鍵變量并量化它們對滑坡易發(fā)性的貢獻(xiàn)?！?/strong>?Seulgi Moon 教授說到。Louis Bouchard 則表示?「不像 DNN 需要強(qiáng)大的計(jì)算機(jī)服務(wù)器來進(jìn)行訓(xùn)練，SNN 的體積小到可以在蘋果手表上運(yùn)行?！?/strong>

研究人員計(jì)劃將他們的工作拓展到世界上其他容易發(fā)生滑坡的地區(qū)，例如加利福尼亞州。在加州，頻繁的山火和地震導(dǎo)致滑坡風(fēng)險加劇，而 SNN 可以幫助開發(fā)早期預(yù)警系統(tǒng)，綜合考慮多種信號并預(yù)測其他一系列地表危險。

參考文章：

[1]https://phys.org/news/2023-06-geologists-artificial-intelligence-landslides.html

[2]https://newsroom.ucla.edu/releases/artificial-intelligence-can-predict-landslides

[3]https://www.bccn3.com/news/ucla-geologists-develop-ai-model-to-predict-landslides

[4]https://static-content.springer.com/esm/art%3A10.1038%2Fs43247-023-00806-5/MediaObjects/43247_2023_806_MOESM1_ESM.pdf

本文首發(fā)自 HyperAI 超神經(jīng)微信公眾平臺~