【欄目：關(guān)鍵問題】近年來我們不斷見證了越來越強(qiáng)大的神經(jīng)網(wǎng)絡(luò)模型，如 AlexNet，VGG，GoogleNet，ResNet，DenseNet 以及最近大火的 Transformer 等。

這些神經(jīng)網(wǎng)絡(luò)使用的流程，基本可以概括為：1) 固定網(wǎng)絡(luò)架構(gòu)，初始化網(wǎng)絡(luò)參數(shù)；2) 訓(xùn)練階段：在訓(xùn)練集上優(yōu)化網(wǎng)絡(luò)參數(shù)；3) 推理階段：固定網(wǎng)絡(luò)架構(gòu)與參數(shù)，輸入測(cè)試樣本進(jìn)行前向傳播，得到預(yù)測(cè)結(jié)果。

這種范式導(dǎo)致訓(xùn)練完成后，在測(cè)試階段，對(duì)所有的輸入樣本，均采用相同的網(wǎng)絡(luò)架構(gòu)與參數(shù)進(jìn)行推理。這在一定程度上限制了模型的表征能力、推理效率和可解釋性。

一個(gè)非常明顯的例子，如下圖所示，對(duì)于常見的「馬」或「貓頭鷹」的圖片，也許只需要一個(gè)小的網(wǎng)絡(luò)便可以正確識(shí)別；然而對(duì)于「非經(jīng)典」的「馬」或「貓頭鷹」的圖片，則需要訓(xùn)練一個(gè)大的網(wǎng)絡(luò)才能正確識(shí)別。

再例如，如下圖所示，對(duì)一張包含「貓」的圖片進(jìn)行識(shí)別，我們可以看到，提高分辨率確實(shí)可以提高準(zhǔn)確率，但同時(shí)也伴隨著計(jì)算量的極速提升。人們自然期望是否可以在不嚴(yán)重影響準(zhǔn)確率的情況下，降低輸入樣本的分辨率，從而來節(jié)省計(jì)算量。

將這一系列要求「自適應(yīng)推理」的問題總結(jié)起來，便是所謂「動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)」的研究范疇。

與靜態(tài)網(wǎng)絡(luò)不同的是，動(dòng)態(tài)網(wǎng)絡(luò)的本質(zhì)在于，在處理不同測(cè)試樣本時(shí)，能夠動(dòng)態(tài)地調(diào)節(jié)自身的結(jié)構(gòu)/參數(shù)，從而在推理效率、表達(dá)能力、自適應(yīng)性等方面展現(xiàn)出卓越的優(yōu)勢(shì)。

撰文：韓益增
編輯：賈 ??偉

內(nèi)容目錄

一、神經(jīng)網(wǎng)絡(luò)，如何動(dòng)起來？

????1）樣本自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)

????????動(dòng)態(tài)結(jié)構(gòu)

????????動(dòng)態(tài)參數(shù)

????2）空間自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)

????????像素級(jí)

????????區(qū)域級(jí)

????????分辨率級(jí)

????3）時(shí)間自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)

二、六大開放問題

??? 1）結(jié)構(gòu)設(shè)計(jì)；

??? 2）更多樣任務(wù)下的適用性；

??? 3）實(shí)際效率與理論的差距；

??? 4）魯棒性；

??? 5）可解釋性；

??? 6）動(dòng)態(tài)網(wǎng)絡(luò)理論。

01、神經(jīng)網(wǎng)絡(luò)，如何動(dòng)起來？

最為經(jīng)典的做法是，以串行或并行的方式，構(gòu)建多個(gè)模型的動(dòng)態(tài)集成，然后根據(jù)輸入樣本自適應(yīng)地激活其中某個(gè)模型。

實(shí)際上圍繞這一思想，目前已有大量相關(guān)研究工作，大致可以分為幾種類別，包括「樣本自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)」、「空間自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)」和「時(shí)間自適應(yīng)網(wǎng)絡(luò)」。

1）樣本自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)

樣本自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)對(duì)每個(gè)輸入樣本進(jìn)行自適應(yīng)計(jì)算。根據(jù)網(wǎng)絡(luò)動(dòng)態(tài)變化的主體，其主要可以分為兩大類：動(dòng)態(tài)結(jié)構(gòu)與動(dòng)態(tài)參數(shù)。

前者主要是為了在處理「簡(jiǎn)單」樣本時(shí)分配更少的計(jì)算資源從而提升運(yùn)算效率；而后者主要是為了在增加盡可能少計(jì)算量的情況下，提升模型表達(dá)能力。

動(dòng)態(tài)結(jié)構(gòu)

結(jié)構(gòu)上的動(dòng)態(tài)有兩個(gè)維度，一個(gè)是深度，一個(gè)是寬度。

深度上的動(dòng)態(tài)，即網(wǎng)絡(luò)層數(shù)的變化。由于幾乎所有的網(wǎng)絡(luò)都由多個(gè)網(wǎng)絡(luò)層堆疊而成，一個(gè)比較自然的實(shí)現(xiàn)動(dòng)態(tài)結(jié)構(gòu)的思路就是針對(duì)不同樣本，選擇性地執(zhí)行不同的網(wǎng)絡(luò)層。

這有兩類思路：早退機(jī)制和跳層機(jī)制。

所謂「早退機(jī)制」，即在模型中間層設(shè)置出口，并根據(jù)每個(gè)樣本在這些中間出口處的輸出，自適應(yīng)的決定對(duì)樣本的推理過程是否提前退出。早退機(jī)制相當(dāng)于跳過了某一分類器之后所有層的運(yùn)算。

跳層機(jī)制則相對(duì)比較靈活，它會(huì)針對(duì)每個(gè)輸入樣本，自適應(yīng)地決定網(wǎng)絡(luò)的每個(gè)中間層是否執(zhí)行。

在網(wǎng)絡(luò)「寬度」這一維度上的動(dòng)態(tài)，從不同尺度上，可以分為神經(jīng)元的動(dòng)態(tài)激活，動(dòng)態(tài)通道剪枝和多專家混合系統(tǒng)（也即MoE）。

神經(jīng)元的動(dòng)態(tài)激活，容易理解，如下圖所示，通常可以通過低秩分解等方式控制線性層中的神經(jīng)元的激活。

CNN中的動(dòng)態(tài)通道剪枝，相較于靜態(tài)剪枝方法將某些“不重要”的通道永久性的去除，前者可以根據(jù)樣本自適應(yīng)地激活不同的卷積通道，從而在保持模型容量的情況下實(shí)現(xiàn)計(jì)算效率的提升。

多專家混合系統(tǒng)，則是通過并行結(jié)構(gòu)建立多個(gè)“專家”，這些專家可以是完整模型，也可以是網(wǎng)絡(luò)模塊，然后對(duì)這些「專家」的輸出結(jié)果進(jìn)行動(dòng)態(tài)加權(quán)，來得到最終的預(yù)測(cè)結(jié)果。

除了在網(wǎng)絡(luò)的廣度和深度上進(jìn)行動(dòng)態(tài)自適應(yīng)外，另外還有一類工作則是首先建立具有多條前向通道的超網(wǎng)絡(luò) (SuperNet)，然后采用一定的策略，對(duì)不同的輸入樣本進(jìn)行動(dòng)態(tài)路由。

參數(shù)動(dòng)態(tài)

具有動(dòng)態(tài)結(jié)構(gòu)的網(wǎng)絡(luò)往往需要特別的結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練策略或超參數(shù)的調(diào)整等。另一類工作則保持網(wǎng)絡(luò)結(jié)構(gòu)在推理過程中不變，根據(jù)輸入樣本自適應(yīng)地調(diào)節(jié)模型的（部分）參數(shù)，從而提升模型的表達(dá)能力。

設(shè)靜態(tài)網(wǎng)絡(luò)的推理過程可表示為

則具有動(dòng)態(tài)參數(shù)的網(wǎng)絡(luò)輸出可表示為

其中?

?是產(chǎn)生動(dòng)態(tài)參數(shù)的操作。

總體來說，動(dòng)態(tài)參數(shù)類的研究可以分為三大類：參數(shù)的動(dòng)態(tài)調(diào)節(jié)，參數(shù)預(yù)測(cè)以及基于注意力的動(dòng)態(tài)特征。

參數(shù)動(dòng)態(tài)調(diào)節(jié)的核心思路有兩個(gè)：1）對(duì)主干網(wǎng)絡(luò)的參數(shù)，在測(cè)試階段使用注意力進(jìn)行重新加權(quán)，從而提升網(wǎng)絡(luò)的表達(dá)能力；2）自適應(yīng)調(diào)節(jié)卷積核的形狀，從而讓網(wǎng)絡(luò)擁有動(dòng)態(tài)感受野。

參數(shù)預(yù)測(cè)比動(dòng)態(tài)調(diào)節(jié)方式更為直接，它會(huì)直接由輸入來預(yù)測(cè)生成網(wǎng)絡(luò)的（部分）參數(shù)。

動(dòng)態(tài)參數(shù)方法的主要效果是生成更加動(dòng)態(tài)與多樣的特征，從而提升模型的表達(dá)能力。為實(shí)現(xiàn)這一目的，一個(gè)等效的解決方案是直接針對(duì)特征進(jìn)行動(dòng)態(tài)加權(quán)。

對(duì)于一個(gè)線性變換

，對(duì)其輸出進(jìn)行加權(quán)，得到的結(jié)果等效于先對(duì)參數(shù)加權(quán)，再執(zhí)行該變換，即

除了通道以外，注意力也可以被用來對(duì)特征的不同空間位置進(jìn)行自適應(yīng)加權(quán)。這兩種注意力范式（通道、空間）可以被以多種形式組合起來進(jìn)一步提升模型表達(dá)能力。

上述動(dòng)態(tài)特征方法通常在非線性激活函數(shù)（如 ReLU）前對(duì)特征進(jìn)行重新加權(quán)。近期也有一些工作直接設(shè)計(jì)動(dòng)態(tài)激活函數(shù)，并替換傳統(tǒng)網(wǎng)絡(luò)中的靜態(tài)激活函數(shù) ，同樣能夠大幅提高模型的表達(dá)能力。

2）空間自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)

在視覺任務(wù)中，已有研究表明輸入中不同的空間位置對(duì)CNN的最終預(yù)測(cè)起著不同的作用。也就是說，做一個(gè)精確的預(yù)測(cè)，可能只需要自適應(yīng)的處理輸入中一部分空間位置，而無需對(duì)整張輸入圖像的不同位置進(jìn)行相同計(jì)算量的運(yùn)算。

另有研究表明，對(duì)輸入圖像僅使用較低的分辨率，已經(jīng)可以使網(wǎng)絡(luò)取得不錯(cuò)的準(zhǔn)確率。因此，傳統(tǒng)CNN中對(duì)所有輸入圖像采用相同分辨率表征的做法會(huì)帶來無可避免的冗余計(jì)算。

為此，可以設(shè)計(jì)空間自適應(yīng)的動(dòng)態(tài)網(wǎng)絡(luò)，對(duì)圖像輸入從空間的角度進(jìn)行自適應(yīng)推理。根據(jù)動(dòng)態(tài)運(yùn)算的粒度，可以將空間自適應(yīng)網(wǎng)絡(luò)分為三個(gè)級(jí)別：像素級(jí)，區(qū)域級(jí)以及分辨率級(jí)。

像素級(jí)

像素級(jí)動(dòng)態(tài)網(wǎng)絡(luò)，即對(duì)輸入特征圖的每個(gè)空間位置進(jìn)行自適應(yīng)計(jì)算。針對(duì)這種問題，同樣可以從動(dòng)態(tài)結(jié)構(gòu)和動(dòng)態(tài)參數(shù)兩個(gè)角度來做。

像素級(jí)動(dòng)態(tài)結(jié)構(gòu)網(wǎng)絡(luò)，顧名思義，即對(duì)不同的像素點(diǎn)，調(diào)用不同的網(wǎng)絡(luò)模塊，從而避免在背景區(qū)域等與任務(wù)無關(guān)的區(qū)域上進(jìn)行冗余計(jì)算。

而針對(duì)參數(shù)，基本可以將前述的幾種動(dòng)態(tài)參數(shù)方法運(yùn)用到這里。

區(qū)域級(jí)

像素級(jí)動(dòng)態(tài)網(wǎng)絡(luò)中的稀疏采樣操作往往導(dǎo)致模型在實(shí)際運(yùn)行中難以取得理論上的加速效果。區(qū)域級(jí)動(dòng)態(tài)網(wǎng)絡(luò)則從原輸入中選擇一塊整體區(qū)域進(jìn)行自適應(yīng)計(jì)算。

具體的，區(qū)域級(jí)動(dòng)態(tài)網(wǎng)絡(luò)可以分為兩種類型。第一種基于輸入圖像學(xué)習(xí)一組變換（如仿射、投影等）參數(shù)，并對(duì)原圖（部分區(qū)域）進(jìn)行參數(shù)化的變換，從而提升模型對(duì)圖像畸變的魯棒性，或者對(duì)圖像中任務(wù)相關(guān)的區(qū)域進(jìn)行放大 ，從而提升模型識(shí)別的準(zhǔn)確率。

第二種類型則采用空間硬注意力機(jī)制，自適應(yīng)的選擇輸入中包含重要目標(biāo)的圖像塊，將該圖像塊裁剪下來進(jìn)行識(shí)別。

具體流程可以如下：

分辨率級(jí)

上述工作通常需要將一張輸入圖像劃分為不同區(qū)域，并對(duì)每個(gè)區(qū)域進(jìn)行自適應(yīng)計(jì)算。其中的稀疏采樣/裁剪操作往往會(huì)影響模型實(shí)際運(yùn)行時(shí)的效率。

分辨率級(jí)的動(dòng)態(tài)網(wǎng)絡(luò)則不同，它會(huì)將每張輸入樣本仍然作為整體來處理，但為了減少“簡(jiǎn)單”樣本的高分辨率表征帶來的冗余計(jì)算，會(huì)對(duì)不同的輸入圖像采用動(dòng)態(tài)分辨率進(jìn)行數(shù)據(jù)表示。

動(dòng)態(tài)分辨率主要有兩種實(shí)現(xiàn)思路，一種是動(dòng)態(tài)的放縮比例，一種則是采用多尺度架構(gòu)。

3）時(shí)間自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)

時(shí)序數(shù)據(jù)（如文本、視頻等）在時(shí)間維度上具有較大的冗余性。因此，設(shè)計(jì)一個(gè)動(dòng)態(tài)網(wǎng)絡(luò)，針對(duì)不同時(shí)間位置的數(shù)據(jù)進(jìn)行自適應(yīng)計(jì)算，將使得網(wǎng)絡(luò)本身更加高效。

總體來說，時(shí)間自適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)可以從兩個(gè)方面減少冗余計(jì)算：1）對(duì)于某些「不重要」位置的輸入，分配較少的計(jì)算；2）僅在一部分采樣出的時(shí)間位置上執(zhí)行計(jì)算。

常規(guī)的靜態(tài) RNN對(duì)于長度為 T 的時(shí)序數(shù)據(jù)處理流程為，迭代式地更新其隱狀態(tài)，即

然而，由于不同時(shí)刻的輸入對(duì)于任務(wù)的貢獻(xiàn)程度（重要性）不同 ，對(duì)每個(gè)時(shí)刻的輸入均采用相同復(fù)雜度的操作會(huì)導(dǎo)致無法避免的冗余計(jì)算。因此，可以設(shè)計(jì)不同形式的動(dòng)態(tài) RNN，根據(jù)不同時(shí)刻的輸入自適應(yīng)地決定是否分配計(jì)算，或者采用何等復(fù)雜度的計(jì)算。

第一種方式是隱狀態(tài)的動(dòng)態(tài)更新?？紤]到不同時(shí)刻輸入數(shù)據(jù)的重要性不同，可以在RNN的每一個(gè)時(shí)間步，采用自適應(yīng)計(jì)算的方式更新其隱狀態(tài)，例如可以跳過隱狀態(tài)的更新，或進(jìn)行粗略的更新，再或者采用多尺度架構(gòu)進(jìn)行選擇性更新。

但這種方式依然需要將所有時(shí)刻的樣本輸入進(jìn)去，然后再進(jìn)行自適應(yīng)地計(jì)算所需的決策。在很多場(chǎng)景中，只根據(jù)時(shí)序數(shù)據(jù)的開頭就可以解決所需的問題。例如，人類只需閱讀文章的摘要就可以對(duì)文章的大意有一定的了解。因此可以采用「早退」機(jī)制，在某一中間時(shí)刻提前終止「閱讀」。

「早退」機(jī)制中網(wǎng)絡(luò)只能決定是否終止運(yùn)算，但卻不能決定去「看」輸入中哪些位置的數(shù)據(jù)。如果能夠采用前文提到的「跳躍」機(jī)制，則能夠跳過一定數(shù)量的輸入。

02、開放問題

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，其優(yōu)點(diǎn)顯而易見。特別是當(dāng)下，市場(chǎng)急需將深度學(xué)習(xí)模型部署到各個(gè)移動(dòng)終端，如何使用更小的模型，耗費(fèi)更少的計(jì)算量，且還能夠確保足夠高的精度，這些迫切需求正推動(dòng)著動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的研究大踏步向前。

但盡管如此，這一領(lǐng)域依然處于起步階段，仍然有諸多開放問題和研究方向值得探討，我們認(rèn)為有以下六大問題：

1、動(dòng)態(tài)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)。目前大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)方面的工作致力于設(shè)計(jì)靜態(tài)網(wǎng)絡(luò)，而多數(shù)動(dòng)態(tài)網(wǎng)絡(luò)設(shè)計(jì)方法也都是基于已有的經(jīng)典靜態(tài)模型架構(gòu)，選擇性的執(zhí)行其中的不同單元。這對(duì)于動(dòng)態(tài)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)可能只是一個(gè)次優(yōu)解。因此，針對(duì)于自適應(yīng)計(jì)算的動(dòng)態(tài)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)可以進(jìn)一步提升其性能和運(yùn)算效率。

2、更多樣任務(wù)下的適用性。目前大多數(shù)動(dòng)態(tài)網(wǎng)絡(luò)仍只是針對(duì)分類任務(wù)設(shè)計(jì)，難以直接運(yùn)用于其他視覺任務(wù)，如目標(biāo)檢測(cè)和語義分割。其難點(diǎn)在于這些任務(wù)中沒有一個(gè)簡(jiǎn)單的準(zhǔn)則來判斷樣本的難易程度，而一個(gè)樣本中又包含多個(gè)不同復(fù)雜度的目標(biāo)/像素點(diǎn)。現(xiàn)有的一些方法，如空間自適應(yīng)網(wǎng)絡(luò)，已經(jīng)可以用于分類之外的更多任務(wù)。然而，設(shè)計(jì)一個(gè)統(tǒng)一而簡(jiǎn)潔優(yōu)雅，并可以直接作為其他任務(wù)主干網(wǎng)絡(luò)的動(dòng)態(tài)網(wǎng)絡(luò)結(jié)構(gòu)仍然具有一定的挑戰(zhàn)性。

3、實(shí)際效率與理論的差距。現(xiàn)有的深度學(xué)習(xí)計(jì)算硬件和軟件庫大多針對(duì)靜態(tài)模型開發(fā)，對(duì)于動(dòng)態(tài)模型的加速尚不夠友好，從而導(dǎo)致動(dòng)態(tài)模型的實(shí)際加速可能落后于理論效果。因此，設(shè)計(jì)硬件友好的動(dòng)態(tài)網(wǎng)絡(luò)是一個(gè)有價(jià)值和挑戰(zhàn)性的課題。另一個(gè)有趣的方向則是進(jìn)一步優(yōu)化計(jì)算硬件和軟件平臺(tái)，從而更好的收獲動(dòng)態(tài)網(wǎng)絡(luò)帶來的理論效率提升。

4、魯棒性。近期工作已經(jīng)顯示，動(dòng)態(tài)模型可以為深度網(wǎng)絡(luò)的魯棒性帶來新的研究角度。另外，通常的對(duì)抗攻擊致力于降低模型準(zhǔn)確率，而對(duì)于動(dòng)態(tài)網(wǎng)絡(luò)，可以同時(shí)攻擊模型的準(zhǔn)確率和效率。因此，動(dòng)態(tài)網(wǎng)絡(luò)的魯棒性是一個(gè)有趣而尚未被充分研究的課題。

5、可解釋性。動(dòng)態(tài)網(wǎng)絡(luò)繼承了深度神經(jīng)網(wǎng)絡(luò)的「黑箱」特性，帶來了解釋其工作機(jī)制的研究方向。特別之處在于，動(dòng)態(tài)網(wǎng)絡(luò)的自適應(yīng)推理機(jī)制，如空間/時(shí)間上的自適應(yīng)性，與人類的視覺系統(tǒng)相符合。另外，對(duì)于一個(gè)給定樣本，可以很方便的分析動(dòng)態(tài)網(wǎng)絡(luò)做出預(yù)測(cè)需要激活哪些部分。我們期望這些性質(zhì)可以啟發(fā)新的深度學(xué)習(xí)可解釋性方面的工作。

6、動(dòng)態(tài)網(wǎng)絡(luò)理論。包括：1）最優(yōu)決策問題：決策是大多數(shù)動(dòng)態(tài)網(wǎng)絡(luò)推理過程中一個(gè)本質(zhì)性的操作?，F(xiàn)有方法（基于置信度、策略網(wǎng)絡(luò)或門函數(shù)）均缺乏一定的理論保障，且并不一定是最優(yōu)的決策方式。因此，設(shè)計(jì)具有理論保障的決策函數(shù)是未來很有價(jià)值的研究方向。2）泛化性能。在動(dòng)態(tài)模型中，不同的子網(wǎng)絡(luò)被不同的測(cè)試樣本激活，導(dǎo)致這些子網(wǎng)絡(luò)在訓(xùn)練和測(cè)試階段所面臨數(shù)據(jù)分布存在一定偏差。因此，對(duì)于動(dòng)態(tài)網(wǎng)絡(luò)泛化性能的新理論將是一個(gè)有趣的課題。

歡迎加入智源社區(qū)「動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)」興趣小組