在介紹本篇文章之前呢，我們先來(lái)回顧一下上篇文章的內(nèi)容。“天樞(第一講)”主要為大家介紹了深度學(xué)習(xí)遙感樣本庫(kù)的建設(shè)原則和方法，以及天樞為遙感行業(yè)內(nèi)零AI基礎(chǔ)的用戶提供了自主訓(xùn)練高精度神經(jīng)網(wǎng)絡(luò)的平臺(tái)。在這樣一個(gè)架好的“煉丹爐”面前，不會(huì)“法術(shù)”的我們也能煉出丹藥，so tm crazy？ 沒(méi)錯(cuò)，“煉丹爐”內(nèi)的“六丁神火”已經(jīng)給您燃起，人人都可以上手操作成為“煉丹師”；當(dāng)然了，要想煉出絕世好丹也并非那么容易，這就要求煉丹師們最好懂點(diǎn)“法術(shù)”了。

舉一個(gè)現(xiàn)實(shí)場(chǎng)景中的例子，大家都見(jiàn)過(guò)或者品嘗過(guò)很多的美食。那么一道美食在呈現(xiàn)之前無(wú)疑需要具備三個(gè)必不可少的條件——“廚具、食材、菜譜”。 有人說(shuō)，那廚師呢？沒(méi)錯(cuò)，這三個(gè)條件提供給任何一個(gè)普通人，我相信只要Ta不silly，時(shí)間久點(diǎn)也可以做出一道菜，只是做出來(lái)的菜總感覺(jué)缺了點(diǎn)什么，所以經(jīng)常會(huì)出現(xiàn)忙碌了兩個(gè)小時(shí)的陳師傅最后決定還是拿起手機(jī)點(diǎn)了份外賣(mài)這樣的局面。而換作一名廚師或者家庭主廚，通過(guò)一頓秀操作，三下五除二的就可以弄出一桌佳肴來(lái)，不僅節(jié)省了大量的時(shí)間，而且做出來(lái)的菜色香味俱全，讓人垂涎欲滴。然而廚師不可能靠一桌美食就能俘獲全天下的胃，就比如北方的廚師去到了南方，很有可能不會(huì)得到南方人的喜愛(ài)。這也不怪廚師，因?yàn)榈赜蝻嬍澄幕?、食材的生長(zhǎng)季節(jié)及生長(zhǎng)環(huán)境等差異，眾口難調(diào)。但是廚師會(huì)憑借著自己豐富的行業(yè)經(jīng)驗(yàn)，只要給他一份當(dāng)?shù)氐牟俗V和食材，就能很快的制作出符合當(dāng)?shù)乜谖兜拿朗场?/p>

當(dāng)然，這里并不是教大家如何成為一名廚師。其實(shí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的原理也是如此，只是操刀的不再是廚師，而是AI算法工程師 (會(huì)數(shù)學(xué)的廚師？誰(shuí)說(shuō)的站出來(lái)！)，只不過(guò)一個(gè)研究味覺(jué)，一個(gè)研究視覺(jué)，其實(shí)也一樣，因?yàn)槲覀兛梢灶?lèi)比一下：“菜譜=算法，食材=樣本，廚具=GPU”。而今天這篇文章，小編主要帶來(lái)一些關(guān)于遙感神經(jīng)網(wǎng)絡(luò)訓(xùn)練的知識(shí)普及和經(jīng)驗(yàn)分享，也希望能助大家早日成為一名略懂點(diǎn)“法術(shù)”的“煉丹師”。

深度學(xué)習(xí)與傳統(tǒng)的機(jī)器學(xué)習(xí)區(qū)別？

“深度學(xué)習(xí)”一詞在近兩年來(lái)高頻次的出現(xiàn)在各大博客和朋友圈當(dāng)中，相信大家早已經(jīng)耳濡目染了。我們都知道，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的子集，機(jī)器學(xué)習(xí)又是人工智能的子集，所以深度學(xué)習(xí)自然也屬于人工智能。那么深度學(xué)習(xí)為什么突然如此火爆？與傳統(tǒng)的機(jī)器學(xué)習(xí)相比，它們有何不同呢？ 這里小編結(jié)合自己的學(xué)習(xí)經(jīng)歷，梳理出以下幾點(diǎn)：

#01?特征工程

傳統(tǒng)的機(jī)器學(xué)習(xí)需要人工去提取特征（淺層特征），深度學(xué)習(xí)則不需要，而且深度學(xué)習(xí)算法嘗試從數(shù)據(jù)中學(xué)習(xí)到高級(jí)特征。例如訓(xùn)練一個(gè)識(shí)別貓的模型，機(jī)器學(xué)習(xí)不僅要給出貓的照片和位置信息，還需要人工手動(dòng)去分析出貓與其它類(lèi)別最易于區(qū)分的那些特征并告訴機(jī)器；而深度學(xué)習(xí)只需要貓的照片和位置信息即可。

#02?數(shù)據(jù)依賴性

深度學(xué)習(xí)適合處理大數(shù)據(jù)，而數(shù)據(jù)量比較小的時(shí)候，用傳統(tǒng)的機(jī)器學(xué)習(xí)方法也許更適合，隨著數(shù)據(jù)量的增大，深度學(xué)習(xí)的優(yōu)勢(shì)越會(huì)發(fā)揮出來(lái)。

#03?硬件依賴性

深度學(xué)習(xí)十分地依賴高端的硬件設(shè)施，深度學(xué)習(xí)中涉及到很多的矩陣運(yùn)算，深度學(xué)習(xí)離不開(kāi)GPU，因?yàn)镚PU就是專(zhuān)門(mén)為矩陣運(yùn)算而設(shè)計(jì)的，可以優(yōu)化這些矩陣運(yùn)算操作。相反，傳統(tǒng)的機(jī)器學(xué)習(xí)隨便一臺(tái)電腦就可以訓(xùn)練。

#04?解決問(wèn)題思路

當(dāng)使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法解決問(wèn)題時(shí)，通常建議將問(wèn)題分解為不同的部分，分別解開(kāi)這些問(wèn)題，然后將它們組合起來(lái)得到結(jié)果。相反，深度學(xué)習(xí)主張從頭到尾的解決問(wèn)題。

#05?執(zhí)行時(shí)間

傳統(tǒng)的機(jī)器學(xué)習(xí)一般訓(xùn)練時(shí)間短，深度學(xué)習(xí)訓(xùn)練時(shí)間長(zhǎng)，因?yàn)橛泻芏鄥?shù)和矩陣計(jì)算。

#06?可解釋性

傳統(tǒng)的機(jī)器學(xué)習(xí)一般具有可解釋性，即得出的結(jié)果，可以通過(guò)清晰的規(guī)則來(lái)理解；而深度學(xué)習(xí)不具有可解釋性，很多時(shí)候它得出的結(jié)果，我們并不能明白其背后的原理，甚至它已經(jīng)超越了正常人類(lèi)的思維模式。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程

其實(shí)真正的模型訓(xùn)練也并非大家所想的那樣復(fù)雜，只是我們經(jīng)常在網(wǎng)上被一些AI專(zhuān)業(yè)術(shù)語(yǔ)和“亂七八糟”的數(shù)學(xué)公式給嚇到。而一旦掌握了訓(xùn)練的核心原理，再加上已經(jīng)有很多的科學(xué)家以及算法工程師們幫助我們搭建好了開(kāi)源的底層框架、設(shè)計(jì)好了各種精巧的網(wǎng)絡(luò)結(jié)構(gòu)，就像套公式一樣，人人都可以自己訓(xùn)練模型。但是這樣一個(gè)“黑匣子”究竟是怎樣運(yùn)作之后然后得出一個(gè)神奇的東西——“模型”出來(lái)的呢？ 不知道大家是不是和小編一樣，心里總是有種不通透感，為緩解大家心里的這種不通透感，不妨讓我們一起來(lái)了解一下神經(jīng)網(wǎng)絡(luò)訓(xùn)練的大體流程：

1.數(shù)據(jù)預(yù)處理，制作樣本

-如何進(jìn)行遙感數(shù)據(jù)的預(yù)處理以及遙感樣本制作請(qǐng)參見(jiàn)“天樞第一講”“遙感數(shù)據(jù)處理流程”等歷史文章

2.將制作完成的樣本數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)（每個(gè)神經(jīng)元先輸入值加權(quán)累加再輸入激活函數(shù)作為該神經(jīng)元的輸出值）正向傳播，得到“得分”

-對(duì)應(yīng)天樞中模型框架選擇、批處理大小設(shè)置

3.將“得分”輸入誤差函數(shù)loss function（正則化懲罰，防止過(guò)度擬合），與真值（人腦模型）比較得到誤差，多個(gè)誤差求和，通過(guò)誤差判斷神經(jīng)網(wǎng)絡(luò)識(shí)別程度（損失值越小越好）

4.通過(guò)反向傳播（反向求導(dǎo)，誤差函數(shù)和神經(jīng)網(wǎng)絡(luò)中每個(gè)激活函數(shù)都要求，最終目的是使誤差最?。﹣?lái)確定梯度向量

-對(duì)應(yīng)天樞中學(xué)習(xí)率大小設(shè)定、學(xué)習(xí)率策略選擇

5.最后通過(guò)梯度向量來(lái)調(diào)整每一個(gè)權(quán)值，向“得分”使誤差趨于0或收斂的趨勢(shì)調(diào)節(jié)

-對(duì)應(yīng)天樞中優(yōu)化策略選擇

6.重復(fù)上述過(guò)程直到設(shè)定次數(shù)或損失誤差的平均值到達(dá)最低點(diǎn)，不再下降

-對(duì)應(yīng)天樞中訓(xùn)練輪數(shù)設(shè)定

怎么樣，是不是很簡(jiǎn)單？而且天樞平臺(tái)將“黑匣子”里的這些超參數(shù)以及最終訓(xùn)出來(lái)的結(jié)果指標(biāo)、損失函數(shù)全都可視化展示，時(shí)刻直觀監(jiān)視著模型訓(xùn)練全流程。所以總結(jié)起來(lái)，用天樞訓(xùn)練模型就像把大象裝進(jìn)冰箱一樣簡(jiǎn)單。

Ⅰ?輸入樣本數(shù)據(jù)，明確訓(xùn)練需求，選擇對(duì)應(yīng)的需求模塊

Ⅱ?創(chuàng)建訓(xùn)練任務(wù)，設(shè)置訓(xùn)練超參數(shù)，提交任務(wù)，即可等待最終結(jié)果

Ⅲ?利用驗(yàn)證集對(duì)模型進(jìn)行評(píng)估，滿意再發(fā)布，不滿意再迭代

Ⅳ?發(fā)布的模型，直接應(yīng)用解譯

開(kāi)篇也提到，想要訓(xùn)練一個(gè)高精度的模型也并非那么容易，在滿足基本算力條件的前提下，模型訓(xùn)練的兩大實(shí)質(zhì)核心內(nèi)容為：樣本的制備與算法的調(diào)優(yōu)。若想訓(xùn)練出高精度模型，兩者相輔相成，缺一不可。而文章開(kāi)篇廚師的例子也說(shuō)明了，沒(méi)有一個(gè)模型能夠滿足于整個(gè)遙感行業(yè)內(nèi)所有業(yè)務(wù)規(guī)則和場(chǎng)景的精度需求，相較于酸甜苦辣咸等味覺(jué)上的感知，不同的衛(wèi)星源、地形地貌、季節(jié)、氣象條件、人類(lèi)活動(dòng)、成像算法等產(chǎn)生的視覺(jué)差異因素則顯得更加復(fù)雜。而我們所說(shuō)的模型效果差，其實(shí)也就是模型欠擬合或者過(guò)擬合，所以整個(gè)模型訓(xùn)練中主要有以下幾點(diǎn)影響因素：

#?樣本的選擇

收集更多更全的樣本。例如想要識(shí)別建筑物，理論上我們?nèi)绻苁占饺珖?guó)所有類(lèi)型的建筑物樣本交給機(jī)器學(xué)習(xí)是最好的，模型泛化性會(huì)越強(qiáng)；但這明顯不現(xiàn)實(shí)，因?yàn)樗婕暗木S度太多（不同的影像分辨率、城村房屋結(jié)構(gòu)差異等），數(shù)據(jù)量太大，所以就需要人工來(lái)初步降維。那么如何有效的人工降維呢？ 即細(xì)化業(yè)務(wù)需求，只準(zhǔn)備有特征代表性的樣本。 比如我們只想要識(shí)別北京城區(qū)的建筑物，而且后期主要參考影像是高分2號(hào)衛(wèi)星0.8米分辨率的影像。那么這時(shí)候我們就可以省去一些代表性沒(méi)那么強(qiáng)的例如農(nóng)村建筑、其它省市建筑、2米分辨率影像等類(lèi)型樣本，將重點(diǎn)樣本放在北京城區(qū)、0.8米分辨率影像的建筑物上，即最終的樣本特征盡可能涵蓋北京所有建筑的樣式、類(lèi)型、顏色等。這也是在樣本不充足的情況下最佳的選擇。所以最終模型的難度決定了所需樣本量的多少，模型越簡(jiǎn)單，模型收斂所需的樣本量就越少，而模型越復(fù)雜，模型收斂所需的樣本量就越多。

#?深度學(xué)習(xí)框架的選擇

目前在科研和工業(yè)領(lǐng)域用的較多的深度學(xué)習(xí)開(kāi)源框架主要有國(guó)外的PyTorch，TensorFlow，以及國(guó)內(nèi)的PaddlePaddle、Jittor、MegEngine等。如何選擇一個(gè)合適的框架，與現(xiàn)有編程平臺(tái)、技能整合的難易程度、數(shù)據(jù)處理生態(tài)整合的緊密程度、對(duì)數(shù)據(jù)量及硬件的要求、平臺(tái)的成熟程度等因素都有著密切關(guān)系，沒(méi)有好壞，只有適不適合。但在如今激烈的國(guó)際貿(mào)易戰(zhàn)之下，還是希望國(guó)產(chǎn)品牌能夠得到大家更多的關(guān)注和支持。

#?數(shù)據(jù)增強(qiáng)

對(duì)樣本進(jìn)行旋轉(zhuǎn)、平移、顏色變換、裁剪、仿射變換，加入隨機(jī)噪聲等方式，以此來(lái)增加樣本數(shù)量和泛化性。天樞平臺(tái)所依賴的國(guó)產(chǎn)開(kāi)源PaddlePaddle深度學(xué)習(xí)框架就提供了大量的數(shù)據(jù)增強(qiáng)方式，方便了我們?cè)黾訕颖緮?shù)量。

#?模型的選擇

模型選擇建立在對(duì)問(wèn)題的理解、對(duì)數(shù)據(jù)的理解、對(duì)各種模型的理解的基礎(chǔ)之上，結(jié)合經(jīng)驗(yàn)和不斷的嘗試，以選擇最適合的模型獲得更高的準(zhǔn)確率。天樞平臺(tái)已經(jīng)自研并集成了大、中、小三個(gè)模型，在訓(xùn)練前可根據(jù)不同的數(shù)據(jù)量和模型復(fù)雜程度進(jìn)行選擇。

#?合理的調(diào)參

深度學(xué)習(xí)算法是由參數(shù)驅(qū)動(dòng)的，適當(dāng)?shù)恼{(diào)整迭代輪數(shù)、學(xué)習(xí)率大小等超參數(shù)（超參數(shù)是在開(kāi)始學(xué)習(xí)過(guò)程之前設(shè)置值的參數(shù)，而不是通過(guò)訓(xùn)練得到的參數(shù)數(shù)據(jù)），會(huì)使模型更快的找到最優(yōu)值。

結(jié)語(yǔ)

深度學(xué)習(xí)模型訓(xùn)練是一個(gè)費(fèi)時(shí)間，考驗(yàn)技巧的過(guò)程。模型訓(xùn)練中有梯度彌散，過(guò)擬合等各種痛點(diǎn)，正是為了解決這些問(wèn)題，不斷涌現(xiàn)出了各種設(shè)計(jì)精巧的網(wǎng)絡(luò)結(jié)構(gòu)。我們不必像AI算法工程師們那樣不僅要學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)方式，還得掌握它們的設(shè)計(jì)思想。正所謂“前人栽樹(shù)，后人乘涼”，天樞平臺(tái)已經(jīng)研發(fā)并集成了多個(gè)精巧的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)模型，大大降低了AI模型訓(xùn)練的門(mén)檻，基于這些網(wǎng)絡(luò)框架和模型，再按照樣本庫(kù)的建設(shè)原則去準(zhǔn)備樣本，我們就可以輕松的訓(xùn)練出特定場(chǎng)景的模型。

“菜譜”已附上，恭迎各位“廚師”帶上“食材”，來(lái)到“天樞廚房”大展身手，制作出自己喜歡的“美食”吧。

下篇文章會(huì)為大家?guī)?lái)模型訓(xùn)練實(shí)戰(zhàn)分享，關(guān)注公眾號(hào)不迷路，敬請(qǐng)期待！

關(guān)注中科北緯微信公眾號(hào)↓了解更多資訊

zhongke-NB