這篇文章是針對卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，而且這個方法比較簡單，但文章通過大量的分析和實(shí)驗(yàn)，驗(yàn)證了提出的訓(xùn)練方法非常有效，在cifar、ImageNet、VQA、object detection上漲點(diǎn)很多。

作者 | ywsun

論文鏈接 | https://arxiv.org/abs/1811.07275

原文地址 | https://zhuanlan.zhihu.com/p/58095683

CVPR2019年的一篇文章?RePr: Improved Training of Convolutional Filters

這篇文章初看abstract和introduction，差點(diǎn)以為是model pruning，看到后面發(fā)現(xiàn)是針對卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，而且這個方法比較簡單，但文章通過大量的分析和實(shí)驗(yàn)，驗(yàn)證了提出的訓(xùn)練方法非常有效，在cifar、ImageNet、VQA、object detection上漲點(diǎn)很多，個人覺得paper writing/representation做的非常好，ablation study做的非常充分，是我目前看過的CVPR2019中最好的一篇文章。

遺憾的是個人水平有限，無法深入的分析這篇文章，就談?wù)勛约旱臏\見，也算是自己的閱讀筆記。

先來看效果圖，用新的訓(xùn)練方法，測試準(zhǔn)確率遠(yuǎn)遠(yuǎn)超過了標(biāo)準(zhǔn)的訓(xùn)練方法，是不是amazing？

下面看看在object detection上的測試結(jié)果，RePr在ResNet50-FPN上有4.1個點(diǎn)的提升，在ResNet101-FPN有2.8個點(diǎn)的提升，可以說是非常明顯了。

【Introduction】

卷積神經(jīng)網(wǎng)絡(luò)在視覺任務(wù)中取得了SOTA性能，我們會為不同的任務(wù)單獨(dú)設(shè)計(jì)不同的網(wǎng)絡(luò)結(jié)構(gòu)，雖然網(wǎng)絡(luò)結(jié)構(gòu)不同，但使用的優(yōu)化方法都是一樣的，而且這些優(yōu)化方法將網(wǎng)絡(luò)權(quán)重視為單獨(dú)的個體，沒有考慮彼此之前的相關(guān)性。而事實(shí)上，網(wǎng)絡(luò)權(quán)重之間是有很大聯(lián)系的。為了獲取最好的性能，網(wǎng)絡(luò)經(jīng)常過參數(shù)化(over-parameterized)。然而即使是過參數(shù)化的網(wǎng)絡(luò)，也會存在很多冗余的參數(shù)。model pruning證明了一個大的網(wǎng)絡(luò)可以通過丟棄一部分參數(shù)權(quán)重得到一個性能損失不大的小網(wǎng)絡(luò)，從而實(shí)現(xiàn)網(wǎng)絡(luò)壓縮和加速。

因此文章提出了一個新的訓(xùn)練方法。既然網(wǎng)絡(luò)中有些參數(shù)權(quán)重是多余，那我們訓(xùn)練的時(shí)候把他們丟棄（pruning），接著訓(xùn)練剩下的網(wǎng)絡(luò)，為了不損失模型的capacity，然后再把丟棄的參數(shù)拿回來，效果是不是會好一點(diǎn)呢？基于這個想法，文章作者任務(wù)有幾個重要的點(diǎn)：一是pruning哪些權(quán)重，而是如何再把丟棄的權(quán)重拿回來讓他們發(fā)揮更大的作用。本文的一個貢獻(xiàn)在于提出了一個metric，用于選擇哪些filters丟棄。同時(shí)作者指出，即使是一個參數(shù)很少（ under-parameterized ）的網(wǎng)絡(luò)，也會出現(xiàn)學(xué)到冗余的參數(shù)的情況，這不僅僅在多參數(shù)的網(wǎng)絡(luò)中存在，原因就在于訓(xùn)練過程低效。

【Motivation】

特征之間的相關(guān)性越高，其泛化性能越差。為了降低特征之間的相關(guān)性，有人提出了各種方法，比如在損失函數(shù)中加入特征相關(guān)性的項(xiàng)，在優(yōu)化目標(biāo)函數(shù)的時(shí)候使的模型自動學(xué)習(xí)出低相關(guān)的特征，然而并沒有什么效果。還有通過分析不同層的特征并進(jìn)行聚類，這種方法在實(shí)際中不可行因?yàn)橛?jì)算量巨大。還有人嘗試過loss添加正則項(xiàng)讓模型學(xué)習(xí)到相互正交的權(quán)重，最后也發(fā)現(xiàn)收效甚微。實(shí)驗(yàn)發(fā)現(xiàn)，僅僅通過正則化項(xiàng)讓網(wǎng)絡(luò)自動學(xué)習(xí)到正交的權(quán)重是不夠的，文章提出的訓(xùn)練方法其實(shí)已經(jīng)隱式地起到了正則化效果，并且對模型的收斂沒有任何影響。

為了說明即使是參數(shù)少的模型，由于訓(xùn)練的低效，也會存在大量冗余的卷積核，通過一個比較小的卷積神經(jīng)網(wǎng)絡(luò)，作者可視化了不同層的卷積核對性能的影響，如下圖右，layer2的大部分卷積核對性能的影響僅僅只有1%，即使是淺層的layer1，也存在大量不重要的權(quán)重。

【新的訓(xùn)練方法：RePr】

訓(xùn)練過程如下：方式比較簡單，先訓(xùn)練整個網(wǎng)絡(luò)，根據(jù)metric drop掉30%的filter，再訓(xùn)練剩下的網(wǎng)絡(luò)，再把drop的filter拿回來，用于現(xiàn)有filters正交的方式初始化。迭代這個過程N(yùn)次。

算法中最重要的其實(shí)這個metric，即如何選出需要drop的filters。

文章寫的很明白，一個layer的多個卷積核可以用一個matrix表示，也就是 W_{l} ,先對 W_{l} 歸一化，再與自己的轉(zhuǎn)置相乘得到 P_{l} ,這是一個 J_{l} x J_{l} 大小的matrix，第i行表示其他filter對第i個filter的projection，可以看成是相關(guān)性，如果是正交性的越大，那么這個值就越小，一行的數(shù)值之和越小，說明其他filter與這個filter相關(guān)性越低。因此可以通過這個sum來對filter進(jìn)行rank。

同時(shí)文章還說明了，計(jì)算這個metric是在一個layer內(nèi)，但rank是在所有l(wèi)ayer進(jìn)行的，目的是為了不讓layer這個因數(shù)影響filter的rank，避開layer的差異性，同時(shí)也不引入過多的超參。

文章一個值得稱贊的點(diǎn)就是ablation study部分做的非常詳細(xì)而充分。文章做了大量的對比實(shí)驗(yàn)，對該方法涉及的參數(shù)進(jìn)行了討論，并對比了不同的optimization的影響，同時(shí)也比較了dropout、knowledge distillation，指出該方法不僅和他們有很大區(qū)別，與他們結(jié)合還能得到更好的結(jié)果。

【Results】

作者做了大量實(shí)驗(yàn)，驗(yàn)證該方法在cifar10,cifar100,imagenets上都能取得很好的性能。

這是RePr早其他task上的表現(xiàn)，VQA上有不同程度的漲點(diǎn)，效果明顯。

object detection上漲點(diǎn)達(dá)到了ResNet50 4.1個點(diǎn)，ResNet101 2.8個點(diǎn)，可是說是非常明顯了。

總的來說，這是一篇看起來真正做work的paper，做法簡單有效，實(shí)驗(yàn)充分合理，相信很多人會去復(fù)現(xiàn)這篇paper，有些超參還是需要調(diào)一調(diào)的，具體效果如何還需要看實(shí)際情況，特別是detection部分，如果真的work，未來會成為刷SOTA的一個標(biāo)配。


幾個疑問的點(diǎn)：

• 為何文章中說ResNet、Inception的設(shè)計(jì)是為了減低feature之間的相關(guān)性？

• 對detection部分work比較感興趣，希望知道更多的細(xì)節(jié)。

歡迎留言區(qū)探討~

延伸閱讀

• CVPR2019 論文匯總

• CVPR2019論文視頻