論文系列來填坑了！哈哈！希望學姐這次能把論文推薦系列好好的寫完結！大家給學姐點點贊啊！給我點鼓勵！

01

深度學習CV領域劃時代論文

具有里程碑意義

期刊日期：

NIPS-2012，Alexnet

論文名稱：

《ImageNet Classification with Deep Convolutional Neural Networks》

摘要

本論文的主要內容是訓練了一個深度卷積網(wǎng)絡（6千萬參數(shù)、65萬神經(jīng)元，結構為五層卷積，某些卷積層后接max-pooling層，后接三個全連接層，圖中的方塊或者豎條是feature map，連接的線是layer的名字，全連接就是dense layer。最后的特征1000個元素的feature map，丟給沒在圖上體現(xiàn)的softmax完成分類）來完成2010年的ImageNet分類比賽的任務（LVSRC-2010），將120萬張高分辨率的圖片分為1000個類別。

論文鏈接：

https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

其他：

論文講解，[學姐帶你玩AI]后臺回復“Alexnet”即可獲?。赫撐模v解，源碼等資料。

02
開啟3*3卷積堆疊時代

期刊日期：

ICLR-2015，VGG net

論文名稱：

《Very Deep Convolutional Networks for Large-Scale Image Recognition》

摘要

本文研究了深度對卷積網(wǎng)絡在大規(guī)模圖像識別中準確率的影響。本文的主要貢獻是，對使用很小(3×3)的卷積濾波器來增加深度的網(wǎng)絡進行了一個全面的評估，表明了通過將深度提高到16——19個權重層，業(yè)界最好網(wǎng)絡的性能也能夠得到顯著的提升。

這些發(fā)現(xiàn)是我們參加ImageNet2014挑戰(zhàn)賽的基礎，我們也因此在定位和分類跟蹤任務上分別獲得了第一名和第二名的成績。本文表明了我們的模型在其他數(shù)據(jù)集上同樣表現(xiàn)得很好，并都達到了當前最佳的水平。我們已經(jīng)公布了兩種性能最好的卷積網(wǎng)絡模型，希望能促進將深度視覺表達應用于計算機視覺的進一步研究。

論文鏈接：

https://arxiv.org/pdf/1409.1556.pdf

模型代碼：

https://worksheets.codalab.org/worksheets/0xe2ac460eee7443438d5ab9f43824a819

03

Google系列論文開創(chuàng)論文

提出多尺度卷積模塊

期刊日期：

CVPR-2015，googlenet? v1

論文名稱：

《Going deeper with convolutions》

摘要：

我們提出了一個名為“Inception”的深度卷積神經(jīng)網(wǎng)結構，其目標是將分類、識別ILSVRC14數(shù)據(jù)集的技術水平提高一個層次。這一結構的主要特征是對網(wǎng)絡內部計算資源的利用進行了優(yōu)化。

這一目標的實現(xiàn)是通過細致的設計，使得在保持計算消耗穩(wěn)定不變的同時增加網(wǎng)絡的寬與深。

為了提高質量，網(wǎng)絡結構基于赫布原則（Hebbian principle）和多尺度處理規(guī)則（intuition of multi-scale processing）設計。一個具體化的例子是所謂GoogLeNet，也就是我們提交到ILSVRC14的成果，它是一個22層深的網(wǎng)絡，其質量在分類和檢測這兩項指標中獲得評估。

論文鏈接：

https://arxiv.org/pdf/1409.4842.pdf

04

神經(jīng)網(wǎng)絡大殺器

BN層提出

期刊日期：

arXiv-2015，googlenet v2

論文名稱：

《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》

摘要

Batch Normalization的加速作用體現(xiàn)在兩個方面：一是歸一化了每層和每維度的scale，所以可以整體使用一個較高的學習率，而不必像以前那樣遷就小scale的維度；二是歸一化后使得更多的權重分界面落在了數(shù)據(jù)中，降低了overfit的可能性，因此一些防止overfit但會降低速度的方法，例如dropout和權重衰減就可以不使用或者降低其權重。

論文鏈接：

https://arxiv.org/pdf/1502.03167.pdf

05

卷積分解及結構進化

超越人類精度

期刊日期：

CVPR-2016，googlenet v3

論文名稱：

《Rethinking the Inception Architecture for Computer Vision》

摘要

GoogLeNet經(jīng)過了Inception V1、Inception V2（BN）的發(fā)展以后，Google的Szegedy等人又對其進行了更深層次的研究和拓展，在本文中，作者提出了當前環(huán)境下，網(wǎng)絡設計的一些重要準則，并根據(jù)這些準則，對原有的GoogLeNet進行了改進，提出了一個更加復雜、性能更好的模型框架：Inception V3。這篇文章證明了這些改進的有效性，并為以后的網(wǎng)絡設計提供了新的思路。

論文鏈接：

https://arxiv.org/pdf/1512.00567.pdf

想要更多資料嗎？關注公眾號點擊底部菜單“免費資料”進群領資料！

06

工業(yè)界標桿模型

最具影響力的卷積神經(jīng)網(wǎng)絡

期刊日期：

CVPR-2016，resnet

論文名稱：

《Deep Residual Learning for Image Recognition》

摘要

本文展示了一種殘差學習框架，能夠簡化使那些非常深的網(wǎng)絡的訓練，該框架使得層能根據(jù)其輸入來學習殘差函數(shù)而非原始函數(shù)（unreferenced functions）。

本文提供了全面的依據(jù)表明，這些殘差網(wǎng)絡的優(yōu)化更簡單，而且能由更深的層來獲得更高的準確率。本文在ImageNet數(shù)據(jù)集上使用了一個152層深的網(wǎng)絡來評估我們的殘差網(wǎng)絡，雖然它相當于8倍深的VGG網(wǎng)絡，但是在本文的框架中仍然只具有很低的復雜度。

這些殘差網(wǎng)絡的一個組合模型（ensemble）在ImageNet測試集上的錯誤率僅為 3.57%。這個結果在2015年的ILSVRC分類任務上獲得了第一名的成績。我們在CIFAR-10上對100層和1000層的殘差網(wǎng)絡也進行了分析。

論文鏈接：

https://arxiv.org/pdf/1512.03385.pdf

07
Inception與ResNet結構的嘗試

期刊日期：

arXiv-2016，googlenet v4

論文名稱：

《Inception-ResNet and the Impact of Residual Connections on Learning》

摘要

論文鏈接：

https://arxiv.org/pdf/1602.07261.pdf

08
何愷明團隊對ResNet重大改進

期刊日期：

CVPR-2017，ResNeXt

論文名稱：

《Aggregated Residual Transformations for Deep Neural Networks》

摘要

在保持模型現(xiàn)有的復雜度的情況下，提高模型的學習能力？

該論文從這個角度出發(fā)，提出了考量模型的另一個緯度：cardinality（即模型split-transform-merge的集合的數(shù)目，筆者理解就是一個block里面，branches或者paths的個數(shù)）

論文鏈接：

https://arxiv.org/pdf/1611.05431.pdf

模型代碼：

https://github.com/facebookresearch/ResNeXt

09

ResNet的改進

2016-ILSVRC冠軍

期刊日期：

CVPR-2017，densenet

論文名稱：

《Densely Connected Convolutional Networks》

摘要

這篇論文是CVPR 2017的最佳論文，即16年的resnet之后這篇文章提出了DenseNet這樣一個全新的網(wǎng)絡框架，豐富了自LeNet至今的CNN網(wǎng)絡體系。本著學習的態(tài)度，我趁這個周末上午學習了DenseNet的框架，主要介紹DenseNet的結構特點以及他與ResNet之間的對比。

論文鏈接：

https://arxiv.org/pdf/1608.06993.pdf

模型代碼：

https://github.com/liuzhuang13/DenseNet

10

引入注意力機制的卷積神經(jīng)網(wǎng)絡

2017-ILSVRC（最后一屆）冠軍

期刊日期：

TPAMI-2017，Senet

論文名稱：

《Squeeze-and-Excitation Networks》

摘要

Sequeeze-and-Excitation(SE) block并不是一個完整的網(wǎng)絡結構，而是一個子結構，可以嵌到其他分類或檢測模型中，作者采用SENet block和ResNeXt結合在ILSVRC 2017的分類項目中拿到第一，在ImageNet數(shù)據(jù)集上將top-5 error降低到2.251%，原先的最好成績是2.991%。

作者在文中將SENet block插入到現(xiàn)有的多種分類網(wǎng)絡中，都取得了不錯的效果。SENet的核心思想在于通過網(wǎng)絡根據(jù)loss去學習特征權重，使得有效的feature map權重大，無效或效果小的feature map權重小的方式訓練模型達到更好的結果。當然，SE block嵌在原有的一些分類網(wǎng)絡中不可避免地增加了一些參數(shù)和計算量，但是在效果面前還是可以接受的。

論文鏈接：

https://arxiv.org/pdf/1709.01507.pdf

模型代碼：

https://github.com/hujie-frank/SENet

免責聲明：所載內容來源互聯(lián)網(wǎng)，僅供參考。轉載稿件版權歸原作者和機構所有，如有侵權，請聯(lián)系我們刪除。