來源：原創(chuàng)

作者：學姐

編輯：學姐

大家可能會說學姐為啥正寫著NLP的論文，怎么又來寫計算機視覺的論文推薦，因為剛好整理出來了，就發(fā)了吧！要不然學姐后面就又忘記了。萬一你們正需要，我發(fā)的晚，錯過就不好了！

網絡結構設計

MobileNets（Google 移動計算法寶）

期刊日期

CVPR 2017

論文名稱

《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision? Applications》

描述

MobileNets 基于流線型架構，該架構使用深度可分離卷積來構建輕量級深度神經網絡。我們引入了兩個簡單的全局超參數，可以有效地在延遲和準確性之間進行權衡。這些超參數允許模型構建者根據問題的約束為其應用程序選擇合適大小的模型。

我們在資源和準確性權衡方面進行了廣泛的實驗，并與 ImageNet 分類上的其他流行模型相比表現出強大的性能。然后，我們展示了 MobileNets 在廣泛的應用和用例中的有效性，包括對象檢測、細粒度分類、人臉屬性和大規(guī)模地理定位。

論文鏈接

https://arxiv.org/abs/1704.04861

代碼：

https://github.com/Z0m6ie/CIFAR-10_PyTorch

關注【學姐帶你玩AI】后臺回復“我愛學習”，領取論文及講解課件

ShuffleNet（計算效率極高的CNN架構）

期刊日期

CVPR 2017

論文名稱

《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》

描述

我們引入了一種計算效率極高的 CNN 架構，名為 ShuffleNet，它專為計算能力非常有限（例如，10-150 MFLOPs）的移動設備而設計。新架構利用兩個新操作，逐點組卷積和通道混洗，在保持準確性的同時大大降低了計算成本。

ImageNet 分類和 MS COCO 對象檢測的實驗證明了 ShuffleNet 優(yōu)于其他結構的性能，例如在 40 MFLOP 的計算預算下，在 ImageNet 分類任務上的 top-1 誤差（絕對 7.8%）低于最近的 MobileNet。在基于 ARM 的移動設備上，ShuffleNet 比 AlexNet 實現了約 13 倍的實際加速，同時保持了相當的準確性。

論文鏈接

https://arxiv.org/abs/1707.01083

代碼

https://github.com/jaxony/ShuffleNet

SqueezeNet（又小又快的網絡模型）

期刊日期

ICLR 2017

論文名稱

《SqueezeNet ：AlexNet-level accuracy with 50x fewer parameters and <0.5MB》

描述

最近對深度神經網絡的研究主要集中在提高準確性上。對于給定的準確度級別，通?？梢宰R別達到該準確度級別的多個 DNN 架構。在同等準確度的情況下，較小的 DNN 架構至少具有三個優(yōu)勢：

（1）較小的 DNN 在分布式訓練期間需要較少的服務器間通信。

(2) 較小的 DNN 需要較少的帶寬來將新模型從云端導出到自動駕駛汽車。

(3) 更小的 DNN 更適合部署在 FPGA 和其他內存有限的硬件上。

為了提供所有這些優(yōu)勢，我們提出了一種稱為 SqueezeNet 的小型 DNN 架構。

論文鏈接

?https://arxiv.org/abs/1602.07360

代碼

https://github.com/gsp-27/pytorch_Squeezenet

https://github.com/ejlb/squeezenet-chainer

SqueezeNet架構：

https://github.com/DeepScale/SqueezeNet

https://github.com/DT42/squeezenet_demo

https://github.com/Element-Research/dpnn

https://github.com/haria/SqueezeNet

Xception（Inception網絡的增強版）

期刊日期

CVPR 2017

論文名稱

《Xception: Deep Learning with Depthwise Separable Convolutions》

描述

這篇文章主要在 Inception V3 的基礎上提出了 Xception（Extreme Inception），基本思想就是設計了通道分離式卷積 depthwise separable convolution operation

論文鏈接

?https://arxiv.org/abs/1610.02357

代碼

https://github.com/weiaicunzai/pytorch-cifar100

模型壓縮

知識蒸餾開山之作

期刊日期

NIPS 2014

論文名稱

《Distilling the Knowledge in a Neural Network》

描述

提高幾乎所有機器學習算法性能的一種非常簡單的方法是在相同數據上訓練許多不同的模型，然后對它們的預測進行平均。不幸的是，使用整個模型集合進行預測很麻煩，并且可能計算量太大而無法部署到大量用戶，尤其是在單個模型是大型神經網絡的情況下。

Caruana 和他的合作者已經證明，可以將集成中的知識壓縮到一個更容易部署的模型中，我們使用不同的壓縮技術進一步開發(fā)了這種方法。我們在 MNIST 上取得了一些令人驚訝的結果，并且我們表明，我們可以通過將模型集合中的知識提取到單個模型中來顯著改進大量使用的商業(yè)系統(tǒng)的聲學模型。

我們還介紹了一種由一個或多個完整模型和許多專業(yè)模型組成的新型集成，這些模型學習區(qū)分完整模型混淆的細粒度類。與專家的混合不同，這些專家模型可以快速并行地訓練。

論文鏈接

https://arxiv.org/abs/1503.02531

代碼暫無

注意力轉移

期刊日期

ICLR 2017

論文名稱

《improving the performance of convolutional neural networks via attention transfer》

描述

注意力在人類視覺體驗中起著至關重要的作用。此外，最近已經證明，在將人工神經網絡應用于計算機視覺和 NLP 等領域的各種任務的背景下，注意力也可以發(fā)揮重要作用。

在這項工作中，我們表明，通過正確定義卷積神經網絡的注意力，我們實際上可以使用這種類型的信息，通過強制它模仿強大的教師網絡的注意力圖來顯著提高學生CNN網絡的性能。

為此，我們提出了幾種轉移注意力的新方法，顯示出在各種數據集和卷積神經網絡架構上的持續(xù)改進。

論文鏈接

https://arxiv.org/abs/1612.03928

代碼

https://github.com/szagoruyko/attention-transfer

三步法進行剪枝

期刊日期

NIPS 2015

論文名稱

《Learning both Weights and Connections for Efficient Neural Networks》

描述

神經網絡是計算密集型和內存密集型的，因此難以在嵌入式系統(tǒng)上部署。此外，傳統(tǒng)網絡在訓練開始之前就修復了架構；因此，培訓無法改善架構。為了解決這些限制，我們描述了一種通過僅學習重要連接來將神經網絡所需的存儲和計算減少一個數量級而不影響其準確性的方法。我們的方法使用三步法修剪冗余連接。首先，我們訓練網絡以了解哪些連接是重要的。接下來，我們修剪不重要的連接。最后，我們重新訓練網絡以微調剩余連接的權重。在 ImageNet 數據集上，我們的方法將 AlexNet 的參數數量減少了 9 倍，從 6100 萬到 670 萬，而不會導致準確性損失。與 VGG-16 的類似實驗發(fā)現，參數數量可以減少 13 倍，從 1.38 億減少到 1030 萬，同樣沒有損失準確性。

論文鏈接

https://arxiv.org/abs/1506.02626

代碼

https://github.com/jack-willturner/deep-compression

利用剪枝進行網絡瘦身

期刊日期

ICCV 2017

論文名稱

《Learning Efficient Convolutional Networks through Network Slimming》

描述

深度卷積神經網絡 (CNN) 在許多實際應用中的部署在很大程度上受到其高計算成本的阻礙。在本文中，我們提出了一種新穎的 CNN 學習方案，以同時?

1）減小模型大??；

2) 減少運行時內存占用；

3) 在不影響準確性的情況下減少計算操作的數量。

這是通過以簡單但有效的方式在網絡中強制執(zhí)行通道級稀疏性來實現的。

與許多現有方法不同，所提出的方法直接適用于現代 CNN 架構，為訓練過程引入了最小的開銷，并且不需要特殊的軟件/硬件加速器來生成模型。

論文鏈接

https://openaccess.thecvf.com/content_ICCV_2017/papers/Liu_Learning_Efficient_Convolutional_ICCV_2017_paper.pdf

代碼

https://github.com/liuzhuang13/slimming

英偉達迭代式剪枝策略

期刊日期

ICLR 2017

論文名稱

《Pruning Convolutional Neural Networks for Resource Efficient Inference》

描述

這篇論文來自NVIDIA，論文中提出了一種用于修剪神經網絡中的卷積核的新公式，以實現有效的推理。論文中提出了一個基于泰勒展開的新準則，用它去近似由于修剪網絡參數引起的損失函數的變化。

論文鏈接

https://arxiv.org/abs/1611.06440

代碼

https://github.com/jacobgil/pytorch-pruning

—— 正文完 ——

關注學姐帶你玩AI

獲得更多論文匯總資料

在這里等著你學習