摘要

鏈接：https://arxiv.org/pdf/2305.12972v2.pdf 基礎模型的核心理念是“多而不同”，計算機視覺和自然語言處理領域的驚人成功就是例證。然而，優(yōu)化的挑戰(zhàn)和transformers模型固有的復雜性要求范式向簡單性轉變。在本研究中，我們介紹VanillaNet，一個包含優(yōu)雅設計的神經網(wǎng)絡架構。通過避免高深度，快捷方式和復雜的操作，如自我關注，VanillaNet令人耳目一新的簡潔，但非常強大。每一層都被精心制作得緊湊而直接，非線性激活函數(shù)在訓練后被修剪以恢復原始結構。VanillaNet克服了固有復雜性的挑戰(zhàn)，使其成為資源受限環(huán)境的理想選擇。其易于理解和高度簡化的架構為高效部署提供了新的可能性。大量的實驗表明，VanillaNet提供的性能與著名的深度神經網(wǎng)絡和視覺轉換器相當，展示了極簡主義在深度學習中的力量。VanillaNet的這一富有遠見的旅程具有重新定義景觀和挑戰(zhàn)基礎模型現(xiàn)狀的巨大潛力，為優(yōu)雅有效的模型設計開辟了一條新的道路。預訓練的模型和代碼可在https://github.com/huawei-noah/VanillaNet和https://gitee.com/mindspore/models/tree/master/research/cv/ vanillanet上獲得。

1、簡介

在過去的幾十年里，人工神經網(wǎng)絡已經取得了顯著的進步，這是由增加網(wǎng)絡復雜性導致性能提高的想法驅動的。這些網(wǎng)絡由具有大量神經元或變形塊的多層組成[43,31]，能夠執(zhí)行各種類似人類的任務，如人臉識別[25]、語音識別[8]、對象檢測[38]、自然語言處理[43]和內容生成[2]?，F(xiàn)代硬件令人印象深刻的計算能力使神經網(wǎng)絡能夠以高精度和高效率完成這些任務。因此，人工智能嵌入式設備在我們的生活中變得越來越普遍，包括智能手機、人工智能攝像頭、語音助手和自動駕駛汽車。

誠然，該領域的一個顯著突破是AlexNet的出現(xiàn)[24]，它由12層組成，在大規(guī)模圖像識別基準上達到了最先進的性能[7]。在此成功的基礎上，ResNet[18]通過快捷連接引入身份映射，使深度神經網(wǎng)絡能夠在廣泛的計算機視覺應用中訓練出高性能，如圖像分類[40]、目標檢測[38]和語義分割[33]。不可否認，在這些模型中引入人為設計的模塊，以及網(wǎng)絡復雜性的持續(xù)增加，增強了深度神經網(wǎng)絡的表征能力，導致了如何訓練具有更復雜架構的網(wǎng)絡以獲得更高性能的研究激增[23,19,47]。

除了卷積架構，Dosovitskiy等人[13]還將Transformer架構引入圖像識別任務，展示了其利用大規(guī)模訓練數(shù)據(jù)的潛力。Zhai等人[53]研究了視覺Transformer架構的縮放規(guī)律，在ImageNet數(shù)據(jù)集上達到了令人印象深刻的90.45%的top-1精度，這表明更深層次的Transformer架構，如卷積網(wǎng)絡，往往表現(xiàn)出更好的性能。Wang等人[44]進一步提出將transformers的深度縮放到1000層，以獲得更高的精度。Liu等人[32]重新審視了神經網(wǎng)絡的設計空間，并引入了ConvNext，實現(xiàn)了與最先進的transformers架構相似的性能。

完整譯文：https://blog.csdn.net/m0_47867638/article/details/131057152