1 為什么加深可以提升性能

Bengio和LeCun在2017年的文章[1]中有這么一句話，"We claim that most functions that can be represented compactly by deep architectures cannot be represented by a compact shallow architecture"，大體意思就是大多數(shù)函數(shù)如果用一個深層結(jié)構(gòu)剛剛好解決問題，那么就不可能用一個更淺的同樣緊湊的結(jié)構(gòu)來解決。

要解決比較復(fù)雜的問題，要么增加深度，要么增加寬度，而增加寬度的代價往往遠(yuǎn)高于深度。

Ronen Eldan等人甚至設(shè)計了一個能被小的3層網(wǎng)絡(luò)表示，而不能被任意的2層網(wǎng)絡(luò)表示的函數(shù)?？傊欢ǖ纳疃仁潜匾?。

那么隨著模型的加深，到底有哪些好處呢？

1.1、更好擬合特征。

現(xiàn)在的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的主要模塊是卷積，池化，激活，這是一個標(biāo)準(zhǔn)的非線性變換模塊。更深的模型，意味著更好的非線性表達(dá)能力，可以學(xué)習(xí)更加復(fù)雜的變換，從而可以擬合更加復(fù)雜的特征輸入。

看下面的一個對比圖[2]，實線是一個只有一層，20個神經(jīng)元的模型，虛線是一個2層，每一層10個神經(jīng)元的模型。從圖中可以看出，2層的網(wǎng)絡(luò)有更好的擬合能力，這個特性也適用于更深的網(wǎng)絡(luò)。