池化層/線性層/激活函數(shù)層

池化運(yùn)算是對信號進(jìn)行（收集、總結(jié)、壓縮）

nn.MaxPool2d最大池化

此參數(shù)在反池化的時候，把參數(shù)放到對應(yīng)位置

nn.AvgPool2d平均池化

這兩個參數(shù)需要注意，在平均值相加后，除以除法因子代替除以像素個數(shù)（若激活）

反池化 上采樣

nn.MaxUnpool2d 最大值反池化

線性層、全連接層

相乘再相加，此處偏置bias=0，W為權(quán)值矩陣

nn.Linear 一維信號線性組合

激活函數(shù)層

在神經(jīng)網(wǎng)絡(luò)中，會使用多個全連接層進(jìn)行疊加。例如Alex net在輸出分類會使用多個全連接層進(jìn)行疊加。

在每個全連接層輸出的時候，通常會添加一個非線性的激活函數(shù)，非線性的激活函數(shù)賦予了多層神經(jīng)網(wǎng)絡(luò)具有深度的意義！??！

如果沒有非線性的激活函數(shù)，無論多少個全連接層進(jìn)行連接，都等價于一層的網(wǎng)絡(luò)，原因是矩陣的結(jié)合性，如下圖所示

多個權(quán)值矩陣相乘等價于一個權(quán)值矩陣，故等價于一層線性層網(wǎng)絡(luò)

nn.sigmoid 用于二分類

nn.tanh 雙曲正切函數(shù)

nn.ReLU 修正線性單元