神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目的是尋找使損失函數(shù)盡可能小的權(quán)重偏置參數(shù)，也即是尋找最優(yōu)參數(shù)，目前主要有四種尋找最優(yōu)參數(shù)的方法：

• 隨機梯度下降法（SGD）：使用最廣泛

• Momentum

• AdaGrad

• Adam：綜合性能最好

這四種方法的參數(shù)更新路徑的對比如下圖：