LR學(xué)習(xí)率:控制更新步長

item()張量只有一個元素的時候使用

返回一個number

一個tensor多個element使用.tolist()

使用numpy創(chuàng)建時

輸出第一行

使用tolist（）才能變成列表

Momentum(動量、沖量)

結(jié)合當前梯度與上一次更新信息，用于當前更新

直觀上，步伐加長了

指數(shù)加權(quán)平均（常用于時間序列）

思想：求取當前時刻的平均值，距離當前時刻越近的平均值參考性越大，所占的權(quán)重也就越大，權(quán)重隨著時間間隔的增大呈現(xiàn)指數(shù)下降的趨勢

θ 當前時刻參數(shù)

v 上一時刻平均值

求取第100天溫度平均值

離當前時刻越遠，所占權(quán)重越小

其中β小于1，常常用10天附近數(shù)據(jù)參數(shù)，1/（1-0.9）=10，故β常取0.9

β用來控制記憶周期，值越大，記憶周期越長，值越小，記憶周期越短

梯度下降

pytorch中更新公式：m:Momentum（β）

學(xué)習(xí)率不再×梯度，而是更新量

所占權(quán)重指數(shù)下降

LR=0.03更新步長比0.01長，收斂較快（momentum=0時）

震蕩衰減（momentum=0.9時）LR=0.01

反彈是因為momentum過大

momentum=0.9時，LR=0.01比LR=0.03更快收斂

十種優(yōu)化器