在梯度消失那一節(jié)也有說過,若層間的連接方式是相加,會減弱梯度消失問題。
梯度消失回顧:如果上層擬合數(shù)據(jù)較好,那么梯度就越小,反向傳播乘到最后的時候,底下的那些層的梯度變得很小,就更新不動了。