2.樣本要做歸一化。關(guān)于歸一化的好處請參考：為何需要歸一化處理

3.激活函數(shù)要視樣本輸入選擇(多層神經(jīng)網(wǎng)絡(luò)一般使用relu)

4.mini batch很重要，幾百是比較合適的(很大數(shù)據(jù)量的情況下)

5.學(xué)習(xí)速率(learning rate)很重要，比如一開始可以lr設(shè)置為0.01，然后運行到loss不怎么降的時候，學(xué)習(xí)速率除以10，接著訓(xùn)練

6.權(quán)重初始化，可用高斯分布乘上一個很小的數(shù)，這個可以看