4.2請問??神經(jīng)?絡(luò)中為什么ReLU要好過于tanh和Sigmoid function？ ?? 解答: 首先，我們來看一下Sigmoid、tanh和ReLU的函數(shù)圖??： 1. **Sigmoid和tanh的劣勢**： ??當(dāng)采用Sigmoid等函數(shù)時(shí)，計(jì)算激活函數(shù)（指數(shù)運(yùn)算）時(shí)需要大量計(jì)算，而在反向傳播中計(jì)算誤差梯度時(shí)，求導(dǎo)涉及到除法和指數(shù)運(yùn)算，導(dǎo)致計(jì)算量相對較大。相比之下，采用ReLU激活函數(shù)能夠節(jié)省大量計(jì)算資源?。 2. **深度網(wǎng)絡(luò)的挑戰(zhàn)**： ??在深度神經(jīng)網(wǎng)絡(luò)中，使用Sigmoid函數(shù)時(shí)，容易出現(xiàn)梯度消失的問題。這意味著當(dāng)Sigmoid函數(shù)接近飽和區(qū)時(shí)，導(dǎo)數(shù)趨于0，導(dǎo)致信息丟失。這種現(xiàn)象被稱為飽和，會阻礙深度網(wǎng)絡(luò)的訓(xùn)練。而ReLU不會出現(xiàn)這種飽和趨勢，不容易出現(xiàn)極小的梯度值。 3. **稀疏性和過擬合**： ??ReLU會將某些神經(jīng)元的輸出設(shè)為0，從而使網(wǎng)絡(luò)更加稀疏，并減少了參數(shù)之間的依賴關(guān)系，有助于緩解過擬合問題。此外，ReLU還有一些生物解釋方面的理論。 此外，現(xiàn)今的主流做法是引入批歸一化（batch normalization）??，以確保每一層網(wǎng)絡(luò)的輸入具有相似的分布。最新的研究發(fā)現(xiàn)，在引入跳躍連接（bypass connection）之后，改變批歸一化的位置可能會帶來更好的效果。對此，感興趣的人可以查閱相關(guān)論文以獲取更多信息。 希望以上解答能夠滿足你的需求，如果還有其他問題，請隨時(shí)提出。 ????