03 深度學習之輸出層的設計

1.定義
????????神經網絡可以用在分類問題和回歸問題上,不過需要根據情況改變輸出層的激活函數。一般而言,回歸問題用恒等函數,分類問題用softmax函數。
2.恒等函數

????????恒等函數會將輸入按原樣輸出,對于輸入的信息,不加以任何改動地直接輸出。
3.Softmax函數
????????Softmax函數,或稱歸一化指數函數,是邏輯函數的一種推廣。Softmax函數實際上有限項離散概率分布的梯度對數歸一化。
公式:

圖像

特征
Softmax函數的輸出值的總和是1。
目的
通過使用 softmax函數,我們可以用概率的(統計的)方法處理問題。
改進
加入常數,防止超大值進行除法運算時結果“不確定“情況。
4.輸出層的神經元數量
????????輸出層的神經元數量需要根據待解決的問題來決定。對于分類問題,輸出層的神經元數量一般設定為類別的數量。
標簽: