【4.20】理解 Softmax 函數(shù) ???? Softmax函數(shù)是多分類任務(wù)中的重要工具，它將神經(jīng)元的輸出映射到區(qū)間(0,1)內(nèi)，可以看作概率來理解，從而進行多分類任務(wù)。 假設(shè)我們有一個數(shù)組V，其中Vi表示數(shù)組V中的第i個元素，那么Vi的softmax值可以表示為： 4.18??請問什么是softmax函數(shù)？ Softmax(Vi) = e^Vi / Σ(e^Vj)?(對所有j求和) 更形象地說，可以用下圖表示：  簡單來說，Softmax函數(shù)將原始輸出，比如[3, 1, -3]，通過它的作用，映射成(0,1)區(qū)間內(nèi)的值，而且這些值的總和為1，符合概率的性質(zhì)。因此，我們可以將這些值理解為概率分布，在最終選擇輸出節(jié)點時，我們可以選擇具有最大概率值的節(jié)點作為我們的預測目標。 舉個例子，最近我在實現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的句法分析器。這個任務(wù)使用了轉(zhuǎn)移系統(tǒng)來進行，神經(jīng)網(wǎng)絡(luò)的作用是預測當前狀態(tài)應該采取的動作是什么？ 比如，如果有10個輸出神經(jīng)元，那么就有10個可能的動作，1號動作、2號動作、3號動作...一直到10號動作。最終，根據(jù)每個狀態(tài)的輸入，神經(jīng)網(wǎng)絡(luò)預測動作的概率分布，選擇具有最高概率的輸出，然后得到一系列動作序列，以完成任務(wù)。這就是Softmax函數(shù)在多分類任務(wù)中的應用。 ??????