這個(gè)非線性函數(shù)也被稱為激活函數(shù)。常見(jiàn)的激活函數(shù)有，

這兩個(gè)函數(shù)的微分比較好計(jì)算，我想是它們稱為常見(jiàn)激活函數(shù)的一個(gè)重要原因。將線性模型的輸出在輸入到上述非線性函數(shù)中我們就可以得到更加具有彈性的模型了。如果激活函數(shù)使用Sigmoid函數(shù)，那一個(gè)神經(jīng)元的數(shù)學(xué)表達(dá)式就可以表達(dá)