1. 神經(jīng)元的數(shù)學(xué)模型

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks）簡(jiǎn)稱：（Neural Networks）

1943年，沃倫·麥卡洛克和沃爾特·皮茨基于數(shù)學(xué)和一種稱為閾值邏輯的算法創(chuàng)造了一種神經(jīng)網(wǎng)絡(luò)的計(jì)算模型，稱為MP模型。結(jié)構(gòu)如下圖：

即對(duì)輸入信號(hào)的加權(quán)求和再加上偏置，在經(jīng)過非線性的激活函數(shù)得到輸出y。

可以得到輸出y的數(shù)學(xué)表達(dá)式：

2. 感知其算法

人工神經(jīng)網(wǎng)絡(luò)更進(jìn)一步被美國(guó)神經(jīng)學(xué)家弗蘭克·羅森布拉特所發(fā)展。他提出了可以模擬人類感知能力的機(jī)器，并稱之為“感知機(jī)”。也就是由一些輸入輸出的對(duì)，通過機(jī)器學(xué)習(xí)的方法自動(dòng)獲得權(quán)重w和偏置b。

1957年，在Cornell航空實(shí)驗(yàn)室中，他成功在IBM 704機(jī)上完成了感知機(jī)的仿真。兩年后，他又成功實(shí)現(xiàn)了能夠識(shí)別一些英文字母、基于感知機(jī)的神經(jīng)計(jì)算機(jī)——Mark1，并于1960年6月23日，展示與眾。

感知器算法如下：

推導(dǎo)如下：

Novikoff證明如果訓(xùn)練集是線性分隔的，那么感知器算法可以在有限次迭代后收斂。

補(bǔ)充：

欠擬合(underfit)

過擬合(overfit)

3. 第一次寒冬

感知器算法只能夠解決線性可分?jǐn)?shù)據(jù)集的分類，但是日常生活中問題大部分都是非線性可分的。1969年，馬文·閔斯基和西摩爾·派普特在《Perceptrons》書中，仔細(xì)分析了以感知機(jī)為代表的單層神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限，證明感知機(jī)不能解決簡(jiǎn)單的異或（XOR）等線性不可分問題。

4. 多層神經(jīng)網(wǎng)絡(luò)

以簡(jiǎn)單的2層神經(jīng)網(wǎng)絡(luò)為例：

即輸出y為：

待求參數(shù)為w和b，兩層中的函數(shù)是非線性函數(shù)的。如果函數(shù)是線性函數(shù)，則可對(duì)上述式子y化簡(jiǎn)得到：，可以用一個(gè)神經(jīng)元代替。

層與層之間不加非線性函數(shù)，多層神經(jīng)網(wǎng)絡(luò)將會(huì)退化到一個(gè)神經(jīng)元的感知器模型。

3層神經(jīng)網(wǎng)絡(luò)可以模擬任何非線性決策面。