1.1 尺有所短，寸有所長

我們會(huì)發(fā)現(xiàn)計(jì)算機(jī)在一些算數(shù)上表現(xiàn)優(yōu)異，這是因?yàn)橛?jì)算機(jī)內(nèi)部的數(shù)字電路在系統(tǒng)時(shí)鐘下可以快速地做布爾運(yùn)算，簡單抽象地說，如果有一個(gè)算盤，計(jì)算機(jī)可以以極快地速度打這個(gè)算盤。

但假如說涉及到圖像識(shí)別時(shí)，計(jì)算機(jī)在識(shí)別圖片中的內(nèi)容時(shí)并沒有那么容易。

人類和計(jì)算機(jī)在不同的任務(wù)上表現(xiàn)各異。

1.2 一臺(tái)簡單的預(yù)測(cè)機(jī)

書中給的例子是千米轉(zhuǎn)換成英里的一個(gè)任務(wù)。

計(jì)算機(jī)需要做的就是計(jì)算“英里=千米×C”。

但是這個(gè)C我們不知道（我還真不知道……）

但是現(xiàn)在假設(shè)我們有了一個(gè)訓(xùn)練集（集里包含了若干組正確的英里、千米換算關(guān)系）。

然后我們讓計(jì)算機(jī)隨機(jī)選擇一個(gè)C，計(jì)算一下，并再計(jì)算一下和正確答案的誤差。

接著修改C，看誤差是否變小，如果變小就選擇新的C。

假如我們選擇了合適的修正算法，對(duì)于這個(gè)問題，訓(xùn)練集里只需要一個(gè)訓(xùn)練數(shù)據(jù)就可以把C修正到理論的C。

這種方法叫迭代，特點(diǎn)是持續(xù)地、一點(diǎn)點(diǎn)的改進(jìn)答案/算法。

1.3?分類器與預(yù)測(cè)器并無太大差別

書中給的例子是花園里小蟲子的分類。

測(cè)量了蟲子的寬度和長度，并且以這兩個(gè)參數(shù)為坐標(biāo)，繪制平面散點(diǎn)圖。

不同蟲子的特征不同，就會(huì)在圖上聚集在不同的區(qū)域。

例子中用直線試圖將兩種蟲子完全分開在直線的兩側(cè)。

如果分開了，這個(gè)直線就是一個(gè)可用的尺子（ruler，這里指規(guī)則的意思）。

如果沒分開，就修改直線的參數(shù)（這里主要是斜率）。

而且我們可以不斷增加訓(xùn)練集，不斷使得這個(gè)尺子優(yōu)化（就是有新的訓(xùn)練數(shù)據(jù)不滿足尺子時(shí)，就修改尺子）。

個(gè)人理解：

與其說是檢查兩個(gè)參數(shù)（用平面圖的點(diǎn)表示），不如說是依次檢測(cè)兩個(gè)參數(shù)，給定毛蟲的長度范圍、寬度范圍，瓢蟲的長度范圍、寬度范圍，這樣得到兩個(gè)矩形尺子，這個(gè)比直線尺子性能肯定要好。如果規(guī)定某個(gè)長度的蟲子有獨(dú)特的寬度范圍（之前是規(guī)定某個(gè)蟲子有獨(dú)特的寬度范圍），就可以換任意形狀的平面區(qū)域尺子（它甚至可以不是封閉的，盡管在這個(gè)蟲子分類問題上它應(yīng)當(dāng)是封閉的）。

1.4 訓(xùn)練簡單的分類器

上一節(jié)里介紹了分類器，這一節(jié)介紹如何訓(xùn)練分類器。

上一個(gè)例子種的分類器的尺子可以用y=Ax來刻畫（y為長度，x為寬度）。

先隨便設(shè)置一個(gè)A=0.25，根據(jù)某個(gè)訓(xùn)練數(shù)據(jù)就會(huì)得到一個(gè)誤差。比方說一個(gè)（3，1）的瓢蟲。計(jì)算值是（3，0 .75）,由于我們不是預(yù)測(cè)器，而是分類，我們希望計(jì)算值在實(shí)際值的上面，所以計(jì)算值的期望是( 3，1.1)，那么誤差就是1.1-0.75=+0.35。要減小正誤差需要增大A。這個(gè)A的增值ΔA甚至可以精確計(jì)算為E/x（即0.35/3）。

于是我們得到新的尺子y=0.3667x。

這個(gè)尺子的圖像是很貼近樣本的點(diǎn)的，這表明訓(xùn)練樣本少時(shí)，分類器會(huì)表現(xiàn)地更像預(yù)測(cè)器。

如果在A=0.3667的基礎(chǔ)上拿（1，3）訓(xùn)練，會(huì)得到一個(gè)新的A，但根據(jù)我們的算法，實(shí)際上，在A=0.25的基礎(chǔ)上拿（1，3）訓(xùn)練也會(huì)得到同樣的A。這其實(shí)意味著，最終改進(jìn)的尺子不會(huì)顧及先前所有的訓(xùn)練樣本而只學(xué)習(xí)最近的一個(gè)實(shí)例。

這個(gè)的解決辦法之一是使用適度改進(jìn)，不要用精確的ΔA來滿足最新的實(shí)例，比方說取ΔA=0.5（E/x），這樣就可以適度地改進(jìn)尺子。

而且真實(shí)世界的訓(xùn)練樣本也可能具有誤差，適度地改進(jìn)也有助于限制錯(cuò)誤樣本對(duì)尺子的影響。

以上，就是非常簡單的自動(dòng)化的學(xué)習(xí)方法。