欠擬合與過(guò)擬合

一、擬合

做題是一種通過(guò)歸納學(xué)習(xí)來(lái)提升泛化能力的方式。

我們先來(lái)看看歸納學(xué)習(xí)是如何獲得泛化能力（解決從未記憶過(guò)的新情況）的。

學(xué)習(xí)時(shí)，我們是假設(shè)已見(jiàn)過(guò)的舊情況，和未見(jiàn)過(guò)的新情況，都滿足同一個(gè)客觀規(guī)律，倘若我們擁有了這個(gè)客觀規(guī)律，就可以用它來(lái)預(yù)測(cè)所有情況，包括從未見(jiàn)過(guò)的新情況。

那要如何找到這個(gè)客觀規(guī)律呢?

我們知道這個(gè)客觀規(guī)律一定也可以滿足所有已見(jiàn)過(guò)的舊情況，歸納學(xué)習(xí)正是利用這一點(diǎn)，去建構(gòu)一個(gè)可以滿足所有舊情況的規(guī)律，并希望該情況恰好就是客觀規(guī)律。

建構(gòu)可以滿足所有舊情況的規(guī)律的過(guò)程，也叫做「擬合」

這些舊情況也叫做「經(jīng)驗(yàn)]

容易看出,當(dāng)建構(gòu)完規(guī)律后，這些經(jīng)驗(yàn)即使被遺忘了也沒(méi)關(guān)系，并不需要記憶

但建構(gòu)規(guī)律之前，必須要有經(jīng)驗(yàn)，倘若沒(méi)有經(jīng)驗(yàn)，也就沒(méi)有了建構(gòu)規(guī)律的依據(jù)

這便是為什么康德說(shuō)：「一切知識(shí)始于經(jīng)驗(yàn)」

但是,擬合并不能和學(xué)習(xí)劃等號(hào)，

因?yàn)閿M合只能保證記憶，并不能保證學(xué)習(xí)，

擬合只是我們?cè)谶_(dá)成泛化目標(biāo)時(shí)所使用的一種手段，能擬合經(jīng)驗(yàn)的規(guī)律未必能泛化新情況，而泛化才是學(xué)習(xí)的目標(biāo)。

在擬合時(shí)，會(huì)出現(xiàn)兩種不理想的現(xiàn)象，

其中一個(gè)不理想的現(xiàn)象是：所擬合出來(lái)的規(guī)律連舊情況都無(wú)法滿足，這一現(xiàn)象叫做「欠擬合」

另一個(gè)不理想現(xiàn)象是，擬合出來(lái)的規(guī)律可以滿足所有舊情況，但卻無(wú)法預(yù)測(cè)新情況，僅僅是個(gè)以偏概全的局部規(guī)律，這一現(xiàn)象叫做「過(guò)擬合」

欠擬合很好解決，反復(fù)找，大腦的潛意識(shí)基本都可以找到一個(gè)能夠擬合舊情況的規(guī)律。

最大的難題反而是過(guò)擬合，因?yàn)榭梢詳M合舊情況的規(guī)律，并不只有一個(gè)，無(wú)法保證擬合出的規(guī)律真的可以預(yù)測(cè)新情況。

對(duì)于過(guò)擬合的抑制，有兩個(gè)基本思路：

1. 一個(gè)是搜集更多經(jīng)驗(yàn)

2. 第二個(gè)是增加規(guī)律的通用性

大家應(yīng)該聽(tīng)過(guò)“若無(wú)必要，勿增實(shí)體”這一說(shuō)法，也叫「奧卡姆剃刀」或「簡(jiǎn)約法則」，

說(shuō)的是“當(dāng)有多個(gè)規(guī)律都可以滿足經(jīng)驗(yàn)時(shí)，要選擇簡(jiǎn)單的，假設(shè)最少的那一個(gè)”。

換句話說(shuō),奧卡姆剃刀就是一種認(rèn)為“簡(jiǎn)單規(guī)律通用型更強(qiáng)”的建構(gòu)偏好

那么合理的做題方式是什么呢？

其實(shí)就是所有老師都強(qiáng)調(diào)過(guò)的「做完題要總結(jié)」

不過(guò)，具體要如何總結(jié)，大家往往并不清楚，缺少一些細(xì)節(jié)，所以這里介紹一種「雙例對(duì)比法」

雙例對(duì)比法

1. 「選定知識(shí)」第一步，確定一個(gè)要學(xué)習(xí)的知識(shí)點(diǎn)。

2. 「指令學(xué)習(xí)」第二步，先試著理解課本上的講解，也就是用指令學(xué)習(xí)的方式，確定一個(gè)大概。

3. 「做練習(xí)題」第三步，再找出很多道該知識(shí)點(diǎn)的習(xí)題來(lái)做，也就是搜集該知識(shí)點(diǎn)的實(shí)例，注意，做每道題都要經(jīng)過(guò)完整的思考，不能一沒(méi)思路就立馬看答案，這是為了讓大腦明確問(wèn)題是什么，以便于讓大腦做好自動(dòng)歸納的準(zhǔn)備。

4. 「歸納比較」到了第四步就是該方法的關(guān)鍵:當(dāng)做完兩道題后，停下來(lái)比較兩道題中該知識(shí)點(diǎn)的共性和差異性，同時(shí)再去理解課本上的知識(shí)點(diǎn)講解，這一步就是總結(jié)了。

注意，在比較共性和差異性的時(shí)候，不必太過(guò)注重規(guī)律的尋找，因?yàn)榇竽X會(huì)自動(dòng)完成這一工作，我們只需要確保提供給大腦充分長(zhǎng)的感知時(shí)間，和足夠多情況就好。

5. 「測(cè)試新題」第五步，做新題，來(lái)測(cè)試自己的理解，以此調(diào)整自己的理解。隨后,再重復(fù)第二到第五步，直到將自己的泛化能力提高到滿意地程度為止。

注意,自己曾經(jīng)做過(guò)的舊題也是可以拿來(lái)跟新做的題進(jìn)行比較的，這樣做還能極大地節(jié)約時(shí)間和提高效率，因?yàn)樵摲椒ㄖ恍枰_保每次都有兩道題可用來(lái)比較即可。不論是新做的題，還是很久以前做過(guò)的題。