????機(jī)器學(xué)習(xí)的過(guò)程是選擇模型在數(shù)據(jù)集進(jìn)行學(xué)習(xí)，訓(xùn)練模型，訓(xùn)練的過(guò)程就是使得誤差損失韓函數(shù)最小化，得到一個(gè)合理的模型投入到真實(shí)環(huán)境中。

????數(shù)據(jù)集的劃分涉及到如何選擇機(jī)器學(xué)習(xí)模型，診斷選擇的模型是否有效。模型的最終目標(biāo)就是為了在實(shí)際的環(huán)境下運(yùn)用，那么在真實(shí)場(chǎng)景下模型的誤差就是我們訓(xùn)練的目標(biāo)，這個(gè)誤差被稱(chēng)為泛化誤差，在訓(xùn)練的過(guò)程中就是為了不斷縮小這個(gè)誤差而進(jìn)行。

????泛化誤差本身是難以被我們所直接使用的，它需要在真實(shí)的環(huán)境中才能得到，當(dāng)遇到模型誤差較大的情況下，只能重新撤回訓(xùn)練之后再部署，會(huì)浪費(fèi)很多資源也成本極大。

????訓(xùn)練的數(shù)據(jù)樣本是人為篩選的結(jié)果，與真實(shí)的環(huán)境是不相符的，比如說(shuō)樣本的數(shù)據(jù)量比較小，代表性不夠強(qiáng)，有一些其他的噪聲特征的污染等情況出現(xiàn)，導(dǎo)致在訓(xùn)練數(shù)據(jù)集上得到的誤差值無(wú)法估計(jì)真實(shí)的泛化誤差，有可能在訓(xùn)練集上的誤差很小但是真實(shí)泛化誤差很大的情況出現(xiàn)，這與訓(xùn)練集的選取有關(guān)。

????為了模擬泛化誤差，將數(shù)據(jù)集劃分成訓(xùn)練集和測(cè)試集，在訓(xùn)練集上訓(xùn)練模型，然后再測(cè)試集上測(cè)試模型，將得到再測(cè)試集上得到的誤差值作為真實(shí)泛化誤差的近似估計(jì)。有了這個(gè)誤差值作為參考，可以篩選出在測(cè)試集上誤差更小的模型作為最終的結(jié)果輸出，訓(xùn)練的目標(biāo)就是使得模型在測(cè)試集上的誤差值最小。

????

????在劃分?jǐn)?shù)據(jù)集的過(guò)程中，不能帶有主觀(guān)性去分割，而應(yīng)該隨機(jī)均勻的進(jìn)行劃分處理。兩個(gè)數(shù)據(jù)集的大小比例可以設(shè)置為4：1或者10：1.

? ? 關(guān)于訓(xùn)練集上樣本數(shù)據(jù)的預(yù)處理工作，但是測(cè)試集上一般不做對(duì)應(yīng)的處理，而是直接使用訓(xùn)練集上得到的中位數(shù)。通常我們?cè)跇?gòu)建模型的時(shí)候需要將數(shù)據(jù)進(jìn)行處理，包括一些數(shù)據(jù)的清洗，數(shù)據(jù)的特征縮放（標(biāo)準(zhǔn)化或者歸一化），此時(shí)我們只需要在訓(xùn)練集上進(jìn)行這些操作，然后將其在訓(xùn)練集上得到的模型參數(shù)應(yīng)用到測(cè)試集中求得誤差值，也就是說(shuō)，在工作流程中，你不能使用在測(cè)試數(shù)據(jù)集上計(jì)算的得到的任何結(jié)果。比如：我們得到的屬性中可能有缺失值，因?yàn)樵谶@些操作之前，我們已經(jīng)把數(shù)據(jù)集分成了訓(xùn)練集和測(cè)試集，通常的做法是通過(guò)計(jì)算屬性值的中位數(shù)來(lái)填充缺失值，注意此時(shí)計(jì)算屬性值的中位數(shù)是通過(guò)訓(xùn)練集上的數(shù)據(jù)進(jìn)行計(jì)算的，當(dāng)我們得到一個(gè)模型的時(shí)候，如果想要測(cè)試模型的測(cè)試誤差來(lái)近似泛化誤差的時(shí)候，可能此時(shí)的測(cè)試集也會(huì)有一些缺失值，此時(shí)對(duì)應(yīng)屬性的缺失值是通過(guò)訓(xùn)練集計(jì)算的中位數(shù)來(lái)進(jìn)行填充的；

????由于測(cè)試集作為對(duì)泛化誤差的近似，所以訓(xùn)練好模型，最后在測(cè)試集上近似估計(jì)模型的泛化能力。此時(shí)假設(shè)有兩個(gè)不同的機(jī)器學(xué)習(xí)模型，猶豫不決的時(shí)候，可以通過(guò)訓(xùn)練兩個(gè)模型，然后對(duì)比他們?cè)跍y(cè)試數(shù)據(jù)上的泛化誤差，選擇泛化能力強(qiáng)的模型。

????在對(duì)比調(diào)節(jié)模型超參數(shù)的時(shí)候，我們也會(huì)選擇在測(cè)試集上誤差值較小的那一個(gè)模型，因?yàn)檫@個(gè)誤差值作為泛化誤差的估計(jì)來(lái)衡量模型的泛化能力，但是多輪選擇下來(lái)可能會(huì)篩選出在測(cè)試集上誤差接近于0的模型最為最終結(jié)果，這就是在測(cè)試集上出現(xiàn)了過(guò)擬合的情況，這種情況下的模型的泛化能力一定是極差的。

????這種現(xiàn)象就是信息泄漏的情況，類(lèi)似于考生提前知道了考題得到的分?jǐn)?shù)自然就提升了。模型在調(diào)參的過(guò)程中根據(jù)測(cè)試集上的誤差值表現(xiàn)，會(huì)挑出更利于測(cè)試集分布結(jié)果的參數(shù)組合，測(cè)試集的表現(xiàn)成為了調(diào)參偏好的依據(jù)，所以最后就和真實(shí)數(shù)據(jù)的偏好可能相差很大。是人為調(diào)參導(dǎo)致了數(shù)據(jù)泄露。

???????一般隨機(jī)的把數(shù)據(jù)分成三份，一份為訓(xùn)練集（Training Set），一份為驗(yàn)證集（Validation Set），最后一份為測(cè)試集（Test Set）。用訓(xùn)練集來(lái)訓(xùn)練模型，用驗(yàn)證集來(lái)評(píng)估模型預(yù)測(cè)的好壞和選擇模型及其對(duì)應(yīng)的參數(shù)。把最終得到的模型再用于測(cè)試集，測(cè)試集上的誤差作為泛化誤差的近似。這三種數(shù)據(jù)集的比例可以根據(jù)自身模型的情況進(jìn)行調(diào)整，數(shù)據(jù)規(guī)模較小時(shí)使用3：1：1，較大時(shí)使用98：1：1.

????????在完全防止信息泄露的情況下，一般模型在測(cè)試集上的準(zhǔn)確率慘不忍睹，會(huì)比驗(yàn)證集上出現(xiàn)明顯下降，完全防止leak現(xiàn)象的出現(xiàn)很難，也不現(xiàn)實(shí)。

????在樣本規(guī)模較小時(shí)，交叉驗(yàn)證是在機(jī)器學(xué)習(xí)建立模型和驗(yàn)證模型參數(shù)時(shí)常用的辦法。交叉驗(yàn)證，顧名思義，就是重復(fù)的使用數(shù)據(jù)，把得到的樣本數(shù)據(jù)進(jìn)行切分，組合為不同的訓(xùn)練集和測(cè)試集，用訓(xùn)練集來(lái)訓(xùn)練模型，用測(cè)試集來(lái)評(píng)估模型預(yù)測(cè)的好壞。在此基礎(chǔ)上可以得到多組不同的訓(xùn)練集和測(cè)試集，某次訓(xùn)練集中的某樣本在下次可能成為測(cè)試集中的樣本，即所謂“交叉”。

根據(jù)切分的方法不同，交叉驗(yàn)證分為下面三種：　　　

　　第一種是簡(jiǎn)單交叉驗(yàn)證，所謂的簡(jiǎn)單，是和其他交叉驗(yàn)證方法相對(duì)而言的。首先，我們隨機(jī)的將樣本數(shù)據(jù)分為兩部分（比如： 70%的訓(xùn)練集，30%的測(cè)試集），然后用訓(xùn)練集來(lái)訓(xùn)練模型，在測(cè)試集上驗(yàn)證模型及參數(shù)。接著，我們?cè)侔褬颖敬騺y，重新選擇訓(xùn)練集和測(cè)試集，繼續(xù)訓(xùn)練數(shù)據(jù)和檢驗(yàn)?zāi)Ｐ?。最后我們選擇損失函數(shù)評(píng)估最優(yōu)的模型和參數(shù)?！?/p>

?　　第二種是S折交叉驗(yàn)證（S-Folder Cross Validation）。和第一種方法不同，S折交叉驗(yàn)證會(huì)把樣本數(shù)據(jù)隨機(jī)的分成S份，每次隨機(jī)的選擇S-1份作為訓(xùn)練集，剩下的1份做測(cè)試集。當(dāng)這一輪完成后，重新隨機(jī)選擇S-1份來(lái)訓(xùn)練數(shù)據(jù)。若干輪（小于S）之后，選擇損失函數(shù)評(píng)估最優(yōu)的模型參數(shù)。

　　第三種是留一交叉驗(yàn)證（Leave-one-out Cross Validation），它是第二種情況的特例，此時(shí)S等于樣本數(shù)N，這樣對(duì)于N個(gè)樣本，每次選擇N-1個(gè)樣本來(lái)訓(xùn)練數(shù)據(jù)，留一個(gè)樣本來(lái)驗(yàn)證模型預(yù)測(cè)的好壞。此方法主要用于樣本量非常少的情況，比如對(duì)于普通適中問(wèn)題，N小于50時(shí)，我一般采用留一交叉驗(yàn)證。