問題設置

假設我們已經(jīng)有一個由分布F生成的dataset。而待選擇的統(tǒng)計模型有

每個M_i都是一個測度族。比如說，它們分別是指數(shù)分布族、Gamma族、log-nomal族。我們想知道哪個測度族對于數(shù)據(jù)擬合地最好。再比如說，對于multilinear regression，我們要選擇采用哪些predictor才不會過擬合。

Model selection這個問題從一開始就存在，只不過被我們忽略了。假設我們想要對于一個器件的壽命做統(tǒng)計，首先要建立統(tǒng)計模型。以前都是直接告訴我們用某個模型，然后做inference就完事了；但是在實際中如果有多個模型待選，我們就必須根據(jù)數(shù)據(jù)來選擇。這個選擇不能說看著哪個比較像，而必須要有定量的刻畫。

而且這不僅是一個統(tǒng)計問題，而且也是scientific inquiry的一個基本問題。All models are wrong, but some are useful.我們要做的就是分辨出useful的模型。

常用的是三種criteria：AIC,BIC,cross validation。本文將從偏理論的角度來講。

首先回顧一下以前的一些處理漸進問題的結論和工具。首先是Taylor展開以及Delta method：

Score function:

它刻畫的是log-likelihood的斜率，所以可以看作是X包含\theta的信息量的刻畫。其期望為0。Score function的協(xié)方差矩陣就是Fisher information:

Cramer-Rao不等式指出var的下界：

Consistency of MLE:

以及asymptotic efficiency of MLE:

其證明用的是Taylor展開（利用\hat{\theta}是likelihood的極大值點）。

AIC

Akaike information criterion，來自赤池弘次。

思路是這樣的：真實的概率測度為p(y)，但是我們不知道。我們有k個參數(shù)模型：

每個模型的參數(shù)個數(shù)（\Theta_j的維度）都可以不一樣。

現(xiàn)在我們有一些數(shù)據(jù)，用這些數(shù)據(jù)，對于每一個M_j，都可以用MLE方法算出一個估計的概率密度，它相當于整個M_j中“能夠估計出來的最接近”的p的概率測度（但不是真的最接近，即最小化KL散度）：

那么這個概率測度和真實的p差了多少呢？衡量兩個概率測度之間的差距，最常用的就是KL散度（它不對稱，所以不是距離。下面的是P到Q的KL散度）：

所謂P到Q的KL散度，P一般取真實分布，Q取近似分布。它必然是非負的（Gibbs不等式）。

下面我們考察真實分布p到近似分布\hat{p}_j的KL散度：

（這是一個隨機變量）

我們希望在\hat{p}_j里面找到對于p的KL散度最小的那個。也就是說，我們想要找到找到使K_j最大的j：

需要想清楚，這是一個隨機變量，寫成下面的形式更明顯：

不過類比MLE的consistency性質，它大約會在大樣本的時候接近于一個常數(shù)(\hat{\theta}\xrightarrow{p}最小化KL散度的\theta_0)。

但是我們不知道p(y)，所以無法確切地知道K_j。但是我們可以想辦法估計K_j。一個自然的想法是：

（這是一個隨機變量）

l是log-likelihood。但是這個estimator是biased的，原因在于數(shù)據(jù)被用了兩次（構建MLE，再用MLE算統(tǒng)計量）。所以我們需要修正（這個修正項是AIC的關鍵）：

這個estimator是漸進正確的（指的是，它的期望值與前面那個隨機變量的期望值漸進相等）。嚴格來說，（仔細看這個式子）

這個結論的嚴格證明（漸進分析），實在找不到一個寫得舒服的，就姑且不管它了。

這樣一來結果就是：對于每個待選的模型，我們計算AIC統(tǒng)計量：

（符號跟系數(shù)都是約定俗成，無所謂的）。AIC最小的那個是最好的模型。

這個結果的直觀意義非常顯著：首先我們需要擬合比較好（L比較大），但是又要防止過擬合（k比較?。?，二者權衡給出了AIC。所以說AIC有種Occam's Razor的味道在里面。Occam's Razor好像是人為地給一個模型加上complexity penalty，但是AIC告訴我們，complexity penalty是最小化KL散度自然得出的，而且它與fitness的權重剛好是1:1，并不是某種“人為的考慮”。

需要注意的是，AIC沒有給出一個模型的absolute quality，只是相對的quality，所以由它選擇出的model是矮子里挑高個，未必是一個好的模型。選出來之后還是要檢查一下是否的確是一個好模型。

Cross Validation

Cross-validation是應用最廣泛、也最不需要特定假設的方法，而且也最直觀。它是把dataset做切割，一部分用來做training，另一部分用來做test，然后看test error如何。它有點像KNN，是完全flexible的，可以用于任意情況。The beauty of cross-validation is its simpicity and generality. It can be shown that AIC and cross-validation have very similar behavior. But, cross-validation works under weaker conditions.

常用的做法有這樣幾種：leave-one-out cross-validation，即用下面的statistic作為cross-validation score:

即把i除掉的dataset作為training set，用來test i，把所有test error加起來。另一種是k-fold cross-validation，把數(shù)據(jù)隨機分成k組，用k-1組做training，剩下一組做test，然后加起來。

我們從理論上分析一下cross-validation有什么好?？紤]一個特殊情況：參數(shù)估計（而不是regression或者classification）。假設我們有2n個數(shù)據(jù)點，平均分為兩半，分別為training set D={Y_1,...,Y_n}與test set T={Y_1^*,...,Y_n^*}。用training set來訓練MLE\hat{\theta}，然后我們就可以找到MLE與真實分布的距離刻畫：

這個K越大越好。我們不知道K的具體值是多少，但是可以去estimate?，F(xiàn)在情況比AIC好多了，因為我們有獨立的test set（validation set）用來估計（這就是cross-validation的精髓所在["cross"]）：

因為沒有出現(xiàn)算兩次的問題，所以這個estimator是沒有bias的。它就是我們的cross-validation score。我們想要選取\hat{K})_j中最大的一個作為最好的模型。我們的問題是：\hat{K}最大的，一定是K最大的嗎？

我們假設有一個bounded條件（實際上可以去掉，只是為了證明方便）|log f|<B。則根據(jù)Hoeffding不等式給出一個概率凝聚關系：

從而

只要n足夠大，\hat{K}最大的那個大概率就是K最大的那個，也就是擬合最好的那個。

Regression與classification是類似的，不過cross-validation score要改成MSE或者error rate。

Cross-validation也是找到一個最好的模型，雖然它未必是正確的模型。這與BIC不同。BIC是假設有一個正確的模型，去找到它。

BIC

BIC 統(tǒng)計量定義為

它對于模型復雜度的penalty比AIC更大。所以相比于AIC，它會傾向于選擇出更加簡單的模型。這個統(tǒng)計量這么來的：完全按照Bayes的想法來。我們先給各個模型設置一些prior：

然后計算后驗概率（漸進分析的推導也不寫了）：

注意lnp_j這項作為O(1)，在漸進下沒了。

BIC的含義在于，exp(BIC_j)給出了模型j的近似后驗概率（有種Boltzmann分布的味道）。

BIC和AIC以及CV的假設不同，所以結果也會有比較大的差別。

我們還可以接著BIC談一下Bayesian model averaging。我們按照前面的exp(BIC_j)概率來做averaging：