參數(shù)模型的假設(shè)檢驗
本文考慮以下參數(shù)模型：概率測度為$P_\theta$，$H_0:\theta\in\Theta_0,H_1:\theta\in\Theta_0^c$。其中，總的參數(shù)空間$\Theta$為一個$\mathbb{R}^n$，而$\Theta_0$是上面的一個子流形。并不考慮其他更加復(fù)雜的集合，這是為了處理維數(shù)的時候方便，況且實際遇到的問題也不會出現(xiàn)很復(fù)雜的$\Theta_0$。
本文只涉及實用意義上構(gòu)建level-\alpha?test的四種方法。至于evaluation和理論意義上的Neyman-Pearson，看書即可。
Likelihood Ratio Test
這是最一般的構(gòu)建test的方法（就像MLE的一般性一樣），不管怎樣總是能用的，只不過是簡單還是復(fù)雜的問題了。LRT statistic就不寫了，它的直觀意義很明顯，就是$H_0$成立的plausibility，這個值越低，說明我們越傾向于拒絕$H_0$。
這里面有兩個問題：
對于復(fù)雜的似然函數(shù)，無法解析求出maximum，怎么辦？那無非就數(shù)值計算罷了，只不過是一個最優(yōu)化問題。
level $\alpha$對應(yīng)的拒絕域怎么求？這就不是數(shù)值計算能解決的了，必須知道H_0下的檢驗統(tǒng)計量的分布。這個問題看起來比上一個問題還要復(fù)雜，但是好在漸進分布是可以求的。Wilks定理指出
其中r是全空間和H_0的子流形的維度之差，也可以看成restriction的個數(shù)。注意到左邊這個隨機變量本來就是supported on [0,+\infty)的，所以卡方分布很自然。
這樣一來拒絕域就非常好寫了：
提前說一句，LRT, Wald test和score test是漸進等價的，它們的漸進分布一樣，特別地，自由度都是restriction的數(shù)目，或者叫維度差。
還有一句：LRT需要求兩個MLE：restricted的和unrestricted的，所以一般比較麻煩。下面的Wald test和score test在這方面就簡單一點，前者只需要unrestricted MLE，后者只需要restricted MLE，所以可以靈活選用。
Wald Test
在Wald test中我們需要按r個限制來規(guī)定子流形：
想法很簡單：首先建立一個（unrestricted）MLE: $\hat{\theta}$?？紤]這樣一個量的漸進行為：
如果$\theta$在$\Theta_0$中，則這個量大致在0附近是個Gaussian的。反之，在$H_1$下，可以想象這個隨機變量就整個散開來了。思路就是這樣，接下來只需要具體把漸進系數(shù)算出來。這也很好辦，用delta method即可。算出來的漸進系數(shù)里面含有$\theta$，這一般是不知道的（除非你的子流形就是一個零維的點，即simple hypothesis，那就別用MLE自找麻煩了），所以要用MLE來替代，這個做法的合理性無非是Slutsky驗證一下罷了。結(jié)果，我們需要的Wald統(tǒng)計量為（其中C為R的導(dǎo)數(shù)，不用記，用delta method現(xiàn)推即可）
（在H_0下）因為這個是正態(tài)平方過了，所以拒絕域為小于等于卡方分布的\alpha cutoff point。這樣就很舒服了。Wald統(tǒng)計量算起來簡單一點（不用算兩個MLE；但是要多算Fisher information matrix），不過它完全是漸進的，沒法做有限的level。
Score Test (Lagrange Multiplier Test)
這個跟Wald test想法類似，只不過我們的判據(jù)換成了score function S(\hat{\theta})。這個量肯定大致在0附近（因為其期望為0），不過事情壞在它不管在零假設(shè)還是備則假設(shè)下都大致在0附近。所以我們要用restricted on 子流形$\Theta_0$上面的MLE$\tilde{\theta}$來，這樣在$\Theta_0^c$上面就沒法保持在0附近了。最后算出漸進系數(shù)即可（還是要做把參數(shù)換成MLE這一步；注意到Fisher information matrix就是score function的協(xié)方差矩陣）：
（在H_0下）這個方法只需要算restricted MLE，經(jīng)常要用上Langrange multiplier，所以也叫Lagrange multiplier test。這也只是一個漸進的test。
Chi-squared Test
(Pearson)卡方檢驗跟前面的三種做法完全不同，它的檢驗統(tǒng)計量是直接給出的，不用費力氣算；而且它并不是把試驗結(jié)果看成n個iid的試驗，而是一個（k個cell的廣義的）Bernoulli試驗，在各個cell里面做計數(shù)$X_1,\cdots,X_k$，其分布是multinomial（不管產(chǎn)生隨機數(shù)是什么分布）。這種cell有時候得手動分，比如連續(xù)分布就必須得手動分。這個時候參數(shù)空間就不是原來的參數(shù)空間了，而是multinomial distribution的參數(shù)$(p_1,\cdots,p_k)$。然后零假設(shè)依然是這個空間上的一個子流形。
首先考慮經(jīng)典的情況，即這個子流形是零維的。此時我們都熟知的卡方統(tǒng)計量可以取以下兩種：
注意到這兩個量是恒正的，而且越小說明H_0越有可能成立。
對于一般的子流形，上面的p不是一個值，所以必須要換。換的方法是把子流形做參數(shù)化：$p=p(\theta)$，其中$\theta$有s(<k)個（最極端的情況也只能是$s=k-1$，因為全部p_i求和應(yīng)該是1，至少有這么一個限制），也就是說有r個自由度。這樣我們把$p(\theta)$換成$p(\hat{\theta})$，其中$\hat{\theta}$是$\theta$的MLE（當(dāng)然是在H_0下的MLE，H_1下已經(jīng)沒有所謂參數(shù)\theta了）。
最后，自由度也要改。結(jié)果為：
這樣事情也就完成了。很多問題前面幾種辦法都超過手算極限了，用卡方總是能行的。
最后還有Bayes方法，這跟前面完全不是一路子，不寫了。
