什么是FDR？

錯誤發(fā)現(xiàn)率FDR（False discovery rate）是在所有結果顯著的檢驗中，假陽（零假設H0為真時，拒絕H0的情況）所占的比率。如下表所示，N次假設檢驗中，F(xiàn)DR定義為V/R=V/(V+S)。

而經典的Benjamini-Hochberg (BH) 方法就是用于控制錯誤發(fā)現(xiàn)率FDR的一種方法，讓FDR≤α。

Benjamini-Hochberg?方法介紹

有N次假設檢驗，對每一次假設檢驗都計算其P值，然后將計算出的P值按照從小到大的方式排序，接著從最小的P值開始，按照P（k）≤α*k/N進行比較，然后可以找到最大的第K個滿足上述不等式的P值，最終可以認為這K個P值是顯著的，其余的P值不顯著。

我們來看一個具體例子，假設需要檢驗的總體均值為6%，重復進行了30次抽樣檢驗，最小的6個P值如下表所示，如果使用5%的顯著性水平，僅考慮P值大小來評估的話，那么我們將會拒絕最小的5個P值所對應的檢驗（P值=0.0625＞5%），但使用Benjamini-Hochberg方法修正后，只會拒絕一個P值（下表中第一個）。

?

Benjamini-Hochberg方法原理

我們將10000次假設檢驗分為2組：

1.?9000次檢驗的零假設H0：真；

2.?1000次檢驗的零假設H0：假。

然后，可以看到這兩組檢驗的P值分布情況如下圖所示：

?

H0為真時，P值均勻分布在0%-100%之間，為什么會是均勻分布呢？是因為在零假設H0條件下，P值有5%的可能性小于5%，有10%的可能性小于10%，有20%的可能性小于20%，以此類推，可以很直觀理解P值的均勻分布。而上圖之所以不是完全的均勻分布，是因為樣本數(shù)量還不夠大（當樣本數(shù)量越大，P值也就越接近于均勻分布）。

H0為假時，P值就不再是均勻分布了，而是集中在0%附近，其他區(qū)間基本沒有出現(xiàn)。這也比較好理解：H0是假，假設檢驗的功效越大，檢驗出H0為假的能力就越好，也就意味著P值越小，拒絕H0的證據(jù)越明顯。

如果將所有P值合在一起統(tǒng)計的話，就如下圖所示。0%附近的第一個直方塊高度為1400次，而后面均勻分布的方塊平均高度為453次（如下圖紅線所示），因此使用這個直方圖，我們可以大致估計出零假設H0是假，應該被拒絕的數(shù)是：1400-453=947（和上圖中的真實值1000非常接近）。

?

進一步思考，0%附近第一個直方塊中包含的1400個P值，按照常規(guī)假設檢驗，都需要拒絕掉么？通過上述分析，一個合理的拒絕數(shù)量應該為947個。

實際上，按照Benjamini-Hochberg方法，從小到大的順序對p值進行排序，按照P（k）≤α*k/N進行比較，拒絕最小的P值，其中有116個H0為真的情況，也就意味著錯誤發(fā)現(xiàn)率FDR=116/947=0.12。

如果要控制FDR≤α=0.1，則可重新使用Benjamini-Hochberg方法，這次我們從更加圖形可視化的角度來理解這個過程。

如下圖所示，橫坐標是假設檢驗次數(shù)，縱坐標是P值。在坐標系中我們先以α/N為斜率畫一條紅線（P=α*k/N函數(shù)），然后將所有假設檢驗的P值分布在坐標系中，拒絕掉所有在紅線下的P值（也就是≤α*k/N的P值）。

?

具體而言，α/N為斜率的紅線和所有假設檢驗的P值相交的最大點對應頻次為883，在883個最小P值中實際上有83個零假設H0為真的情況，也就意味著實際的FDR=83/883=0.094＜0.1。

為什么Benjamini-Hochberg方法能保證FDR≤α呢？本質是什么？

我們將上面的具體問題提煉總結一下，如下圖所示：橫坐標是假設檢驗次數(shù)，縱坐標是P值（0%-100%之間），先畫一條以α/N為斜率的紅線，假設L是紅線和所有假設檢驗的P值相交的最大點（L以下都是需要拒絕的P值）。而基于上文，我們知道零假設H0為真時的P值是均勻分布，也就是說P值落在任意[0%-100%]區(qū)間的期望值為：k%*H0為真的假設檢驗次數(shù)，而H0為真的假設檢驗次數(shù)N0一定是小于N的。

?

在L個被拒絕的P值中，其中H0為真的假設檢驗個數(shù)為：h*?H0為真的假設檢驗次數(shù)=h*N0。

?

這就是為什么Benjamini-Hochberg方法能有效控制錯誤發(fā)現(xiàn)率FDR≤α的底層邏輯。

?