小云前面分享了自己的預(yù)測(cè)模型如何與別人的模型作對(duì)比，其實(shí)在這之前，模型構(gòu)建之后有一個(gè)非常重要的步驟就是“模型評(píng)價(jià)”~?~

“模型評(píng)價(jià)”一般是通過(guò)比較人群的模型預(yù)測(cè)結(jié)果與實(shí)際觀測(cè)結(jié)果，來(lái)評(píng)價(jià)預(yù)測(cè)模型的效果，主要目的就是為了告訴別人我們的模型在性能上是可靠的、足夠優(yōu)越的。

可能小伙伴們?cè)谖墨I(xiàn)中經(jīng)?？吹礁黝?lèi)模型評(píng)價(jià)指標(biāo)，最常見(jiàn)的就是ROC曲線上的AUC值，還有再進(jìn)階一點(diǎn)就是做校準(zhǔn)曲線，再有就是比較少見(jiàn)的DCA曲線，那這些指標(biāo)都是評(píng)價(jià)什么的呢？都代表啥意義？該怎么應(yīng)用？

不急不急，聽(tīng)小云細(xì)細(xì)道來(lái)~?~

p?模型評(píng)價(jià)的3類(lèi)評(píng)價(jià)指標(biāo)

l?區(qū)分度評(píng)價(jià)指標(biāo)：ROC曲線和C指數(shù)（C-Index）

l?校準(zhǔn)度評(píng)價(jià)指標(biāo)：校準(zhǔn)曲線（Calibration plot）

l?臨床有效性評(píng)價(jià)指標(biāo)：決策分析曲線（Decision Curve Analysis，DCA）

p?區(qū)分度評(píng)價(jià)指標(biāo)

區(qū)分度指的是一個(gè)模型能正確把人群分為患者/非患者，或者正確區(qū)分個(gè)體是處于低風(fēng)險(xiǎn)、還是處于高風(fēng)險(xiǎn)，或者正確預(yù)測(cè)患者是存活、還是死亡等的能力，可以使用ROC曲線和C-Statistic評(píng)價(jià)。

n?ROC曲線，是反映敏感性與特異性之間關(guān)系的曲線，用于評(píng)價(jià)某個(gè)或多個(gè)指標(biāo)對(duì)兩類(lèi)測(cè)試者（如患者和正常人）分類(lèi)及診斷的效果。AUC（Area Under Curve）為曲線下方部分的面積，用來(lái)表示預(yù)測(cè)準(zhǔn)確性。

n?C-index，又稱(chēng)C指數(shù)，一致性指數(shù)（index of concordance），主要用于計(jì)算生存分析中的COX模型預(yù)測(cè)值與真實(shí)之間的區(qū)分度（discrimination），也稱(chēng)為Harrell's concordance index ，與ROC曲線的AUC作用類(lèi)似；在評(píng)價(jià)腫瘤患者預(yù)后模型的預(yù)測(cè)精度中用的比較多。

注：二分類(lèi)變量的AUC和C-Statistic一致，都是越接近1，模型的區(qū)分度越好。一般認(rèn)為，AUC或者C-Statistic在0.6以下是低區(qū)分度，在0.6~0.75之間是中區(qū)分度，高于0.75是高區(qū)分度。

p?校準(zhǔn)度評(píng)價(jià)指標(biāo)

校準(zhǔn)度指的是結(jié)局實(shí)際發(fā)生的概率和模型預(yù)測(cè)出的概率之間的一致性，所以又叫一致性、擬合優(yōu)度（goodness of fit），校準(zhǔn)度體現(xiàn)了一個(gè)模型對(duì)絕對(duì)風(fēng)險(xiǎn)預(yù)測(cè)的準(zhǔn)確性。目前校準(zhǔn)度的評(píng)價(jià)最好的方式還是使用校準(zhǔn)曲線圖(Calibration plot) ，通過(guò)圖形可以非常直觀地看到預(yù)測(cè)概率和真實(shí)概率的關(guān)系。

p?臨床有效性評(píng)價(jià)指標(biāo)

臨床都會(huì)碰到假陽(yáng)性和假陰性問(wèn)題，我們?nèi)绻鶕?jù)模型的預(yù)測(cè)結(jié)果去干預(yù)病人，這里面就有一個(gè)干預(yù)劃不劃得來(lái)的問(wèn)題：具體來(lái)說(shuō)，比如通過(guò)某個(gè)生物標(biāo)志物預(yù)測(cè)患者是否患了某病，無(wú)論選取哪個(gè)值為臨界值，都會(huì)遇到假陽(yáng)性的可能，假陽(yáng)性的病人也會(huì)接受干預(yù)（但其實(shí)是虧損的），我們希望自己做出來(lái)的預(yù)測(cè)模型在臨床使用中，在任何時(shí)候依照模型結(jié)果進(jìn)行干預(yù)凈受益都比默認(rèn)的好（最常見(jiàn)的默認(rèn)情況就是全干預(yù)和全不干預(yù)）。

決策曲線分析（Decision Curve Analysis，DCA）就是將依照模型干預(yù)的凈受益和默認(rèn)方法（全干預(yù)和不干預(yù)）干預(yù)的凈受益進(jìn)行比較。

DCA中的一個(gè)關(guān)鍵概念是“概率閾值”，即患者選擇接受治療的概率水平。結(jié)合上面這幅圖，橫坐標(biāo)就是概率閾值，當(dāng)概率閾值到達(dá)某個(gè)水平時(shí)，我們就采取治療措施（簡(jiǎn)單理解）。此時(shí)對(duì)于一個(gè)病人來(lái)說(shuō)，治療有可能會(huì)利大于弊，也有可能會(huì)弊大于利，縱坐標(biāo)就是利減去弊之后的凈獲益。

圖中還有2條特殊的線，一條是“intervention for none，表示所有人都不接受治療時(shí)，此時(shí)不管概率閾值是多少，凈獲益肯定都是0。另一條是“intervention for all”，表示所有人都接受治療時(shí)，隨著概率閾值的改變，其凈獲益的改變。這兩條線代表了2種極端的情況。

可以從圖中看出，隨著概率閾值的增加，模型的凈受益會(huì)下降（更精確的說(shuō)法是根據(jù)模型結(jié)果進(jìn)行干預(yù)的凈受益會(huì)下降），但是對(duì)于我們訓(xùn)練的Model來(lái)講，按照Model的預(yù)測(cè)結(jié)果進(jìn)行干預(yù)的話，除了概率閾值很小的情況下，在其余的閾概率情形下模型的表現(xiàn)都是比較好的，并且模型表現(xiàn)始終比test好。那么也就直觀的說(shuō)明了我們做的這個(gè)預(yù)測(cè)模型確實(shí)好，確實(shí)比現(xiàn)有的檢測(cè)技術(shù)管用。

小云之聲

如果您的時(shí)間和精力有限或者缺乏相關(guān)經(jīng)驗(yàn)，并且對(duì)生信分析和思路設(shè)計(jì)有所需要的話，“生信鳥(niǎo)”非常樂(lè)意為您提供如下服務(wù)：免費(fèi)思路評(píng)估、付費(fèi)生信分析和方案設(shè)計(jì)以及實(shí)驗(yàn)項(xiàng)目實(shí)施等，有意向的小伙伴歡迎咨詢(xún)布小谷哦！