一、ROC曲線(xiàn)分析

ROC（Receiver Operating Characteristic，受試者工作特征）曲線(xiàn)分析是臨床醫(yī)學(xué)和流行病學(xué)研究中常用于評(píng)價(jià)診斷準(zhǔn)確性以及確定界值點(diǎn)的方法。

?1、定義

ROC曲線(xiàn)分析當(dāng)前在醫(yī)學(xué)領(lǐng)域使用非常廣泛，用于研究X（檢驗(yàn)變量）對(duì)于Y（狀態(tài)變量）的預(yù)測(cè)準(zhǔn)確率情況以及確定界值點(diǎn)。

ROC曲線(xiàn)的基本思想是把敏感度和特異性看作一個(gè)連續(xù)變化的過(guò)程，用一條曲線(xiàn)描述診斷系統(tǒng)的性能，其制作原理是在連續(xù)變量中不同界值點(diǎn)處計(jì)算相對(duì)應(yīng)的靈敏度和特異度，然后以敏感度為縱坐標(biāo)、1-特異性為橫坐標(biāo)繪制一條真陽(yáng)性率與假陽(yáng)性率的曲線(xiàn)。

ROC曲線(xiàn)的Y（狀態(tài)變量）為只有兩個(gè)類(lèi)別的結(jié)果（例如陽(yáng)性&陰性、是&否、患病&未患病等）；X（檢驗(yàn)變量）可以有很多個(gè)；X與Y可以為任意數(shù)據(jù)類(lèi)型（定類(lèi)和定量數(shù)據(jù)均可）。

例如：預(yù)測(cè)核酸檢測(cè)結(jié)果（陽(yáng)性&陰性）的準(zhǔn)確率； 評(píng)價(jià)雷達(dá)監(jiān)測(cè)（敵機(jī)&飛鳥(niǎo)）的準(zhǔn)確率等等。

?2、專(zhuān)業(yè)術(shù)語(yǔ)說(shuō)明

ROC曲線(xiàn)分析中有很多專(zhuān)業(yè)名詞，說(shuō)明如下表：

ROC曲線(xiàn)如下圖：

ROC曲線(xiàn)縱坐標(biāo)為敏感度——陽(yáng)性人群中，檢測(cè)出陽(yáng)性的概率，希望該值越高越好；橫坐標(biāo)為1-特異性——陰性人群中，檢測(cè)為陽(yáng)性的概率，希望該值越低越好。結(jié)合橫縱坐標(biāo)的概念，可以得到結(jié)論：曲線(xiàn)越往左上角說(shuō)明預(yù)測(cè)準(zhǔn)確率越高；曲線(xiàn)越往左上角說(shuō)明曲線(xiàn)下面積越大，即AUC值越大說(shuō)明預(yù)測(cè)準(zhǔn)確率越高。

?3、ROC曲線(xiàn)之AUC比較檢驗(yàn)

SPSSAU共提供兩類(lèi)AUC比較檢驗(yàn)方法，如下：

• Hanley&McNeil法：用于獨(dú)立樣本X之間AUC的對(duì)比

例如：研究產(chǎn)婦年齡、產(chǎn)婦體重、產(chǎn)婦是否具有高血壓三者之間（三個(gè)X之間相互獨(dú)立）與新生兒是否是低出生體重兒的AUC比較。

• Delong text：用于配對(duì)X的AUC的對(duì)比

例如：使用體溫判斷是否為陽(yáng)性，每個(gè)樣本都測(cè)量口腔體溫與腋下體溫，研究?jī)煞N體溫下的AUC的對(duì)比。

二、 三次核酸檢測(cè)結(jié)果準(zhǔn)確率預(yù)測(cè)

?1、應(yīng)用舉例

使用SPSSAU系統(tǒng)ROC曲線(xiàn)分析三次核酸檢測(cè)結(jié)果準(zhǔn)確率。

醫(yī)院共收治315例疑似患者，最終確診COVID-19患者108例，非COVID-19患者207例。首次核酸檢測(cè)呈陽(yáng)性73例，累計(jì)兩次核酸檢測(cè)呈陽(yáng)性90例，累計(jì)3次核酸檢測(cè)呈陽(yáng)性99例，其余9例中6例于第4次核酸檢測(cè)呈陽(yáng)性，3例于第5次核酸檢測(cè)呈陽(yáng)性。

數(shù)據(jù)格式如下，1表示陽(yáng)性，0表示陰性，僅展示部分?jǐn)?shù)據(jù)：

數(shù)據(jù)來(lái)源：新型冠狀病毒肺炎早期診斷相關(guān)因素的Logistic回歸及ROC曲線(xiàn)分析-艾金偉

ROC曲線(xiàn)分析結(jié)果如下：

新型冠狀病毒肺炎早期診斷相關(guān)因素的Logistic回歸及ROC曲線(xiàn)分析-艾金偉

下面將使用SPSSAU系統(tǒng)，復(fù)現(xiàn)結(jié)果。

上傳數(shù)據(jù)至SPSSAU系統(tǒng)，選擇分析方法——ROC曲線(xiàn)。

SPSSAU輸出結(jié)果：

AUC即ROC曲線(xiàn)下的面積值介于0到1之間，AUC越接近1說(shuō)明診斷效果越好；

AUC的判斷標(biāo)準(zhǔn)為：

0.5以下不符合實(shí)際情況；

0.5時(shí)說(shuō)明完全無(wú)診斷價(jià)值；

0.5~0.7之間診斷價(jià)值很低；

0.7~0.9說(shuō)明有一定診斷價(jià)值；

0.9以上說(shuō)明診斷價(jià)值高。

從ROC結(jié)果AUC匯總表可以看出，第1次核酸檢測(cè)結(jié)果診斷價(jià)值比較高，檢測(cè)準(zhǔn)確率為0.838；第2次及第3次核酸檢測(cè)結(jié)果診斷價(jià)值非常高，檢測(cè)準(zhǔn)確率分別達(dá)到0.917和0.958。

最佳界值：即尤登指數(shù)的最大值（尤登指數(shù)=敏感度 + 特異度 – 1）；最佳界值的意義為ROC曲線(xiàn)最靠近左上角的點(diǎn)，即敏感度和誤報(bào)率組合的相對(duì)最優(yōu)值。

針對(duì)第1次核酸檢測(cè)，其最佳界值出現(xiàn)在敏感度為0.676，特異度為1時(shí)，即在該點(diǎn)時(shí)，最靠近左上角（此時(shí)整體最優(yōu)），可通過(guò)ROC曲線(xiàn)圖更進(jìn)一步查看，如下圖：

特別提示：如果X（檢驗(yàn)變量）為定類(lèi)數(shù)據(jù)時(shí)，此時(shí)曲線(xiàn)很可能比較 “難看”，原因在于點(diǎn)很少，因而ROC曲線(xiàn)會(huì)較 “簡(jiǎn)單”，類(lèi)似上圖。

?2、ROC曲線(xiàn)其他應(yīng)用

• 聯(lián)合診斷：

在聯(lián)合診斷中，ROC曲線(xiàn)可以用來(lái)比較不同測(cè)試或模型的性能，并選擇最佳截止點(diǎn)。此外，ROC曲線(xiàn)還可以與其他測(cè)試或模型一起使用（稱(chēng)為“融合”），以提高診斷準(zhǔn)確性。

例如：目前有10個(gè)X，除分別分析每個(gè)X對(duì)應(yīng)的AUC值外，還可以計(jì)算10個(gè)X一起作用時(shí)的AUC值。

Logistic回歸聯(lián)合ROC曲線(xiàn)模型預(yù)測(cè)新型冠狀病毒肺炎患者發(fā)生危重癥的風(fēng)險(xiǎn)-羅蒙

新型冠狀病毒肺炎早期診斷相關(guān)因素的Logistic回歸及ROC曲線(xiàn)分析-艾金偉

• 機(jī)器學(xué)習(xí)
  

在機(jī)器學(xué)習(xí)中，ROC曲線(xiàn)可以用來(lái)比較不同分類(lèi)器的性能，并選擇最佳截止點(diǎn)。此外，ROC曲線(xiàn)還可以用來(lái)評(píng)估分類(lèi)器的魯棒性，即在不同的數(shù)據(jù)集上的性能。通過(guò)使用ROC曲線(xiàn)，可以幫助確定分類(lèi)器的最佳參數(shù)設(shè)置，并在模型訓(xùn)練和測(cè)試過(guò)程中進(jìn)行模型選擇。

大數(shù)據(jù)背景下ROC曲線(xiàn)介紹與應(yīng)用-李子言

三、ROC曲線(xiàn)分析總結(jié)

• ROC曲線(xiàn)用于研究X（檢驗(yàn)變量）對(duì)于Y（狀態(tài)變量）的預(yù)測(cè)準(zhǔn)確率情況以及確定界值點(diǎn)。
  
• ROC曲線(xiàn)是以不同界值點(diǎn)時(shí)的敏感度（陽(yáng)性人群中，檢測(cè)出陽(yáng)性的概率）為縱坐標(biāo)、1-特異性（陰性人群中，檢測(cè)為陽(yáng)性的概率）為橫坐標(biāo)繪制的真陽(yáng)性率與假陽(yáng)性率曲線(xiàn)。
  
• ROC曲線(xiàn)越接近左上角，AUC值越大，預(yù)測(cè)準(zhǔn)確率越高。
  
• ROC曲線(xiàn)如果越接近45度對(duì)角線(xiàn)，預(yù)測(cè)準(zhǔn)確率越低。
  
• ROC曲線(xiàn)在臨床醫(yī)學(xué)診斷、心理測(cè)評(píng)、算法效度研究中都有著廣泛應(yīng)用。