kappa一致性檢驗
一、案例介紹
在刺五加注射液治療冠心病心絞痛的臨床試驗評價中,需要關注患者的癥狀、體征和心電圖的檢查情況,對患者的療效進行綜合評價。為了考核療效評價標準及醫(yī)生在試驗中的執(zhí)行情況,將審核醫(yī)生判定的結果與執(zhí)行醫(yī)生判定的結果進行比較,試評價兩名醫(yī)生判定結果的一致性。
二、問題分析
本案例想要比較兩名醫(yī)生判定結果的一致性情況,醫(yī)生判定結果為定類數(shù)據(jù),所以可以使用Kappa一致性檢驗進行分析。具體來看,判定結果為“顯效、有效、無效”為有序分類變量,應該使用線性加權Kappa進行分析。
三、軟件操作及結果解讀
(一)原理說明
Kappa值作為評價分類變量結果一致性和信度的一種重要指標,Kappa值的應用非常廣泛,其基本公式為
其中,PA為兩次觀察的一致性;
Pe為兩次觀察的機遇一致性:
Kappa值的取值范圍是[-1,1],kappa=-1時,表明完全不一致;-1< kappa<0時,表明觀察一致性小于機遇一致性,無意義;kappa=0,表明一致性完全由機遇造成;kappa=1時,表明兩次分類結果完全一致。一般而言,kappa≤0.4時,表明一致性較差;0.4<kappa≤0.6時,表明中度一致;0.6<kappa≤0.8時,表明有較高的一致性;kappa>0.8時,表明有極好的一致性。
(二)軟件操作
首先將數(shù)據(jù)整理成Kappa一致性檢驗正確的格式,兩個醫(yī)生的判定結果分別有三種結論,因此3*3共有9種組合;單獨使用一列數(shù)據(jù)表示每種組合的數(shù)量,數(shù)據(jù)結構如下圖:
將數(shù)據(jù)上傳到SPSSAU系統(tǒng),在實驗/醫(yī)學研究模塊,選擇【Kappa一致性檢驗】,將兩位醫(yī)生判定結果放入右側“評價者”分析框中,將“人數(shù)”放到右側“加權項”分析框中,選擇“加權Kappa(線性Cohens)”,然后點擊“開始分析”,操作如下圖:
(三)結果解讀
SPSSAU輸出Kappa一致性檢驗結果如下:
從上表可以看出,執(zhí)行醫(yī)生與審核醫(yī)生判定結果進行一致性檢驗。檢驗結果呈現(xiàn)出顯著性(z=18.5942,p=0.000<0.01),意味著Kappa值明顯偏于0,說明兩位醫(yī)生的判定結果具有一定的一致性水平。具體看Kappa值為0.7286,介于0.6和0.8之間,意味著執(zhí)行醫(yī)生與審核醫(yī)生判定結果具有較高的一致性。
四、結論
本案例通過Kappa一致性檢驗,分析執(zhí)行醫(yī)生與審核醫(yī)生對418名患者的治療效果評價的一致性。分析得到Kappa值為0.7286,說明執(zhí)行醫(yī)生與審核醫(yī)生判定結果具有較高的一致性。但是質量控制仍然不夠理想,具體分析有28名患者在“有效”和“顯效”上判定不同,有26名患者在“有效”和“無效”上判定不同。
五、知識小貼士
(1)Kappa系數(shù)計算時出現(xiàn)2個標準誤值?
進行kappa系數(shù)計算時可能會出現(xiàn)2個標準誤值,分別是‘標準誤(假定原假設)’和‘標準誤’,‘標準誤(假定原假設)’是用于進行檢驗原假設(kappa值為0)時使用;而‘標準誤’值是用于計算95% CI值使用;如果目的在于檢驗則報告‘標準誤(假定原假設)’,如果僅報告kappa值和95% CI,則報告‘標準誤’值;通常情況下是報告‘標準誤’值即可。
(2)Fleiss Kappa系數(shù)如何使用?
幾類Kappa一致性檢驗區(qū)別說明如下:
簡單Kappa:普通定類數(shù)據(jù)
如果研究的數(shù)據(jù)為絕對的定類數(shù)據(jù):如陽性or陰性,此時使用簡單Kappa。
例如:研究鼻拭子和咽拭子兩種核酸檢測方式對于核酸檢測結果呈陽性or陰性的一致性程度。
加權Kappa:有序定類 or 考慮權重
如果研究的數(shù)據(jù)為等級式定類數(shù)據(jù):如滿意、一般、不滿意,此時使用線性加權Kappa。
(提示:如果使用加權Kappa,一般使用線性加權Kappa)
Fleiss Kappa:對比兩項以上的一致性
如果研究的數(shù)據(jù)為對比三項以上的結果一致性,此時使用Fleiss Kappa。
參考文獻:
[1]顏紅,徐勇勇.醫(yī)學統(tǒng)計學.第3版[M].人民衛(wèi)生出版社,2015