原文來自本人的同名公號(hào)：護(hù)理統(tǒng)計(jì)隨筆，歡迎關(guān)注。

看到這個(gè)標(biāo)題，你是否會(huì)驚訝：預(yù)測(cè)模型竟然還能做系統(tǒng)評(píng)價(jià)？

對(duì)于系統(tǒng)評(píng)價(jià)，大家應(yīng)該是不陌生的，循證醫(yī)學(xué)和循證護(hù)理的浪潮掀了十幾年也沒停歇，反而愈演愈烈。但是，很多人仍然還不十分清楚臨床預(yù)測(cè)模型或者風(fēng)險(xiǎn)預(yù)測(cè)模型，更遑論預(yù)測(cè)模型的系統(tǒng)評(píng)價(jià)了，這里就簡(jiǎn)單分享下預(yù)測(cè)模型系統(tǒng)評(píng)價(jià)的基本思路和做法，并分享一篇來自BMJ的文獻(xiàn)。如果你覺得以后用得上，可以收藏起來慢慢看。

如果你還不曾了解臨床預(yù)測(cè)模型，但又對(duì)臨床預(yù)測(cè)模型入門的進(jìn)階有興趣，可以看看這些文章：零基礎(chǔ)入門臨床預(yù)測(cè)模型？看這篇就夠了?。ūＤ芳?jí)實(shí)操演示請(qǐng)收好了）

純干貨，必看！臨床預(yù)測(cè)模型的建立與驗(yàn)證全流程（含機(jī)器學(xué)習(xí)算法）

一、背景

隨著臨床預(yù)測(cè)模型的火熱，數(shù)以萬計(jì)的預(yù)測(cè)模型被開發(fā)，甚至出現(xiàn)針對(duì)同一種結(jié)局變量會(huì)開發(fā)多個(gè)模型的情況。然而不少預(yù)測(cè)模型研究存在報(bào)告質(zhì)量不佳、結(jié)論矛盾、模型偏倚風(fēng)險(xiǎn)高、準(zhǔn)確性和適用性不佳的問題。一個(gè)經(jīng)典的句子足以概括這些預(yù)測(cè)模型：“多數(shù)被建立，少數(shù)被驗(yàn)證，極少被應(yīng)用”。為了改變這種尷尬的現(xiàn)狀，評(píng)估這些模型的可用性，研究者們開始采用循證的思想對(duì)這些預(yù)測(cè)模型進(jìn)行系統(tǒng)評(píng)價(jià)。

二、預(yù)測(cè)模型系統(tǒng)評(píng)價(jià)的基本思路

與隨機(jī)對(duì)照研究、觀察性研究等常見類型的系統(tǒng)評(píng)價(jià)思路類似，預(yù)測(cè)模型的系統(tǒng)評(píng)價(jià)總體上也沒有什么特殊，遵從選題、注冊(cè)、檢索、篩選、提取數(shù)據(jù)、質(zhì)量評(píng)價(jià)、定量合并、撰寫論文等基本流程，見下圖。

選題沒什么可聊的，診斷模型與預(yù)后模型都可以做。其余的制作思路也與常規(guī)系統(tǒng)評(píng)價(jià)類似，但這就就意味著制作和撰寫一份預(yù)測(cè)模型的系統(tǒng)評(píng)價(jià)簡(jiǎn)單嗎？不然，它還有這么幾個(gè)特殊點(diǎn)：

①文獻(xiàn)檢索

檢索方案復(fù)雜，建議采用特定的檢索過濾器，確實(shí)好用，個(gè)人建議盡量多用，具體檢索策略看下圖。

②文獻(xiàn)篩選

遵循PRISMA 聲明繪制文獻(xiàn)篩選流程圖；

③數(shù)據(jù)提取

根據(jù)CHARMS清單提取文獻(xiàn)的數(shù)據(jù)：需要收集的內(nèi)容著實(shí)不少，見下圖：

④文獻(xiàn)質(zhì)量評(píng)價(jià)

采用PROBAST工具評(píng)價(jià)預(yù)測(cè)模型研究的偏倚風(fēng)險(xiǎn)評(píng)價(jià)，PROBAST 工具包括研究對(duì)象、預(yù)測(cè)變量、結(jié)局和統(tǒng)計(jì)分析 4 個(gè)領(lǐng)域，20 個(gè)條目，見下圖。

⑤異質(zhì)性檢驗(yàn)

注意，這里是預(yù)測(cè)模型系統(tǒng)評(píng)價(jià)比較特殊的地方，分兩種情況：

第一種情況：如果納入的都是模型開發(fā)研究，就沒有必要進(jìn)行異質(zhì)性和meta分析了，直接做描述分析即可，此時(shí)就類似于范圍綜述。當(dāng)前醫(yī)學(xué)領(lǐng)域多數(shù)已發(fā)表的預(yù)測(cè)模型系統(tǒng)評(píng)價(jià)文章就屬于這類，難度較小，按照前面的步驟和要求做即可。

第二種情況：如果說同一個(gè)開發(fā)模型已經(jīng)被多個(gè)隊(duì)列進(jìn)行驗(yàn)證或者不少模型都已被多次驗(yàn)證，此時(shí)就需要對(duì)其進(jìn)行異質(zhì)性檢驗(yàn)。舉個(gè)例子，我想要研究COPD預(yù)后模型的系統(tǒng)評(píng)價(jià)，并收集到了20個(gè)不同的模型，其中1個(gè)模型有多個(gè)外部驗(yàn)證研究，如此就需要探索異質(zhì)性的潛在來源，了解模型在什么情況下保持良好的性能，以及模型何時(shí)需要進(jìn)一步改進(jìn)。如何做呢？基本是推薦使用HKSJ方法合并區(qū)分度和校準(zhǔn)度的預(yù)測(cè)區(qū)間，預(yù)測(cè)區(qū)間較寬，表示可能存在明顯的異質(zhì)性。

⑥Meta分析

當(dāng)同一種預(yù)測(cè)模型的驗(yàn)證研究數(shù)量滿5篇，建議使用HKSJ 方法對(duì)預(yù)測(cè)模型的性能指標(biāo)（區(qū)分度、校準(zhǔn)度、DCA等）Meta 分析，模型采用隨機(jī)效應(yīng)模型（異質(zhì)性大，不要用固定效應(yīng)）。這些方法都可以在R 包“metamisc”實(shí)現(xiàn)（下期分享做法），該包除了可以實(shí)現(xiàn)頻數(shù)流派估計(jì)方法之外，還可以做貝葉斯估計(jì)。

異質(zhì)性過高時(shí)建議進(jìn)行亞組分析和meta回歸。當(dāng)進(jìn)行了meta分析，還建議進(jìn)行敏感性分析，避免因個(gè)別低質(zhì)量的研究影響 Meta 分析結(jié)果的穩(wěn)定性和可靠性。

還有一種情況！有些研究（護(hù)理領(lǐng)域多見）會(huì)對(duì)其所綜述的預(yù)測(cè)模型中排名靠前的預(yù)測(cè)因素進(jìn)行meta分析，效應(yīng)量采用OR或者RR，進(jìn)行定量合并，并繪制森林圖。

⑦證據(jù)質(zhì)量評(píng)價(jià)

可使用用預(yù)后研究和預(yù)測(cè)因子研究的GRADE 工具評(píng)估預(yù)測(cè)模型系統(tǒng)評(píng)價(jià)證據(jù)的質(zhì)量。

⑧撰寫論文

遵循?PRISMA 2020?聲明進(jìn)行系統(tǒng)評(píng)價(jià)論文的撰寫，并建議參考TRIPOD?聲明（開發(fā)和驗(yàn)證預(yù)測(cè)模型的規(guī)范）。

三、BMJ文獻(xiàn)分享

doi:?https://doi.org/10.1136/bmj.l5358

這是1項(xiàng)慢性阻塞性肺疾病患者預(yù)測(cè)模型的系統(tǒng)評(píng)價(jià)，限于篇幅，簡(jiǎn)單介紹下：

①文獻(xiàn)檢索情況

該研究經(jīng)過檢索，獲得了228 篇符合條件的文獻(xiàn)，其中描述了 408 個(gè)預(yù)后模型的開發(fā)情況、38 個(gè)模型的外部驗(yàn)證情況以及 20 個(gè)針對(duì)慢性阻塞性肺病以外的其他疾病預(yù)后模型的驗(yàn)證情況。

②開發(fā)環(huán)境與結(jié)果變量

這 408 個(gè)預(yù)后模型是在3種臨床環(huán)境下開發(fā)的: 門診病人 (n=239;59%)、住院病人 (n=155;38%) 和急診科病人 (n=14;3%) 。在 408 個(gè)預(yù)后模型中，最常見的終點(diǎn)是死亡率(n=209;51%) 、慢性阻塞性肺病急性加重風(fēng)險(xiǎn) (n=42;10%) 和入院指數(shù)后再入院風(fēng)險(xiǎn) (n=36; 9%)總體而言，最常用的預(yù)測(cè)因子是年齡 (n=166;41%)、一秒鐘用力呼氣量 (n=85; 21%) 、性別 (n=74;18%) 、體重指數(shù) (n=66; 16%) 和吸煙 (n=65;16%) 。

③模型的基本特征

在 408 個(gè)預(yù)后模型中，有 100 個(gè) (25%) 通過了內(nèi)部驗(yàn)證，91個(gè) (23%) 通過了外部驗(yàn)證。有 286 個(gè) (70%) 模型沒有模型校準(zhǔn)，只有 56 個(gè) (14%) 模型進(jìn)行了校準(zhǔn)。38 個(gè)模型經(jīng)過了外部驗(yàn)證，但其中只有 12 個(gè)模型的驗(yàn)證工作是由一個(gè)完全獨(dú)立的獨(dú)立團(tuán)隊(duì)。各模型的基本特征見下圖（節(jié)選）。

④偏倚風(fēng)險(xiǎn)

文獻(xiàn)根據(jù) PROBAST 方法，只有7個(gè)預(yù)后模型（開發(fā)）的總體偏倚風(fēng)險(xiǎn)較低。

⑤預(yù)后模型的Meta分析結(jié)果

對(duì) 12 個(gè)預(yù)后模型的 C統(tǒng)計(jì)量進(jìn)行了薈萃分析，總結(jié)估計(jì)值從 0.611 到 0.769不等，但沒有對(duì)校準(zhǔn)度進(jìn)行meta分析（因?yàn)橥獠框?yàn)證研究沒有標(biāo)準(zhǔn)報(bào)告校準(zhǔn)指標(biāo)），森林圖如下。

四、小結(jié)

碼字倉(cāng)促，如果你發(fā)現(xiàn)有漏洞、錯(cuò)誤、或者錯(cuò)別字，還請(qǐng)批評(píng)指正。總體來說，預(yù)測(cè)模型的系統(tǒng)評(píng)價(jià)與常見研究的系統(tǒng)評(píng)價(jià)區(qū)別不大，除了一些評(píng)估工具有差異之外，比較特殊的地方是定量分析模塊，比如meta分析。

當(dāng)前，還是比較少看到有人分享預(yù)測(cè)模型meta分析的具體做法，但下期我會(huì)繼續(xù)分享這些內(nèi)容，感謝閱讀，下期見。

圖文參考資料：

[1]預(yù)測(cè)模型系統(tǒng)評(píng)價(jià)的制作方法與步驟;?

[2]Prognostic models for outcome prediction in patients with chronic obstructive pulmonary disease: systematic review and critical appraisal