引言

確定與結(jié)果相關(guān)的特征對于比較替代療法、設(shè)計臨床試驗和咨詢個體患者具有重要意義。反映歷史癥狀、體征和檢查結(jié)果的大量特征使預(yù)后因素的確定變得復(fù)雜。

在一個回歸模型中包含大量的因素，似乎可以改善在開發(fā)模型的樣本中的預(yù)測。然而，對一個獨立樣本的擬合模型進(jìn)行檢驗，往往表明其預(yù)測精度有所下降，反映了模型對訓(xùn)練數(shù)據(jù)的過度擬合。

一組預(yù)后因素的價值取決于新患者樣本的重復(fù)性。如果不考慮獨立樣本中模型的穩(wěn)定性，研究人員可能仍然沒有意識到，由于數(shù)據(jù)或多重比較中的“噪聲”，一些因素代表了與結(jié)果的虛假關(guān)聯(lián)。此外，數(shù)據(jù)集中的細(xì)微變化可能導(dǎo)致選擇不同的特征。這使得臨床醫(yī)生在哪些因素實際上具有預(yù)后重要性方面左右為難。當(dāng)統(tǒng)計顯著性是將預(yù)后因素包括在集合中的唯一標(biāo)準(zhǔn)時，選擇的變量的數(shù)量是樣本量的函數(shù)。

有一些可供選擇的回歸建模策略可用于改善模型的穩(wěn)定性。本研究將兩種策略與標(biāo)準(zhǔn)變量選擇法進(jìn)行比較。

通常的逐步回歸策略的第一個修正是不完全主成分回歸(IPC) ，其中通過對估計參數(shù)設(shè)置線性約束來提高模型的穩(wěn)定性。

第二個修正是統(tǒng)計和臨床變量聚類的結(jié)合，其中一個放置不同種類的限制回歸模型。

通過在同一訓(xùn)練樣本集上建立模型，然后在同一測試樣本集上評估預(yù)測精度，對三種方法進(jìn)行了比較。對于所有這三種方法，我們還檢查了改變訓(xùn)練集樣本大小的效果。預(yù)測精度包括兩個方面。首先，預(yù)測應(yīng)該是可靠的。例如，如果一個人預(yù)測一個病人存活兩年的概率是0.65，那么這個概率真的是0.65嗎？我們可以通過根據(jù)預(yù)測的概率(例如通過十分位數(shù)使組足夠大)將獨立樣本分成組來評估可靠性，然后將每個組中存活的比例(Kaplan-Meier 估計)與組的平均預(yù)測生存概率進(jìn)行比較。我們不再討論預(yù)測的可靠性。

預(yù)測準(zhǔn)確性的第二個方面，或許也是更重要的一個方面，是區(qū)分度。一個預(yù)后模型的區(qū)分是有能力區(qū)分患者的良好和不良的結(jié)果。在這種情況下，我們希望量化的程度，預(yù)測生存概率較低的病人死亡較早。在判斷一個模型的相對性能時，我們之所以主張優(yōu)先考慮區(qū)分度，是因為如果區(qū)分度惡化，任何調(diào)整或校準(zhǔn)都不能修正模型。另一方面，通過良好的判別，可以在不犧牲判別的情況下校準(zhǔn)預(yù)測器以獲得可靠性。

數(shù)據(jù)

患者樣本包括自1969年以來在杜克大學(xué)醫(yī)學(xué)中心接受心絞痛心臟導(dǎo)管插入術(shù)治療的連續(xù)4226例患者。排除既往有心臟手術(shù)史的患者。所有的患者都被懷疑患有冠狀動脈疾病，導(dǎo)管插入術(shù)在三分之二的患者中證實了這一診斷?；颊唠S訪99% 完成。發(fā)生心血管死亡416例。雖然心臟導(dǎo)管插入術(shù)定義了預(yù)后的重要特征，如冠狀動脈解剖和心室功能，但開發(fā)的模型僅使用非侵入性確定的患者特征，以便在導(dǎo)管插入術(shù)之前可以估計新患者的預(yù)后。表一列出了患者病史、體格檢查、胸部 X 光和靜息心電圖(ECG)的變量，這些變量用于建立預(yù)測心血管死亡時間的模型。以前的出版物提供了變量定義和數(shù)據(jù)收集方法的詳細(xì)描述。我們審查了死于非心血管疾病的患者(在死亡時活著撤回)。接下來，“死亡”指的是心血管死亡。

我們將患者隨機分為兩組，每組死亡人數(shù)相等。訓(xùn)練集和測試集均包括2113例患者，其中208例死亡。為了研究訓(xùn)練樣本的大小對預(yù)測判別的影響，我們先后使用了原始訓(xùn)練樣本中較小的子集。我們通過隨機抽取原始訓(xùn)練樣本的一半來構(gòu)建這些子集，然后隨機抽取原始訓(xùn)練樣本的四分之一，然后隨機抽取原始訓(xùn)練樣本的八分之一。這些訓(xùn)練樣本之間存在重疊。我們驗證了所有的模型開發(fā)使用給定的訓(xùn)練樣本相同的測試樣本的2113名患者。

一種預(yù)后模型的判別指數(shù)

通過預(yù)測在連續(xù)尺度上測量的響應(yīng)，不需要任何審查，預(yù)測精度的自然量化是預(yù)測值與真值的接近程度。例如，可以計算均方誤差來量化給定模型的準(zhǔn)確性，或者計算一個模型的預(yù)測與另一個模型的預(yù)測相比更接近觀察值的患者數(shù)量。對于一個被刪減的變量，例如事件發(fā)生的時間，我們需要一個容易解釋的預(yù)測能力指數(shù)。秩相關(guān)是導(dǎo)出帶有刪失或非連續(xù)響應(yīng)變量的區(qū)分度指數(shù)的自然選擇。

根據(jù)由 Brown，Hollander 和 K ~ rwar 開發(fā)的 Kendall tau 等級測試，Harrell 等人推導(dǎo)出一個他們稱之為 c 的一致性指數(shù)（c index），為了計算 c，采用所有可能的患者配對。對于一個給定的對，我們說，預(yù)測是一致的結(jié)果，如果病人有更高的概率估計活得更長。如果兩個病人都還活著，或者只有一個人死亡，而另一個人的隨訪時間比第一個人的生存時間短，我們就不計算這兩個人。c index是我們可以確定生存時間順序的所有對患者的比例，以便預(yù)測是一致的。這個指數(shù)是一組預(yù)測概率和真實結(jié)果之間的肯德爾-古德曼-克魯斯卡爾型相關(guān)性的線性映射。這個指數(shù)很容易解釋，因為它估計的概率是隨機選擇的一對患者，預(yù)測存活率較高的那一個是存活時間較長的那一個。在測量二元結(jié)果(如疾病的存在)模型的區(qū)分度時，c 減少到成對患者的比例，一個患有疾病，一個沒有疾病，使得患有疾病的患者具有更高的預(yù)測疾病概率。在這種情況下，c 是“ ROC曲線”曲線下的面積。

逐步變量選擇策略

（STEPWISE VARIABLE SELECTION STRATEGY）

我們使用 Breslow 的 Cox7比例風(fēng)險模型的6個公式，用一組給定的變量來預(yù)測直到死亡的時間。為了選擇“顯著”變量，我們采用了一種策略，使用 Rao 的有效得分統(tǒng)計提出的 Bartolucci 和 Fraser’適用于哈雷爾的 Cox 模型。簡而言之，我們從表一中列出的30個變量中選擇變量，直到?jīng)]有其他候選變量在0.05水平保持顯著性。

表 II顯示了這種標(biāo)準(zhǔn)的逐步方法對模型的區(qū)分。為了計算，我們使用 Kalbfleisch 和 Prentice 的方法，用 Cox 模型估算了每個病人存活兩年的概率。由單個訓(xùn)練樣本的 c 指數(shù)測量的模型的表觀質(zhì)量隨著訓(xùn)練樣本的減少而改善。然而，正如在測試樣本中評估的那樣，模型的真實能力隨著訓(xùn)練樣本的減少而惡化。表面區(qū)分度和真實區(qū)分度之間的差別惡化得更快。

逐步變量選擇的一個固有問題是，選擇的變量，特別是在后面的步驟，可能代表噪聲和導(dǎo)致預(yù)測能力實際上惡化，在一個新的樣本。僅使用顯著性級別輸入變量的策略忽略了實際進(jìn)行的多重比較的數(shù)量?？紤]每個步驟所做的事實測試數(shù)量的一種方法是計算每個步驟中所有候選變量的“殘差卡方”這個統(tǒng)計的自由度等于候選人的數(shù)目。

一個合理的停止規(guī)則是添加變量，直到殘差卡方在0.05的水平不顯著。另一個停止規(guī)則是基于 Akaike 的信息標(biāo)準(zhǔn)(aIC) ，在正常情況下相當(dāng)于馬洛的線性回歸?！盇IC 如下: 假設(shè)有一個具有 p 參數(shù)的模型，并考慮使用一個更復(fù)雜的具有 p + q 參數(shù)的模型。對于更復(fù)雜的模型，如果它增加了 q 的對數(shù)似然，即如果它增加了2q 的模型的整體對數(shù)似然卡方。這相當(dāng)于在候選者的剩余卡方超過其自由度兩倍的情況下向模型中添加 q 變量。如果殘差卡方確實超過2q，可以更安全地將最重要的 q 變量添加到模型中。

對于有55人死亡的原始訓(xùn)練樣本的四分之一，表 I11顯示了每個變量加起來的剩余卡方。根據(jù)測試樣本中的 c 指數(shù)，一個變量不需要超過5個。基于殘差卡方顯著性的停止規(guī)則選取6個變量。在其他例子中，測試樣本中的預(yù)測在添加了超過這些停止規(guī)則所規(guī)定的點的變量之后會惡化。逐步變量選擇策略的結(jié)果很難解釋。用于開發(fā)模型的樣本變化較小，選擇的變量集合，有時制定等效模型，似乎向臨床研究人員傳達(dá)不同的信息。作為演示，表四顯示了為以前使用的訓(xùn)練集的隨機季度以及替換產(chǎn)生的訓(xùn)練集的另外兩個隨機季度選擇的變量，按照統(tǒng)計顯著性的順序。選擇的因素有很大的差異，即使在選擇最高的一個或兩個因素。事實上，盡管選擇的因素主要反映了心肌損傷、血管疾病和疼痛的嚴(yán)重程度，但是這三個模型只有兩個共同的變量。所選因素的這種變化可能是由于樣本之間的偶然波動或自變量分布的變化造成的。例如，如果一個樣本的年齡分布很窄或者心電圖異常的發(fā)生率很低，那么將這些變量作為重要的預(yù)后因素的可能性就會降低。

不完全主成分（INCOMPLETE PRINCIPAL COMPONENTS，IPC） COX 回歸

前面的例子表明，當(dāng)必須考慮許多相對于未刪失觀測數(shù)的協(xié)變量時，通常的逐步變量選擇策略不會產(chǎn)生可重復(fù)的模型。要包含哪些協(xié)變量的識別比 p 值使其顯示更具任意性。

馬夸特和斯尼”指出，“最好是使用一點點的所有變量比所有的一些變量和沒有其余的變量’。如果估計所有協(xié)變量的參數(shù)，則必須對參數(shù)估計施加限制，以控制其均方誤差。嶺回歸是解決這個問題的一種方法，但它具有隨意性(必須選擇一個收縮常數(shù)) ，而且難以應(yīng)用于普通線性回歸以外的問題。

不完全主成分回歸是另一種限制參數(shù)的方法。它是通過減少要估計的參數(shù)的有效數(shù)量來實現(xiàn)的。我們可以將 IPC 回歸 I2應(yīng)用于任何在協(xié)變量中是線性的回歸模型。由一組變量 x，，x，，. . ，x 得出的第一個主要 c ~ 分量’(pc) ，是受標(biāo)準(zhǔn)化約束的線性組合，在患者之間具有最大方差的 x。第二個 pc 是 x 的線性組合，在所有與第一個 pc 無關(guān)的線性組合中，x 的方差最大。一般來說，第 i-1 pc 是所有與第 i-1 pc 無關(guān)的線性組合中方差最大的 x 的線性組合。如果 X 之間沒有線性約束，那么所有的 X 都是 p PC。對于許多問題，我們可以總結(jié)一個很大的比例的 X 變異在患者之間使用少于 pcs。換句話說，我們可以將從 p 患者特征得到的統(tǒng)計信息減少到 q (< p)不相關(guān)成分。人們不會單獨分析冗余的測量或測量，因為這些測量在不同的病人之間沒有太大的差異; 由此產(chǎn)生的數(shù)據(jù)會減少。

執(zhí)行 IPC 回歸如下。對于一組 p 協(xié)變量，首先計算協(xié)變量的 p 主成分，按照解釋的變化量的順序。以 PC 的一個子集為例，解釋患者之間協(xié)變量的大部分變化。接下來在變量選擇程序中使用 q pcs 作為候選變量，并強制回歸程序按順序選擇 pcs，直到在給定步驟中不在模型中的 r pcs 在005水平上使用具有 r 自由度的殘差卡方統(tǒng)計量聯(lián)合不顯著。根據(jù)解釋的方差順序，引入選擇序，在模型中引入了穩(wěn)定性，降低了噪聲。使用殘差卡方作為一個停止規(guī)則允許一個人選擇一個適當(dāng)?shù)募蟻砻枋鲰憫?yīng)，同時避免了問題，如果第二個個人電腦不重要，而第三個是重要的，一個人可能會選擇前三個個人電腦。如果候選個人電腦的數(shù)量很少(比如說 < 5) ，可以選擇不強制組件的選擇順序。

然而在其他情況下，通過強迫順序來降低有效自由度會增加模型的穩(wěn)定性。在大多數(shù)數(shù)據(jù)集中，我們發(fā)現(xiàn)第一個 pc 是迄今為止預(yù)測存活時間最重要的因素。

在本例中，p = 30，我們選擇 q = 10，即使使用特征值來檢查解釋的變化量將導(dǎo)致我們選擇少于10個組分。此外，我們只使用訓(xùn)練樣本數(shù)據(jù)計算 PC，以避免在評估 IPC 模型的性能時出現(xiàn)偏差。然而，一般來說，在計算機中包含測試數(shù)據(jù)不會導(dǎo)致嚴(yán)重的過度樂觀，因為計算機的計算不使用結(jié)果信息。我們發(fā)現(xiàn)，當(dāng)測試數(shù)據(jù)也用于計算個人電腦時，為預(yù)測測試樣本而計算的 c 指數(shù)比平均值大001。不同大小的訓(xùn)練樣本的 IPC 模型的結(jié)果也出現(xiàn)在表II中。

IPC 方法有兩個缺點。首先，每個變量都需要一個回歸系數(shù); 從不排除變量。其次，模型很難解釋，特別是在第一代計算機之后。人們可以通過檢查個人計算機和所有原始變量之間的相關(guān)性來獲得洞察力。然而，我們無法清楚地描述預(yù)后因素，以便研究人員或患者透徹了解。

變量聚類和導(dǎo)出指數(shù)

（VARIABLE CLUSTERING AND DERIVING INDICES）

雖然 IPC 模型預(yù)測得很好，但研究人員在解釋這些模型時存在困難。此外，人們往往希望通過省略一組不能提供獨立預(yù)后信息的變量來簡化模型。

如果我們能夠?qū)@30個變量進(jìn)行分組并推導(dǎo)出簡單的指數(shù)，那么這些指數(shù)將為冠狀動脈疾病患者的許多預(yù)測問題提供一種簡潔的方法。

我們使用類似于 D’Agostino 和 Pozen 的方法的“變量聚類”技術(shù)，根據(jù)變量之間的相互關(guān)系將變量分組。變量聚類創(chuàng)建組，因此在一個組內(nèi)，第一個 pc 解釋該組中的大部分變化，第二個 pc 解釋最小量的變化，組內(nèi)變量高度相關(guān)，組間的第一個 pc 盡可能不相關(guān)。當(dāng)某個變量與其他任何變量沒有高度關(guān)聯(lián)時，人們會將該變量單獨放在一個組中。

組內(nèi)變量通常代表相同的臨床現(xiàn)象?？勺兎诸愃惴óa(chǎn)生了以下分類:

(1) CHF, CMG, PVC, IVCD, S3 (2) ProgPain, PainFreq, PainSev, NoctPain (3) HxCVD, HxPVD, Cbruit, Pbruit (4) HxMI, Qwave, STlW (5) Age, CadDur (6) HxCH, Prinz, Preinfar (7) LAD, RBBB (8) TypeAng, Sex, Smoke (9) DM, FHx, HxHT (10) LBBB

雖然這個分組將導(dǎo)致更多的可解釋的模型，我們認(rèn)為我們可以形成更多，我們形成了一個臨床指數(shù)的每一組，我們現(xiàn)在將討論?？梢酝ㄟ^計算每個組的第一臺 pc 為每個組建立一個索引。然而，個人電腦有時不能臨床上解釋。此外，第一代個人電腦將對低流行特征賦予較大權(quán)重，因為個人電腦的權(quán)重與其標(biāo)準(zhǔn)差成反比。我們選擇的策略是根據(jù)臨床直覺為每個變量分配權(quán)重，當(dāng)有統(tǒng)計學(xué)證據(jù)表明權(quán)重不足時進(jìn)行小的修改。通常情況下，組內(nèi)的異常被給予相同的權(quán)重。

我們使用了一個建議的指數(shù)，通過加權(quán)變量的總和計算，來模擬直到死亡的時間。然后，我們測試構(gòu)成索引的各個變量，看它們是否提供了索引中沒有的獨立信息，也就是說，看索引中使用的變量的內(nèi)部權(quán)重是否足夠。我們發(fā)現(xiàn)心臟病專家提出的權(quán)重只有三個例外: (1) Preinfar，最初分配1點的權(quán)重，統(tǒng)計學(xué)上發(fā)現(xiàn)需要更大的權(quán)重，(2) PainFreq，每天每次疼痛分配1點的權(quán)重，發(fā)現(xiàn)每次發(fā)作需要半點的權(quán)重，和(3) RBBB，被認(rèn)為需要 LBBB 的一半重量，被發(fā)現(xiàn)需要 LBBB 的四分之一的重量。在這一點上，我們從分析中省略了 PainSev，因為我們認(rèn)為它的測量誤差太大。年齡、性別、 CadDur、 TypeAng 和 Prinz 仍然是個體因素。我們分離 TypeAng 是因為在研究其他終點(如冠狀動脈狹窄的嚴(yán)重程度)時，它應(yīng)該比其他疼痛描述符承受更多的重量。我們將 Prinz 與其他疼痛描述符區(qū)分開來，因為它有時是通過麥角新堿(ergonovine)心臟導(dǎo)管插入術(shù)測試確定的。最后的分組和權(quán)重是:

我們已經(jīng)把原來的30個變量減少到10個實體。

在前面討論的變量選擇方法中，我們使用指數(shù)和分離變量作為10個候選變量。預(yù)測性區(qū)分見表II。使用指數(shù)的模型與 IPC 模型相比有較好的優(yōu)勢，并優(yōu)于三個較小的訓(xùn)練樣本選擇個體變量的模型。對于最小的訓(xùn)練樣本，性能會出現(xiàn)一些下降，在這樣小的樣本規(guī)模下，10個因素似乎太多，無法用于變量選擇。

心肌損害指數(shù)在每個病例中都是最重要的因素。疼痛指數(shù)也很重要。我們可以很容易地解釋開發(fā)的每個模型。例如“心肌損傷越嚴(yán)重，胸痛越嚴(yán)重，周邊動脈阻塞性疾病越嚴(yán)重，病人年齡越大，預(yù)后越差”。當(dāng)一個人沒有時間為每個變量組開發(fā)臨床指標(biāo)時，人們會期望使用每個組的第一個 pc 的模型表現(xiàn)良好。當(dāng)集合中沒有連續(xù)的預(yù)測變量時，可以使用 Dagostino 和 Pozen 提出的評分方法。對于這種方法，我們假設(shè)一個組中的每個變量都是二進(jìn)制的，該組的得分僅僅是積極特征的數(shù)量(例如，對于一組癥狀，得分是出現(xiàn)的癥狀的數(shù)量)。

結(jié)論

我們可以使用一個簡單的區(qū)分度指數(shù)來研究一系列生存模型的總體表現(xiàn)。我們使用這個 c 指數(shù)來測量三種不同策略在單個測試樣本中的預(yù)測區(qū)分度。標(biāo)準(zhǔn)逐步變量選擇的驗證性較差，特別是小到中等規(guī)模的訓(xùn)練樣本。這種策略還缺乏對模型的簡單解釋，缺乏所謂的“重要”預(yù)后因素的獨特性。

不完全主成分 Cox 回歸模型驗證非常好，因為測試和估計較少的回歸系數(shù)。然而，這樣的模型很難解釋。

變量聚類技術(shù)為變量分組提供了一個有用的起點。通過推導(dǎo)臨床指標(biāo)(不直接使用結(jié)果數(shù)據(jù)) ，可以制定回歸模型，這些模型可以立即解釋，簡潔，并且不需要犧牲通過 IPC 方法實現(xiàn)的大量預(yù)測性區(qū)分，除非訓(xùn)練樣本量非常小。我們推薦使用變量聚類方法來解決潛在預(yù)測變量數(shù)量較大時的臨床預(yù)測問題。

當(dāng)然，一個人在任何時候在分析中注入的臨床洞察力越多，最終的結(jié)果就越好。我們發(fā)現(xiàn)臨床指標(biāo)統(tǒng)一了許多不同的分析。在選定的患者子集或不同終點的新問題中，有效樣本量太小而不能形成“從頭開始”的模型，我們可以依靠指數(shù)來產(chǎn)生穩(wěn)定的預(yù)后模型。

參考

Harrell FE Jr, Lee KL, Califf RM, Pryor DB, Rosati RA. Regression modelling strategies for improved prognostic prediction. Stat Med. 1984 Apr-Jun;3(2):143-52. doi: 10.1002/sim.4780030207IF: 2.497?Q1?. PMID: 6463451.

拓展：

C-index，英文名全稱concordance index，中文里有人翻譯成一致性指數(shù)，最早是由范德堡大學(xué)（Vanderbilt University）生物統(tǒng)計教教授Frank E Harrell Jr 1996年提出，主要用于計算生存分析中的COX模型預(yù)測值與真實之間的區(qū)分度，常用在評價患者預(yù)后模型的預(yù)測精度中。

C-index的計算方法是把所研究的資料中的所有研究對象隨機地兩兩組成對子，以生存分析為例，兩個病人如果生存時間較長的一位其預(yù)測生存時間長于另一位，或預(yù)測的生存概率高的一位的生存時間長于另一位，則稱之為預(yù)測結(jié)果與實際結(jié)果相符，稱之為一致。

C-index在0.5-1之間（任意配對隨機情況下一致與不一致剛好是0.5的概率）。0.5為完全不一致,說明該模型沒有預(yù)測作用，1為完全一致，說明該模型預(yù)測結(jié)果與實際完全一致。一般情況下C-index在0.50-0.70為準(zhǔn)確度較低：在0.71-0.90之間為準(zhǔn)確度中等；而高于0.90則為高準(zhǔn)確度。

C-index是一個可以用于判斷各種模型區(qū)分能力的指標(biāo)，針對二分類logistic回歸模型，C-index可簡化為：某疾病病人的預(yù)測患病概率大于對照的預(yù)測患病概率的可能性。經(jīng)過證明，針對二分類模型的C-index等價于ROC曲線下面積（AUC）。AUC主要反映二分類logistic回歸模型的預(yù)測能力，但C-index可以評價各種模型預(yù)測結(jié)果的準(zhǔn)確性，可以簡單這樣理解：C-index是AUC的擴展，AUC是C-index的一種特殊情況。