在日常工作中，我們常常收到來自JMP用戶朋友的各種提問，比如：

在壽命分布散點圖中，上半部分的黑點是什么？
當我研究產(chǎn)品可用壽命時，研究結束前產(chǎn)品沒出現(xiàn)失效，該怎么分析？
研究期間記錄數(shù)據(jù)，是否需要確定失效和未出現(xiàn)失效數(shù)量的比重？
……

其實這些問題都與刪失數(shù)據(jù)相關。我們在做生存分析時，由于各種原因，用于分析的數(shù)據(jù)很可能在某種程度上被截斷（比如研究時長、量具量程限制等等），導致實驗對象的狀態(tài)丟失，從而使我們無法獲得所觀測事件的精確發(fā)生時間，就產(chǎn)生了刪失。

那么，什么是刪失？它會在哪些情況下出現(xiàn)？發(fā)生了刪失，該怎樣應對？如果不小心了忽略了刪失數(shù)據(jù)，會發(fā)生什么？針對以上大家關心的種種問題，我們就來一次性講講刪失數(shù)據(jù)分析。

本文將會圍繞以下5個問題來介紹刪失，以及當出現(xiàn)刪失時如何使用JMP應對刪失數(shù)據(jù)。

• 什么是刪失？

• 刪失數(shù)據(jù)什么情況下會出現(xiàn)？

• 怎么“告訴”JMP數(shù)據(jù)的刪失信息？

• 如果用戶忽略刪失數(shù)據(jù)會發(fā)生什么？

• 檢測限制和廣義回歸模型中的左刪失數(shù)據(jù)
  

01什么是刪失？

在觀察或實驗中，由于某種原因未能觀察到失效事件發(fā)生的情況下，所獲得的數(shù)據(jù)（比如我們不可能無限期的觀測下去，但產(chǎn)品始終未失效）稱為刪失數(shù)據(jù)。

刪失數(shù)據(jù)通常分為：

• 右刪失(right censored)：在預先指定的時間T，測試停止，確切壽命未知，但至少大于T；

• 左刪失(left censored)：在預先指定的時間T，測試停止，確切壽命未知，但至少小于T；

• 區(qū)間刪失(interval censored)：含上下邊界的失效單元數(shù)據(jù)。

刪失數(shù)據(jù)是可靠性分析特有的數(shù)據(jù)類型，并且其包含價值信息不可被忽略，否則將導致可靠性估計偏倚。刪失數(shù)據(jù)在可靠性數(shù)據(jù)分析中非常常見，有很多種可能發(fā)生的刪失情況，且這些情況有可能會同時存在：

01?時間刪失（Type I）：最常見，研究過程在所有失效數(shù)據(jù)出現(xiàn)前就已經(jīng)結束了；

02?失效數(shù)量刪失（Type 2）：研究在獲取到一定數(shù)量的失效數(shù)據(jù)后就停止了；

03?區(qū)間刪失：已知個體在當前時間點未失效，但在未來某時間點前會發(fā)生失效。問題是我們不確定該個體在這個時間范圍內(nèi)哪一個具體時間點失效，但至少我們可以用這個區(qū)間限制失效發(fā)生的范圍；

04?隨機右側刪失：某些產(chǎn)品失效是由多種原因造成發(fā)生在競爭成本，我們關心某類特定的失效原因，但我們無法測量得到這種特定類型的失效發(fā)生情況，因為受到其他事件影響；

05?系統(tǒng)性多重刪失：某些失效次數(shù)超過運行次數(shù)，交錯入場的數(shù)據(jù)錄入；

06?左刪失：知道截至某時間點，刪失已經(jīng)發(fā)生了，但不知道真實的刪失具體發(fā)生在這個時間點前的何時。

02 JMP中的刪失類別

右刪失應該是最常出現(xiàn)的一種刪失類型，代表在研究結束前，我們關注的失效事件沒有足夠的時間全部發(fā)生。

常見的右刪失如：

• 可靠性測驗：一個產(chǎn)品（比如燈泡）可以持續(xù)運行多長時間；

• 生存模型：零件在研究結束前一直運作，沒有失效。
  ?

在JMP中我們有兩種表達右刪失的數(shù)據(jù)形式：

• 方式1：研究單元的存活時間為一列（圖中的“時間周期”），刪失狀態(tài)為一列，可以通過JMP壽命分布UI界面的“刪失代碼”功能選擇代表刪失的標簽；

方式2：明確開始、結束時間和對應計數(shù)，JMP將據(jù)此判斷刪失。

左刪失：關注的事件在研究和觀察之前就已經(jīng)開始了。

常見的情況有：首次進行檢測時，失效就已經(jīng)發(fā)生：

• 即正式觀測開始前，單元就已經(jīng)發(fā)生失效；

• 檢測限制（LOD: Limit of Detection），后面的案列分享中會提到。

區(qū)間刪失：區(qū)間刪失是失效發(fā)生于兩次觀測之間，例如非連續(xù)型觀測的周期性檢查。在JMP中需要運用兩列格式來定義區(qū)間刪失（見圖2的使用兩列定義刪失）。

?

其他

• 壽命分布-不同失效原因對應不同的刪失情況

• 可靠性預測平臺中的內(nèi)華達形式數(shù)據(jù)

• 破壞性退化：針對非基于時間的響應

• 可靠性增長和復發(fā)分析中的Type II刪失（失效數(shù)據(jù)刪失）

03 JMP中的混合刪失

實際研究中，除了上述各種刪失出現(xiàn)，還有可能多種刪失類型同時出現(xiàn)，形成混合刪失情況。

如下圖，JMP中用兩列數(shù)據(jù)來表示。通過JMP菜單“分析”->“可靠性和生存”-> “壽命分布”-> “事件圖”可以將刪失具體情況展示出來：黑色點為失效單元，箭頭指示刪失（右刪失箭頭朝右，左刪失箭頭朝左，區(qū)間刪失表現(xiàn)為兩個箭頭）。

?

04 簡單統(tǒng)計背景知識補充：CDFs、PDFs、最大似然估計MLE

在介紹案例前，這里不得不穿插一些統(tǒng)計背景知識（如果對概率論和最大似然估計比較熟悉的朋友可以跳過這部分，可直接參考下一期的案例講解）。

為了估計出后續(xù)擬合所得分布中的關鍵參數(shù)，我們會用到最大似然估計法。要解釋最大似然估計，我們先從基礎的CDF和PDF談起：

1?累計分布函數(shù)(CDF：Cumulative Distribution Function)：一個隨機變量（對應到我們的場景，其實就是可靠性數(shù)據(jù)中的事件時間）小于或等于某個值的概率：

2 對于連續(xù)型分布，概率密度函數(shù)f(x)?(PDF: Probability Density Function)是CDF的導數(shù)，即CDF是PDF的積分：

考慮到CDF和PDF的特性，另一種更直觀的理解方式是：CDF是PDF曲線下的面積，PDF曲線下全面積之和為1.

例如，下圖是一個對數(shù)正態(tài)分布的PDF，其特征也非常明顯：當X>0時，概率Y才是正數(shù)，即：

陰影面積：

?3?可能性/似然(Likelihood)：數(shù)據(jù)中所有觀測事件發(fā)生情況都考慮在內(nèi)時，其實就是計算他們的PDF乘積，即數(shù)據(jù)的聯(lián)合分布(joint distribution)。

我們把這個聯(lián)合分布的概率稱為似然函數(shù)，它展示了當給定參數(shù)值為θ時，我們所關注的事件都發(fā)生的概率：

而MLE其實就是在給定觀察數(shù)據(jù)的前提下，找到能使所有數(shù)據(jù)產(chǎn)生的輸出值概率積（即上述的似然）最大化的參數(shù)：

• 使可能性最大的參數(shù)叫做最大似然(MLE: Maximum Likelihood Estimator)

• 因為他們使數(shù)據(jù)的聯(lián)合分布概率最大化，所以他們其實最可能發(fā)生

MLEs寫為：

這里μ是位置參數(shù)，σ是尺度參數(shù)。這時，刪失數(shù)據(jù)情況下的MLEs就可以寫為：

最大似然函數(shù)轉為求區(qū)間刪失上下限（u: upper, l: lower）范圍內(nèi)的CDF。

左/右刪失數(shù)據(jù)其實是區(qū)間刪失的特殊情況，即：

• 左刪失：tl=0，即F(tl)=Pr?(T≤0)=0，即:

• 右刪失：tu=∞，即F(tu)=Pr?(t≤∞)=F(∞)=1

有上述公式鋪墊，我們就可以通過CDF和曲線下面積的形式表示刪失數(shù)據(jù)，例如：

• 紅色區(qū)域左刪失：?F(5)

• 藍色區(qū)域區(qū)間刪失：F(15)-F(10)

• 綠色區(qū)域右刪失：1-F(25)

• 似然Likelihood：F(5)×(F(15)-F(10))×(1-F(25))

今天先為大家介紹了刪失數(shù)據(jù)的基礎，包括常見的刪失數(shù)據(jù)類型，JMP中如何識別刪失數(shù)據(jù)，以及對刪失數(shù)據(jù)原理的簡單介紹。希望可以為可靠性與生存分析相關研究領域的朋友們提供參考。我們將在下一期通過兩個案例繼續(xù)為大家介紹當刪失發(fā)生后該如何應對。敬請期待！

想要在JMP中跟著案例實戰(zhàn)操作的話，歡迎下載最新版的 JMP 17 免費試用。（復制鏈接到PC端瀏覽器免費下載）

https://www.jmp.com/zh_cn/download-jmp-free-trial.html?utm_campaign=td7013Z000002DxWTQA0&utm_source=wechat&utm_medium=social