SPSSAU-在線SPSS分析軟件

組內(nèi)評分者信度rwg

在社會科學(xué)或醫(yī)學(xué)相關(guān)研究中，會出現(xiàn)多層次（多水平）層面的跨層數(shù)據(jù)，比如研究個體是學(xué)生，但是學(xué)生隸屬于學(xué)校。也或者：比如針對公司‘團(tuán)建’，對于團(tuán)隊(duì)的合作水平進(jìn)行打分，有10個裁判（打分者），就有10列，然后有5個團(tuán)隊(duì)（比如財(cái)務(wù)部、人力部、生產(chǎn)部、研發(fā)部和辦公室），即group有12345，有的團(tuán)隊(duì)10人有的8人有的9人有的11有的12，總行數(shù)=10+8+9+11+12=50行（全部一起50個成員）。數(shù)據(jù)結(jié)構(gòu)類似如下：

SPSSAU提供的rwg分析方法，共提供三個指標(biāo)分別是rwg值，ICC1值和ICC2值，3個指標(biāo)的意義分別說明如下：

RWG值：研究團(tuán)隊(duì)成員合作水平一致性情況如何；

ICC1：研究單獨(dú)每個裁判（打分者）的一致性情況；

ICC2：研究5個裁判(打分者)平均一致性的信度情況。

組內(nèi)評分者信度rwg案例

1 背景

當(dāng)前有一項(xiàng)關(guān)于員工團(tuán)隊(duì)合作能力的打分?jǐn)?shù)據(jù)，共有10個員工，并且10個員工分成2個組別。關(guān)于團(tuán)隊(duì)合作能力的評分，其使用6個測量項(xiàng)進(jìn)行測量（并且使用5級量表打分制）。因而共有10個員工則為10行數(shù)據(jù)，并且單獨(dú)使用group來標(biāo)識組別（1組和2組），6個測量項(xiàng)共計(jì)6列。單獨(dú)還有一列為subject即員工的編號此列數(shù)據(jù)在分析時不需要使用無分析意義。最終數(shù)據(jù)格式如下：

2 理論

針對組內(nèi)評分者信度rwg值，本案例中其用于研究整體10個成員的得分一致性情況：ICC1值研究每個測量項(xiàng)的得分一致性情況，ICC2值研究6個測量項(xiàng)得分上的一致性情況。事實(shí)上rwg值、ICC1值和ICC2值的意義均在于評價一致性情況。但通俗理解來看（從站在角度上），rwg值可理解為研究‘行’數(shù)據(jù)的一致性，ICC1或ICC2值研究‘列’數(shù)據(jù)的一致性情況。關(guān)于rwg值、ICC1值或ICC2值的計(jì)算公式說明如下：

進(jìn)一步地：

關(guān)于ICC1和ICC2的計(jì)算公式分別如下，其中MSB表示組間均方，MSW表示組內(nèi)均方。

除此之外，關(guān)于上述3個指標(biāo)rwg、ICC1和ICC2，它們的常用標(biāo)準(zhǔn)說明如下：

3 操作

本例子中subject即被打分者共分為2組，由group進(jìn)行標(biāo)識，并且打分共由6個測量項(xiàng)表示，測量單位為五級量表，因而操作截圖如下：

特別提示：

• Group為可選項(xiàng)，如果沒有g(shù)roup則意味著非跨層數(shù)據(jù)，那么此時則不會輸出組內(nèi)相關(guān)系數(shù)ICC1或ICC2值。

4 SPSSAU輸出結(jié)果

SPSSAU共輸出3個表格分別說明如下：

5文字分析

本次案例結(jié)果解讀如下：

上表格輸出組內(nèi)評分者信度rwg值為0.757，通常情況下rwg值大于0.7則意味著一致性水平可以接受，即說明本案例中整體上團(tuán)隊(duì)合作得分在6個測量項(xiàng)上具有一致性。接下來可以查看具體每個組別時的組內(nèi)評分者信度數(shù)據(jù)。

從上表格可以看到：第1組員工，他們的組內(nèi)評分者信度rwg值為0.907，意味著組內(nèi)評分一致性很高即第1組員工的得分有著較高的一致性，第2組員工的組內(nèi)評分者信度值為0.735>0.7，也說明其具有良好的一致性水平即第2組員工的得分有著較高的一致性。

從上表格可以看到：ICC1測量單一評分者信度，ICC1值為0.581>0.5，并且ICC2值用于測量6個評分項(xiàng)的一致性情況，該值為0.874>0.7，整體說明評分測量具有良好的一致性水平。另外上表格中F值和p值為中間計(jì)算ICC值時涉及的過程數(shù)據(jù)，不用過多關(guān)注。

6 剖析

涉及以下幾個關(guān)鍵點(diǎn)，分別如下：

• Group為可選項(xiàng)，如果沒有g(shù)roup則意味著非跨層數(shù)據(jù)，那么此時則不會輸出組內(nèi)相關(guān)系數(shù)ICC1或ICC2值。

• Rwg常見標(biāo)準(zhǔn)是大于0.5即可，ICC1和ICC2的標(biāo)準(zhǔn)在不同文獻(xiàn)中差異可能較大，具體建議以研究者為準(zhǔn)。

7 疑難解惑

ICC1值為什么小于ICC2值？

通常情況下，由于ICC2進(jìn)行過平均因此誤差通常比個體評分的誤差小，因此通常情況下ICC1 < ICC2。

SPSSAU提供的ICC1/ICC2值與其它文獻(xiàn)不完全相同？

不同的文獻(xiàn)對ICC1,ICC2的計(jì)算上可能不一致，SPSSAU平臺使用參考文獻(xiàn)如下：

(1) Bliese, P. D. (2000). Within group agreement, non-independence and reliability: Implications for data and analysis. In K. J. Klein & S. W. J. Kozlowski (Eds.), Multilevel theory, research and methods in organizations: Foundations, extensions, and new directions (pp. 349-381). San Francisco: Jossey-Bass.

(2) James, D. L., Demaree, R. G., & Wolf, G. (1984). Estimating within-group interrater reliability with and without response bias. Journal of Applied Psychology, 69, 85-98.

(3) LeBreton, J. M., & Senter, J. L. (2008). Answers to 20 questions about interrater reliability and interrater agreement. Organizational Research Methods, 11, 815-852.

SPSSAU提供的rwg方法時ICC值與醫(yī)學(xué)研究中ICC組內(nèi)相關(guān)系數(shù)區(qū)別？

此處ICC與SPSSAU醫(yī)學(xué)研究模塊的組內(nèi)相關(guān)系數(shù)ICC有密切的相關(guān)（下述簡稱‘醫(yī)學(xué)ICC’），此處計(jì)算上完全對應(yīng)著‘醫(yī)學(xué)ICC’的‘單向隨機(jī)’，此處是測量平均值是否完全相等，因而原理上是使用‘單向隨機(jī)’的原理。但有以下不同：

• 數(shù)據(jù)格式不同：此處時可針對‘多個打分者’，‘多組被試’進(jìn)行分析，而‘醫(yī)學(xué)ICC’只針對‘多個打分者’和‘1組被試’；

• 跨層情況不同：此處時可針對‘多個打分者’，‘多組被試’進(jìn)行分析，屬于跨層數(shù)據(jù)，而‘醫(yī)學(xué)ICC’并非跨層數(shù)據(jù)；

• 應(yīng)用情況不同：此處時用于跨層數(shù)據(jù)一致性分析（比如多個打分者、多組被試且每組多個被試）；‘醫(yī)學(xué)ICC’可用于多個評價者（比如不同醫(yī)生，不同儀器，或者不同時間點(diǎn)）對1組被試（該組有多個被試）進(jìn)行打分，并分析評價者的一致性情況；

• 二者數(shù)據(jù)格式在某些特定條件下可以互換使用；共2種情況，第1種情況是：只有‘1個打分者且多組被試且每組內(nèi)的被試樣本一樣’則數(shù)據(jù)進(jìn)行處理(1行為1個組別，1列為1個被試)；第2種情況是：‘多個打分者且多組被試且每組內(nèi)的被試樣本一樣’，那么先將‘多個打分者’數(shù)據(jù)平均得到單獨(dú)的新列，然后再將據(jù)處理即可(與第1種情況處理一致)。

• 總結(jié)：此處ICC用于跨層數(shù)據(jù)一致性，‘醫(yī)學(xué)ICC’用于非跨層數(shù)據(jù)一致性分析，如果是跨層數(shù)據(jù)且滿足特定條件時，可進(jìn)行轉(zhuǎn)換數(shù)據(jù)格式，然后使用‘醫(yī)學(xué)ICC’分析，最后可得到相同的結(jié)果，二者原理一致，應(yīng)用上有較大區(qū)別。

• 建議：跨層數(shù)據(jù)研究時使用此處ICC及Rwg值計(jì)算；如果是用于多個評價者（比如不同醫(yī)生，不同儀器，或者不同時間點(diǎn)）的打分一致性，則使用‘醫(yī)學(xué)ICC’即可。