「SPSSAU|數(shù)據(jù)分析」:調(diào)查問卷信度低的處理方法
在進(jìn)行問卷研究時(shí),特別是問卷中有非常多的量表題時(shí),數(shù)據(jù)質(zhì)量是基礎(chǔ)保障,問卷研究中排在最前面的即為數(shù)據(jù)質(zhì)量分析,通常包括信度和效度分析。本身進(jìn)行信度或者效度分析并非難事,但最難的事情在于如果信度或者效度不達(dá)標(biāo)應(yīng)該如何處理。
接下來慢慢闡述信度分析(下一篇文章闡述效度分析),以及信度分析時(shí)的處理方法,如何解決出現(xiàn)的問題等。
信度分析,即研究樣本數(shù)據(jù)是否真實(shí)可靠,通俗來講即研究樣本是否真實(shí)回答各個(gè)題項(xiàng)。如果樣本沒有真實(shí)回答,信度肯定不達(dá)標(biāo),而有時(shí)即使樣本真實(shí)回答,信度也不一定達(dá)標(biāo)。信度分析可以分為四類,分別是:α信度系數(shù)、折半信度、復(fù)本信度和重測信度。
(1) α信度系數(shù),即內(nèi)部一致性系數(shù)。此類信度分析最為常見,基本上所有問卷信度分析均會(huì)使用此類分析。通過軟件計(jì)算出α信度系數(shù)值,并且用其進(jìn)行信度水平判斷。進(jìn)行此分析前,首先需要對反向題進(jìn)行反向操作,并且α信度系數(shù)的測量通常以最小的維度為準(zhǔn),而非大維度。
一般來講:α系數(shù)最好在0.8以上,0.7~0.8之間屬于可以接受范圍,而分量表的α信度系數(shù)希望在0.7以上, 0.6~0.7之間可以接受。如果α信度系數(shù)低于0.6則考慮修改量表。從α信度系數(shù)計(jì)算公式來看,維度對應(yīng)的題項(xiàng)越多,以及樣本量越多時(shí),此值會(huì)越大。從筆者經(jīng)驗(yàn)來看,如果某個(gè)維度僅由三個(gè)或者兩個(gè)題項(xiàng)組成,并且樣本量在200以下時(shí),那么α信度系數(shù)通常會(huì)較小(低于0.6)。1個(gè)題項(xiàng)表達(dá)的維度無法進(jìn)行α信度系數(shù)計(jì)算。
α信度系數(shù)是問卷信度分析中最為常見的分析方法,絕大多數(shù)時(shí)候使用α信度系數(shù)進(jìn)行信度測量即可,筆者建議使用α信度系數(shù)進(jìn)行問卷信度測量,問卷前測也類似,但問卷前測時(shí)會(huì)結(jié)合CITC和刪除某項(xiàng)后的信度系數(shù)值進(jìn)行判斷是否修正或者刪除題項(xiàng),通常來講,CITC值低于0.4,或者刪除某項(xiàng)后的信度系數(shù)值反而上升0.1左右時(shí)應(yīng)該考慮對題項(xiàng)進(jìn)行修正或者刪除處理。
- 特別提示:α信度系數(shù)(內(nèi)部一致性系數(shù))是最為常見的信度測量方法。
(2)
折半信度。折半信度是將維度對應(yīng)的題項(xiàng)按照單雙號分成兩組,通過計(jì)算兩組題項(xiàng)間的相關(guān)系數(shù),進(jìn)而再通過公式計(jì)算得到折半信度系數(shù)值,并且進(jìn)行衡量信度質(zhì)量。心理學(xué)、教育學(xué)類經(jīng)典量表常使用此類方法進(jìn)行信度質(zhì)量衡量。判斷標(biāo)準(zhǔn)可參考α信度系數(shù)的衡量標(biāo)準(zhǔn)。此類分析方法較為少見。
(3) 復(fù)本信度。復(fù)本信度是同樣一組樣本,一次性回答兩份問卷,比如同樣一組學(xué)生連續(xù)做兩份同樣難度水平的試卷。然后通過計(jì)算兩份樣本相關(guān)系數(shù),從而進(jìn)行信度質(zhì)量衡量,由于實(shí)際操作過程中有諸多客觀條件限制,此類分析方法較為少見。
(4) 重測信度。重測信度指同樣的樣本,在不同的時(shí)間點(diǎn)回答同樣一份問卷。繼而計(jì)算兩份數(shù)據(jù)的相關(guān)系數(shù),并且通過相關(guān)系數(shù)去衡量信度質(zhì)量。重測信度可以評估時(shí)間差異帶來的誤差,但實(shí)際操作中有諸多不便,因而此類分析使用較少。
α信度系數(shù)的測量最為常見。以spssau為例,將同一維度對應(yīng)的題項(xiàng)拖拽到右側(cè)即可。特別提示下,信度分析是以維度為單位進(jìn)行分析,一個(gè)維度一定需要對應(yīng)多個(gè)題項(xiàng)才可以,一個(gè)題項(xiàng)無法做信度分析。以spssau為例,共1個(gè)維度叫做‘課程質(zhì)量’對應(yīng)3項(xiàng),進(jìn)行操作如下:
點(diǎn)擊分析得到結(jié)果如下,包括表格和智能分析。
表格中共包括三列,分別是CITC值,刪除項(xiàng)后的信度系數(shù)值,整體信度系數(shù)值。事實(shí)上,我們進(jìn)行信度分析時(shí),更關(guān)注于整體信度系數(shù)值。首先分析α系數(shù),如果此值高于0.8,則說明信度高;如果此值介于0.7~0.8之間;則說明信度較好;如果此值介于0.6~0.7;則說明信度可接受;如果此值小于0.6;說明信度不佳;
如果說有發(fā)現(xiàn)整體信度系數(shù)值不達(dá)標(biāo),此時(shí)此應(yīng)該關(guān)注于CITC和刪除項(xiàng)后信度系數(shù)值這兩個(gè)指標(biāo)。如果CITC值低于0.3;可考慮將該項(xiàng)進(jìn)行刪除;如果“項(xiàng)已刪除的α系數(shù)”值明顯高于α系數(shù),此時(shí)可考慮對將該項(xiàng)進(jìn)行刪除后重新分析。刪除相關(guān)項(xiàng)后再次進(jìn)行分析即可。直至信度系數(shù)高于0.6,當(dāng)然這一過程在spssau中也可以直接智能化,可參考使用。
信度分析的操作非常簡單,但當(dāng)數(shù)據(jù)出現(xiàn)問題之后如何處理,這才是關(guān)鍵。書籍中將解的內(nèi)容都以高質(zhì)量數(shù)據(jù)作為案例,但現(xiàn)實(shí)中數(shù)據(jù)質(zhì)量通常會(huì)‘出乎意料’。
本文總結(jié)出信度不達(dá)標(biāo)的幾種情況,以及對應(yīng)的處理辦法。
- 整體α信度信度系數(shù)值小于0;
- 整體α信度信度系數(shù)值介于0~0.5之間;
- 整體α信度信度系數(shù)值介于0.5~0.6之間。
接著對應(yīng)講解三種情況的處理辦法:
1、如果說α信度信度系數(shù)值小于0,請查看是否有反向題。何為反向題?比如有5個(gè)題表示1個(gè)維度;其中4個(gè)題數(shù)字越大說明越喜歡運(yùn)動(dòng),另外1個(gè)題數(shù)字越大說明越不喜歡運(yùn)動(dòng),那么此項(xiàng)即為反向題。需要先進(jìn)行數(shù)據(jù)編碼,反向處理后,使用反向處理后的數(shù)據(jù)進(jìn)行信度分析。
2、整體α信度系數(shù)值介于0~0.5之間時(shí),此時(shí)說明信度有點(diǎn)'不可救藥',出現(xiàn)此類情況通常原因有3種。一是用錯(cuò)方法,信度分析只針對量表題,但非量表題都放進(jìn)去分析;二是問卷設(shè)計(jì)質(zhì)量太糟糕,量表題的設(shè)計(jì)隨心所欲完全不帶一點(diǎn)參考;三是樣本量少(比如小于50)并且一個(gè)維度僅對應(yīng)2個(gè)題項(xiàng),樣本少信度系數(shù)值相對會(huì)較低。無論是那種情況,解決流程均是:結(jié)合CITC值和項(xiàng)已刪除后的信度系數(shù)值,先刪除掉很糟糕項(xiàng),然后再接著依次循環(huán),直至信度系數(shù)可接受可止。
3、整體α信度系數(shù)值介于0.5~0.6之間。如果說分析項(xiàng)僅2個(gè),此時(shí)只能接受這種事實(shí)。如果分析項(xiàng)為3個(gè)或者更多,此時(shí)則需要結(jié)合CITC值進(jìn)行處理,刪除掉CITC值小于0.3的項(xiàng)后再次進(jìn)行分析,以及結(jié)合’項(xiàng)已刪除后的信度系數(shù)值‘這個(gè)指標(biāo)進(jìn)行刪除分析項(xiàng)。如果說分析項(xiàng)僅為2個(gè),此時(shí)沒有其它辦法,要么接受要么直接放棄掉該維度。
在進(jìn)行信度分析時(shí),如果說確實(shí)是量表項(xiàng),而且數(shù)據(jù)真實(shí),事實(shí)上很少會(huì)再現(xiàn)問題。但有兩種情況是需要提前注意:
- 不知道量表數(shù)據(jù)才能進(jìn)行信度分析。這種情況最糟糕后續(xù)是無法進(jìn)行分析的。
- 量表數(shù)據(jù)自己亂設(shè)計(jì),量表是相對規(guī)范的一種測量題項(xiàng),需要有較強(qiáng)的參考文獻(xiàn),而且一個(gè)維度對應(yīng)的量表要來自于同一個(gè)參考出處。