摘 要:信度分析是綜合評價調查問卷體系的穩定性和可靠性的有效方法,能有效反映問卷編制的科學性、合理性和有效性,可結合預調查及時對問卷進行增刪修訂和優化調整。本文綜述了調查問卷設計中常用的信度分析方法及其使用范疇,可為進一步修訂問卷提供統計理論依據。
關鍵詞:問卷設計;信度檢驗;綜合評價
中圖分類號:G726 文獻標識碼:A
問卷調查是教育培訓評估得以廣泛應用的重要環節之一,是調查研究中定量統計的重要途徑和有效工具。問卷質量的高低是各項評價指標的具體反映,因此調查問卷首先要接受小規模抽樣測試,通過調查問卷的信度分析,檢查問卷設計的結構、原則、內容等能否被受試者正確理解,及時增刪或調整題目。
一、信度分析
信度是指測驗的實得值與真值的相差程度。信度越高,反映多次測量結果間的一致性越大,可以通過評價數據離散趨勢的指標來反映信度的優良。
信度分析是針對某一特定類型下問卷測量結果的穩定性和一致性而言,而非廣泛一般的一致性,其大小用信度系數來表示,范圍在0~1之間;信度系數越大,測量結果的可信程度越大。信度系數是衡量信度高低的統計指標,而不涉及結果是否正確,但研究對象的樣本含量必須超過40人。
信度系數主要包括穩定系數(跨時間的一致性)、等值系數(跨形式的一致性)和內在一致性系數(跨項目的一致性)。按照評價對象的不同,信度可分成內在信度和外在信度。內在信度是衡量問卷中某一組問題所測量的是否同一概念、是否具有較高的內在一致性;而外在信度是衡量同一問卷在不同時間下對同一被調查者重復測量后評價結果的一致性程度。
二、信度的評價方法
(一) 同質信度
同質性問卷調查考查的是被調查者的同一性,問卷試題的幾個部分間高度相關、同等重要。Cronbach’sα系數是目前最常用的內在信度系數和同質信度系數,通過各調查項目相關系數的均值測量、關注問卷中每一個題目得分間的內在一致性,其計算公式為:


而調查問卷中一般是嵌套多個功能模塊,即當一份調查問卷包含有不同子問卷時,應分別計算每個子問卷的內部一致性可信度;可將整體問卷分成n個維度,計算整個問卷及其各維度的內部一致性信度系數,確保相應的信度系數均在0.80以上。當信度系數高于0.7時,表明問卷應進行較大的修改;低于0.7時,則應該棄之。
此外,依據量化得到的各項目間的相關系數矩陣和相關系數的均值,判斷每一項內容和問卷整體的關聯程度,實現對問卷的修訂和改良。譬如,當出現負相關時,說明這些項目與其他項目間相悖,應考慮修改或刪除部分內容;當修改剔除某項目后,問卷整體的信度系數的變化呈現下降趨勢時,該題目應予以保留。
(二) 分半信度
分半信度,又稱“折半信度”,是將同一問卷的全部調查問題按照奇偶或前后盡可能分成相等的兩半,分別依照Cronbach’s α系數計算二者得分。當問卷中設置的題目越多時,分半信度愈高,但隨機分半可能會使分半信度不具有穩定性。分半信度的計算公式為:

分半信度使用的關鍵是如何盡可能避免順序效應,將調查問卷分成有效的對等兩半。不同的拆半會產生不同的信度系數估計值,當高相關性的題目分在一組時,分半系數將接近于其最小值。常用的分半辦法有三種:一是完全隨機分配,簡便、易行但并不客觀;二是將整體問卷的奇偶題目分半,該法在問卷調查題目較多的時候才適用;三是將整個問卷分成若干塊(每塊的內容成偶數),再將各內容塊的題目奇偶分半并各自組成子問卷,該法應用最為廣泛。此外,若調查問卷中含有反向題項,應先逆向處理反意題項的得分,保證各題項的得分方向一致后,再考慮拆半。
(三) 重測信度
重測信度,又稱“穩定性信度”,是最常用的外在信度,指的是不同的時間內,采用同一調查問卷前后兩次施測同一組被試者得分的一致性程度,以兩次相關系數的積差法表現的信度公式為:

其中,ICC平均內部一致性系數,、和
分別為被調查者之間的方差、處理組(即重復次數間)的方差和誤差的方差,m為重復次數,n為被調查對象的數量。國際上,一般認為ICC在0.4以上可接受,大于0.6則表示有滿意的穩定性,0.8以上則表示有很好的穩定性。
重測信度的特點要求同一份問卷在允許重測的情況下施測兩次時須滿足三個條件:一是所測量的心理特性須穩定。二是遺忘和練習的效果基本上相互抵消。三是兩次施測的間隔時期忌過長,視具體的調查內容而定,一般間隔以2~4周為宜。重測信度較大時,說明前后兩次測量結果較一致,調查問卷較穩定。但因被測對象對問卷的熟悉會產生“記憶效應”,易產生偏倚,并不一定能真實反映研究對象的特征。
(四) 復本信度
復本信度法,又稱“等值性效度”,主要是讓調查者同一時間或先后填答兩份問卷,應確保問卷在形式、內容、難度和題項的提問方向盡可能保持高度一致,僅在表達方式上略有區別,兩次結果的相關系數即為復本信度。在同一時間內或間隔一段時間后,復本調查時實測所得的信度系數分別稱為等值系數、穩定和等值系數。復本信度愈高,問卷調查結果的一致性越強。整個調查問卷的信度的計算公式為:

其中, 為兩部分之間的相關系數。
復本信度最接近于平行測試,但實際問卷調查中很難達到真正可相互替代的問卷設計,故采用的較少。
(五) 評分信度
若問卷是由調查員給被測試者打分或評定時,此時信度的可靠性取決于評分者,即評分信度,可分為評分者間信度和評分內信度兩類。評分者間信度是指由不同的調查員采用相同調查問卷測量評定時其得分的一致性情況,隨機性抽取對問題的評分以及調查員的打分情況,常用組內相關系數來評價。而評分內信度是指度量檢驗同一調查者在不同時間和地點等不同場合時的一致性。
當評分者人數超過三人,且為等級評分時,可用下列公式計算其相關系數:

若多個調查員間的信度較好,說明調查問卷制定的客觀、明確;反之,說明指標的操作概念模糊,易歧義。因此,調查前應對調查員集中培訓,現場負責核查填寫的問卷,即時發現問題并反饋,查缺補漏。
(六) 信度分析方法的對比

三、影響信度的因素
(一) 問答級數的設計
針對連續性變量應答時,多采用連續區間來標度;當信度區間在0.4~0.9之間時,常會隨著擬定作答級數的減少而降低。較實際信度,“十級式”至“七級式”量表的信度損失極少,而“五級式”和“兩級式”量表的信度損失分別為12%和35%。另有研究表表明,采用“四級式”、“五級式”、“七級式”和視覺模擬量表調查所獲的信度還較為相似。因此,題目設計時,應盡可能多量化連續區間的級數,后續統計可根據需要整合區間的級數。
(二) 問卷題目的數量
適當增加問卷題目的數量可提高問卷的信度,如Cronbach’s α系數與調查問卷設計的題目數量十分相關,α會隨著問卷設計的題目數量的增加(或減少)而升高(或降低)。新增的題目和之前應具有同等代表性,且新增數量須適度,否則被調查者會因疲勞致使誤差增大。當問卷題目數量增至K倍時,信度的計算公式為:

(三) 題目的難度分布
調查問卷中的各個題目均應具有較好的代表性,忌應答的猜測性。其次,要盡量調整問卷題目或應答方式,控制難度在中等水平,使得區間落在較低或較高兩端的比例要少,盡可能地接近正態分布,可有效提高信度。
(四) 問卷調查的偏倚
調查問卷屬于回顧性調查,調查結果上會存在一定的信息偏倚。問卷信度很大程度上取決于被調查者對問卷工具的理解、作答、調查獲知的信息提取程度。信度主要受隨機因素的影響,但偏倚不具有方向性。
信息偏倚是指在收集資料的過程中,由于比較組間收集資料的方式不可比,導致研究結果與真實結果之間的系統差異;就被調查對象而言,信息偏倚主要涉及到無應答偏倚、回憶偏倚、說謊偏倚等。由于調查問卷填寫時主觀成分很大,回憶偏倚很難完全避免。回憶偏倚不同于單純的記憶不準確;當被調查者回憶普遍較差時,回憶偏倚的可能性較大。回憶偏倚的產生主要是取決于調查時間至事件實際發生之間的時間差,以及調查員的提問方式和調查技術等。
(五) 調查的樣本容量
在其他條件相同的情況下,樣本容量越大,評估獲得的信度越高。樣本容量是隨機從總體中抽取樣本,推斷總體數量特征的一種非全面統計,直接關系到抽樣估計的精確度及調查成本和效益。當樣本容量過大時,調查的工作量顯得過大;但樣本容量偏小時又易發生樣本偏差,導致信度系數過低或過高估計。
實際調查中,不回復偏差是問卷調查中的一種客觀存在,分為完全無應答和部分無應答兩種。不回復的問卷會造成調查問卷的樣本容量縮減,抽樣誤差的增大;而因無回答帶來估計的偏誤并不會隨后續樣本容量的增大而減少;一般要求無應答率應低于5%。控制無回答偏倚,應采用調整訪問的策略、消除被調查者心理和顧慮、修正問卷設計以及加強調查員培訓等方式。不回復的問卷會分別從回復率和不回復偏差方面影響調查結果的代表性,可通過不回復者和回復者間組間進行檢驗評價不回復偏差,深入尋找被調查者不回復的原因。
四、結語
高質量的調查問卷是問卷調查成功的關鍵,應采用客觀的信度分析方法反復研究、修正問卷;因不同信度檢驗方法的適用范圍、側重均有所不同,應多種方法相互佐證,忌以偏概全反映整個調查問卷的可靠度和有效性,應依據問卷種類和目的選擇合適的信度檢驗方法評價。問卷初稿須通過預調查數據的信度反饋調查工具設計的合理性,采用局部修訂和調整優化問卷,直至通過信度檢驗,以滿足統計分析的要求和為后續的效度檢驗提供保證。
參考文獻
[1]羅林明,屈芳.關于教育培訓調查問卷設計的思考——以氣象教育培訓調查問卷為例[J].繼續教育,2014,(6).
[2]馬文軍,潘波.問卷的信度和效度以及如何用SAS軟件分析[J].中國衛生統計,2000,(6).
[3]倪宗瓚.醫學統計學[M].北京:高等教育出版社,2003.
[4]武松,潘發明,曾凱.SPSS統計分析大全[M].北京:清華大學出版社, 2014.[5]柴輝.調查問卷設計中信度及效度檢驗方法研究[J].世界科技研究與發展,2010,(4).
[6]張文彤,董偉.SPSS統計分析高級教程[M].北京:高等教育出版社, 2013.[7]時立文. SPSS 19.0統計分析從入門到精通[M].北京:清華大學出版社,2012.[8]蔣小花,沈卓之,張楠楠,廖洪秀,徐海燕.問卷的信度和效度分析[J].現代預防醫學,2010,(37).
[9]曾五一,黃炳藝.調查問卷的可信度和有效度分析[J].統計與信息論壇,2005,(6).