李爍 李貴安



摘? 要 教育教學研究離不開評價,評價量表是評價可靠性與有效性的最主要影響因素之一,要保證量表的信效度,必須經過科學的流程進行編制與優化。研究顯示,在教育教學研究中,量表編制與優化的一般流程包括明確測量對象、劃分測量維度、項目的編制、初步篩選、專家評審、樣本試測、基于試測的優化。本研究著眼于流程中的細節問題進行探討,并結合實例數據加以分析,以供廣大研究者參考。
關鍵詞 教育教學研究;量表編制與優化;因素分析;信度分析
中圖分類號:G652? ? 文獻標識碼:B
文章編號:1671-489X(2020)17-0076-03
1 問題的提出
教育教學研究離不開評價,沒有評價過程的反饋,易使研究過于主觀化,研究結果難以令人信服。隨著評價理論的不斷發展,形成不同種類的評價方式,但無論哪種評價方式,最終都離不開測量量表。要保證量表測量的數據可靠可信,就必須在量表編制與優化過程中使用科學的流程與方法。本研究基于中外測量學的文獻及教育學和心理學領域為主的有關文獻,總結出普遍適用于教育教學研究中量表編制的科學流程,著眼于細節問題進行探討,并依據SPSS V21的樣本數據作為實例加以分析,以供廣大研究者參考。
2 量表編制
前期準備工作? 編制一個量表,第一步要明確所測量的對象,這個測量對象一般是研究中的主要概念或主要概念的一部分(如核心素養)。明確測量對象后,還要厘清測量的意義所在。一般而言,在教育教學研究中測量的意義分為兩個方面:
1)研究教育理論時需要獲得量化的測量數據,以佐證已有理論或進行理論結構與內容的探究;
2)教學實踐者在進行某項干預后需要通過量化的數據來得到干預對象的某個特質在干預前后的變化情況,從而證明干預的效果。
許多教育研究者認為,對于想要測量的東西心里早就清清楚楚,但結果卻發現自己最初的想法比想象的要含糊得多。如果測量對象沒有明晰的理論支撐就著手進行量表項目的編制,會導致很多可靠性與結構上的問題,這樣如果到了后面的工作中再來彌補這些問題,將比一開始就把測量對象用完整科學的理論了解清楚要多出成倍的工作量。在量表編制的前期準備過程中,一定要對量表測量的對象所包含的內容與結構十分明晰。
將測量對象所包含的因素進行分類是十分有幫助的。若測量對象的概念已有明確的結構框架,就可以直接使用,否則需要研究者自己進行分類與歸納。注意:不能只將測量對象的概念劃分為幾個維度,由于其在教育教學研究中,測量的有關因素一般比較復雜,因此至少需要將其中的每一個維度繼續劃分成多個次維度,按需要可以再將每個次維度繼續細分,以此類推。
生成初始項目池? 項目就是構成量表的基本單位。理論上,一個好的量表,其項目應該是從有關項目宇(Universe)
中隨機抽取的。由于假定項目宇為無窮大,這就基本上迫使人們打消實際去列舉項目宇中所有項目并從其中隨機取樣的希望。在這一步工作中應該盡量多地羅列所有有關測量對象內容的項目,無須考慮量表長度的問題。因為在這一步,主觀認為某個項目“不重要”是沒有客觀依據的。
項目的形式多種多樣,現在最常見的是李克特型,其他還有瑟斯頓治標法、能力測驗題等形式,根據測量對象選擇適合的形式即可。如果測量對象的內容很廣,可能一些維度的測量不適合用同樣的形式,那么這時候可以將不同的維度分別采用不同的項目形式,制作各自維度的分量表,最后再通過設計如相加或加權后相加等方式來計算總分。
在項目編制過程中需要注意以下三點。
1)避免冗長。冗長的項目一般過于復雜,難以保證項目的清晰度,容易引發受測者的負面情緒,但前提是不能以犧牲內容的代價來換取表面上的項目簡潔性。
2)避免有歧義的項目。如“我喜歡學習,因為學習讓我快樂”,這個項目包含多個導向,做這種題目時受測者會感到困擾與為難,效度較低。
3)避免過于寬泛。如“有扎實的學科專業知識”,明顯不能客觀體現被測者的學科專業知識水平。
3 量表優化
試測前的優化? 初始項目池一般會比較龐大。考慮到最終量表的簡潔性,首先要對量表項目進行初步篩選,主要依照三個方面進行:
1)刪改表述有問題的項目;
2)高度重復的項目保留其一;
3)刪改相關性有問題的項目。
邀請有關專家來對池中的項目進行評審,并根據需要請他們對項目進行重新分類。邀請的專家建議包含兩個領域:
1)對量表測量對象有深入研究的專家,他們對測量對象有深刻理解,主要可以檢驗項目的內容效度;
2)測量學領域的專家,他們對如何提高量表的信效度有豐富的經驗。
他們對于量表的建議很多都是建設性的,可以參考其建議對項目進行修改與增減。但也要考慮到專家本身也有一定的主觀性,所以在更改或刪除項目時,尤其需要反復斟酌。經過初步篩選與專家評審兩個環節后,試測量表就生成了,之后應進行試測,使用試測獲得的數據對量表進行進一步優化。
探索性因子分析? 因子分析(又叫因素分析)能使研究者把一組反應事物性質、狀態、特點等的幾個變量簡化為少數幾個能反映事物內在聯系、固有的、決定事物本質特征的因子。它對重新認識測量對象的內容結構有重要意義。
以下將介紹一些基于探索性因子分析的量表優化方法,使用SPSS V21.0軟件,處理軟件自帶樣本數據“breakfast”,并進行實例探討。因子分析的方法有很多種,還有因子旋轉的問題,以下使用的是較常用的主成分分析法與最大變異正交旋轉。
首先是確認因子個數,任一量表的任一項目都與無數個因子有關,但要的只是最主要能反應量表項目的那些因子。如何判斷應該取多少個因子合適呢?主要有三種方法。
1)特征值法。因子的特征值對應的是該因素的方差貢獻,因素分析時只需要取特征值較大的幾個因子即可,公認的方法是取特征值大于1的因子。如表1所示,按照該方法,樣本數據應該取前四個因子進行分析。
2)累計方差貢獻率法。因子的方差貢獻率是該因子的特征值與所有因子特征值之和的比值,也可以體現因子解釋項目得分變動能力。累計方差貢獻率就是幾個因子方差貢獻率的和,這個值達到一定的百分比,就說明所取的這些因子已經可以解釋量表中項目得分的大部分變動。在測量學中閾值一般被規定為80%。如表1所示,按照該方法,樣本數據應該取前七個因子進行分析。
3)碎石檢驗。這是由R.B.卡特爾提出的決定因子個數的方法。碎石圖的橫軸是特征值從大到小排列的各個因素,縱軸是各個因素對應的特征值。如圖1所示,根據該方法,樣本數據可取前3~5個因子。
因素分析可以將項目進行分類,見表2的旋轉成分矩陣。表中數據是各個項目在不同因子上的載荷值,這個值越大,說明該因子越能解釋項目的變異。根據數據,可以將某個因子的載荷值較高的一些項目歸為一類,原則是每個因子至少需要三個項目,之后再觀察這些被歸為一類的項目有什么共同特征。如果一個項目在兩個因子上的載荷絕對值都超過0.4(如表2中的項目4與項目5),則說明從整個量表的結構上看,這個項目是不良的,綜合考慮其重要性后,可以考慮刪除。
信度分析? 信度,又叫可靠性,是指問卷的可信程度。它主要表現檢驗結果的一貫性、一致性、再現性和穩定性。一般分析量表信度的方法有克隆巴赫α信度、分半信度等。本文基于克隆巴赫α信度,介紹量表信度需要達到的標準與信度分析中可以用來進行量表優化的數據。使用SPSS V21.0軟件,處理軟件自帶樣本數據“TV survey”,并進行實例探討。
表3中顯示了量表的克隆巴赫α值與基于標準化項的克隆巴赫α值。在教育研究中,一般認為總量表的克隆巴赫α值在70%以上就是可靠的。表3中兩項都大于70%,證明該樣本數據的量表信度達標。如果克隆巴赫α值大于90%,則可能說明項目過多,可以通過相關性分析或探索性因素分析進行篩選。
此外,信度分析也可以提供篩選項目的參考數據。一般認為,如果刪除該項目對信度影響不大,甚至反而增加了信度,則這個項目可以考慮刪除。但對信度的影響較小,只能作為刪除項目的一個必要條件,不能作為充分條件。很多時候雖然刪除一個項目對信度基本沒有影響,但如果它在量表中有其特殊的意義,或在因素分析中是一個因子僅有的三個項目之一,則應該保留。
表4中列出假設刪除該項目后這個量表的克隆巴赫α值,通過數據可以得知前兩個項目是肯定不可以刪除的,因為刪除這些項目會大大降低量表的克隆巴赫α值;而最后一個項目刪除后反而增加了克隆巴赫α值,就可以考慮刪除它。
4 結語
綜上所述,在教育教學研究中,量表編制與優化的一般流程包括:明確測量的對象與意義、劃分測量維度、項目的編制、項目的初步篩選、專家評審、樣本試測、基于試測的優化。嚴格落實這些步驟而產生的量表信效度才有保證,所測量的數據才可具有較高的科學性,從而可很好地支撐研究內容,使人信服。在當今信息爆炸的時代,廣大教育教學研究者也更應該注重量化數據的收集,在量表編制與優化上下功夫,才能為自己的研究打下堅實的基礎,以使研究內容更為真實,研究結果更有意義。■
參考文獻
[1]德威利斯.量表編制:理論與應用[M].3版.重慶:重慶大學出版社,2016:15-166.
[2]陳勝可.SPSS統計分析:從入門到精通[M].北京:清華大學出版社,2010:10-324.
[3]張勇.大學生自主性學習量表編制方法的研究[J].教學研究,2010,33(6):7-10.
[4]王登峰,崔紅.中國人人格量表(QZPS)的編制過程與初步結果[J].心理學報,2003,35(1):127-136.
[5]Wang K T, WEI M, ZHAO R, et al. The Cross-Cultural
Loss Scale: Development and Psychometric Evaluation
[J].Psychological Assessment,2014,27(1):42-53.
[6]金艷,揭薇.中國英語能力等級量表的“口語量表”制定原則和方法[J].外語界,2017(2):10-19.
[7]連榕,楊麗嫻,吳蘭花.大學生的專業承諾、學習倦怠的關系與量表編制[J].心理學報,2005,37(5):632-636.
[8]淡鑫.統計學編制量表的基本程序[J].新西部,2015(9):
144,132.