高校學(xué)生評教典型指標(biāo)體系測度量表信度與效度檢驗

聶亞菲，劉國買

(福建工程學(xué)院，福建 福州 350003)

高校學(xué)生評教典型指標(biāo)體系測度量表信度與效度檢驗

聶亞菲，劉國買

(福建工程學(xué)院，福建 福州 350003)

評價指標(biāo)信度和效度檢驗是保證學(xué)生網(wǎng)上評教系統(tǒng)有效性的重要環(huán)節(jié)。為檢驗測度量表的可靠性和測量所需特性的程度，獲得包括四個院系、十二個專業(yè)，31295個有效個案的樣本。采取相關(guān)分析、主成分分析檢驗學(xué)生評教指標(biāo)體系測度量表的信度和效度。研究發(fā)現(xiàn)指標(biāo)體系測度量表信度很高，但效度不理想，建議采取建立專門機構(gòu)定期檢查指標(biāo)體系的有效性和適度更新指標(biāo)體系、增加二級指標(biāo)和開放性評價選項等提高評價指標(biāo)體系的信度與效度。

評教系統(tǒng)；指標(biāo)體系；檢驗

學(xué)生評教是教學(xué)管理中教師教學(xué)效果評價最常用、最有效的環(huán)節(jié)。作為評價的核心，評價指標(biāo)的科學(xué)設(shè)計及其測度量表，是決定評價有效性的關(guān)鍵，同時也是研究學(xué)生評教的熱門話題。

當(dāng)前，教學(xué)管理信息化已基本普及，全國很多高校在教務(wù)管理系統(tǒng)中集成了學(xué)生評教系統(tǒng)，實現(xiàn)了學(xué)生網(wǎng)絡(luò)評教。任何量表在使用前必須進行信度和效度檢驗。前者檢驗量表的可靠性或結(jié)果一致性，后者檢驗量表是否能夠測量出所要測量特性的程度。本文希望通過測度量表信度與效度檢驗，發(fā)現(xiàn)學(xué)生評教典型指標(biāo)體系存在的問題并提出改進建議。

一 學(xué)生評教指標(biāo)體系研究現(xiàn)狀

學(xué)生評教的實質(zhì)不是“學(xué)生評價教師”而是“學(xué)生評價教學(xué)”。“學(xué)生評教”解決的首要問題是指標(biāo)設(shè)計，[1]其合理設(shè)計體現(xiàn)評價公正性與有效性。[2]指標(biāo)體系的有效性是設(shè)置后的檢驗。相關(guān)研究可以歸為以下兩類：一是通過調(diào)查研究比較教師與學(xué)生兩大主體的現(xiàn)實關(guān)注，以提高學(xué)生評教指標(biāo)的有效性。[3][4]二是直接對評價指標(biāo)體系進行的信度和效度研究。相關(guān)研究主要有韓磊磊(2012)分別采用內(nèi)部一致性信度分析、復(fù)本信度分析與結(jié)構(gòu)效度，在同一時間段內(nèi)比較了廣州大學(xué)現(xiàn)有課堂教學(xué)質(zhì)量的指標(biāo)體系O(以O(shè)1-O10表示10個題項)和自擬A(較詳細(xì)，以A1-A8表示8個題項)，B(較為概要，以B1-B4表示4個題項)兩套新的指標(biāo)體系的共三套評價指標(biāo)體系進行信度與效度分析，研究認(rèn)為B的信度顯著優(yōu)于另兩套問卷，問卷B與問卷A均有較高的結(jié)構(gòu)效度。問卷B的綜合信度、效度較高。[5]高維春(2010)應(yīng)用組內(nèi)相關(guān)系數(shù)測量學(xué)生評教的信度，[6]毛建青等(2011)則研究提高學(xué)生評教信度和效度的數(shù)據(jù)處理方法。[7]

當(dāng)前，學(xué)生評教系統(tǒng)因成為許多高校教學(xué)管理系統(tǒng)的子模塊而得到廣泛應(yīng)用，但現(xiàn)有文獻還沒有涉及對學(xué)生網(wǎng)絡(luò)評教系統(tǒng)指標(biāo)體系有效性的研究。

二 高等學(xué)校典型學(xué)生評教指標(biāo)體系述評

教學(xué)評價應(yīng)是多方參與、全過程的系統(tǒng)工程，但這僅僅停留在文獻中。由于操作性等原因，現(xiàn)實教學(xué)質(zhì)量評價往往趨于簡單化。圖1所示的評價指標(biāo)體系就被某教學(xué)管理系統(tǒng)集成的學(xué)生網(wǎng)上評教系統(tǒng)所采用。

該評價指標(biāo)分為“為人師表，教書育人，嚴(yán)格管理”“備課充分，精神飽滿，語言生動，有感染力”“作業(yè)適量，批改認(rèn)真，及時發(fā)還，耐心輔導(dǎo)”“內(nèi)容充實、豐富，有足夠的信息量”“思路清晰，概念準(zhǔn)確，突出重點，突破難點”“注意介紹學(xué)科發(fā)展，能夠理論聯(lián)系實際”“有效利用各種教學(xué)手段，多媒體教學(xué)效果好”“引導(dǎo)學(xué)生積極思考，激發(fā)學(xué)習(xí)熱情，培養(yǎng)創(chuàng)新精神”“課堂氣氛活躍，學(xué)生聽課積極性高”“學(xué)生學(xué)到知識，提高學(xué)習(xí)能力”，共10個指標(biāo)。每個指標(biāo)用五級定序變量“好、較好、一般、較差、差”度量。

由于簡單、易行、操作性強，該指標(biāo)體系已經(jīng)在多個學(xué)校得到廣泛應(yīng)用，如廣州大學(xué)[5]等，因而具有典型性。然而該指標(biāo)體系有效性研究一直未匱乏，本文以東南地區(qū)某新建本科高校為例，通過學(xué)生評教指標(biāo)體系測度量表的信度和效度，檢驗測度量表的可靠性和所要測量特性的程度。

三 研究過程

1.抽樣與數(shù)據(jù)處理。

抽取5個入學(xué)年度，4個院系，12個專業(yè)，初始數(shù)據(jù)約37724個原始數(shù)據(jù)，對數(shù)據(jù)進行描述統(tǒng)計，發(fā)現(xiàn)樣本共存在6429個異常個案。依次對變量進行描述統(tǒng)計或者頻率分析，發(fā)現(xiàn)系列異常值，依據(jù)相應(yīng)情況進行處理。經(jīng)過異常值處理和數(shù)據(jù)重組后，最終獲得31295個有效個案。

圖1 典型的學(xué)生網(wǎng)上評教系統(tǒng)指標(biāo)體系

2.評教系統(tǒng)指標(biāo)體系的信度檢驗。

一般用信度系數(shù)的大小來表示信度，但是統(tǒng)計估計主要采用相關(guān)系數(shù)的大小來表示信度的高低，主要有再測法(用同一測驗對同一被試 , 前后施測兩次，根據(jù)兩次測驗分?jǐn)?shù)計算相關(guān)系數(shù)獲得再測信度，以反映測驗的穩(wěn)定程度，又稱穩(wěn)定性系數(shù) )、復(fù)本法(對一組受測者間隔一定時間后施測兩個復(fù)本所求得的穩(wěn)定性系數(shù)又稱等值穩(wěn)定性系數(shù)或復(fù)本信度) 、分半法(將測驗題目分成對等的兩半，根據(jù)每人在這兩半測驗中的得分，計算其相關(guān)系數(shù)，又稱內(nèi)部一致性系數(shù)或分半信度)等方法。本文通過分半法計算內(nèi)部一致性系數(shù)，利用克倫巴赫 (Cronbach) 公式計算α系數(shù)來估計測驗的內(nèi)部一致性。

通過調(diào)用SPSS中的Reliability過程進行信度檢驗。檢驗首先指定對各項目測定得分情況和項目與量表總體特征關(guān)系進行描述性統(tǒng)計(略)；然后計算項目間的兩兩相關(guān)系數(shù)、作重復(fù)度量的方差分析；進行項目間平均得分的相等性Hotelling 的 T 平方檢驗，檢驗結(jié)果如下。

(1)指標(biāo)體系測度量表內(nèi)在相關(guān)性檢驗。通過學(xué)生評分的10個項目相關(guān)系數(shù)矩陣和相應(yīng)皮爾遜相關(guān)系數(shù)檢驗表格觀察，各指標(biāo)變量相關(guān)系數(shù)在0.4-0.6之間，指標(biāo)體系測度量表內(nèi)在相關(guān)性較好。

(2)項目對整個指標(biāo)體系測度量表得分關(guān)系。將某一項目從量表中剔除，計算量表的平均得分、方差、每個項目得分與剩余各項目得分間的相關(guān)系數(shù)、以該項目為自變量所有其他項目為應(yīng)變量建立回歸方程的R2值以及α值。研究表明在每個項目得分與剩余各項目得分間的相關(guān)系數(shù)在0.6～0.7之間，表明各評價項目關(guān)系密切。R2值在0.3～0.5之間，表明各項目被其他項目解釋掉的可能性較低。刪除該項目后，總體α為0.88～0.89，約減少0.01。研究表明指標(biāo)體系測度量表中各項目關(guān)系密切。

(3)重復(fù)度量的方差分析。由指標(biāo)體系測度量表重復(fù)度量的方差分析表可知，F(xiàn) = 342.650，Plt;0.0001，該量表的重復(fù)度量效果良好。

(4)項目間平均得分的相等性檢驗。從表1可知，F(xiàn) = 363.518，Plt;0.0001，表明指標(biāo)體系測度量表項目間平均得分的相等性好，即指標(biāo)體系測度量表項目具有內(nèi)在的相關(guān)性。

表1 項目間平均得分的相等性Hotelling 的 T 平方檢驗

(5)指標(biāo)體系測度量表信度檢驗。在量表的信度檢驗中，α= 0.900，標(biāo)準(zhǔn)化α= 0.900。α系數(shù)的意義是：個體在這一量表的測定得分與如果詢問所有可能項目測定得分的相關(guān)系數(shù)的平方，即這一量表能獲得真分?jǐn)?shù)的能力。本例為0.9，意味著學(xué)生評價教學(xué)指標(biāo)體系測度量表尚有10.00%的內(nèi)容未曾涉及，信度很高。

表2 指標(biāo)體系測度量表信度檢驗的統(tǒng)計量

3.評教系統(tǒng)指標(biāo)體系的效度檢驗。

效度分為內(nèi)容效度 (指測驗?zāi)康拇硭麥y量的內(nèi)容和引起預(yù)期反應(yīng)所達(dá)到的程度)、結(jié)構(gòu)效度(測驗對某一理論概念或心理特質(zhì)測量的程度)和預(yù)測效度(實證效度)。效度檢驗的方法一是專家邏輯分析，即請有關(guān)專家對測驗項目與測評的內(nèi)容范圍是否合適進行分析，作出判斷；二是統(tǒng)計分析，相關(guān)分析和因素分析是常用的方法。本文采用統(tǒng)計分析檢驗評教指標(biāo)體系的結(jié)構(gòu)效度。

(1)KMO檢驗和Bartlett球形檢驗。有效樣本數(shù)據(jù)的檢驗結(jié)果顯示，KMO值為0.954，Bartlett球形檢驗的p=0.000lt;0.05，表明問卷具有結(jié)構(gòu)效度。

(2)效度檢驗的因子分析。一般認(rèn)為，當(dāng)KMO值大于0.5時，即可進行因子分析，而本次KMO的檢驗值為0.954，說明指標(biāo)體系測度量表的樣本數(shù)據(jù)基本適合進行因子分析。

采用主成分分析法，進行Varimax方差正交旋轉(zhuǎn)，提取公因子方差如表3所示，解釋的總方差如表4所示，最終提取特征值大于1的因子1個，累計解釋的變異量為52.70%，且正交旋轉(zhuǎn)后得到的因子成份矩陣和負(fù)荷矩陣如表5所示。

a.已提取了 1 個成份；

根據(jù)因子分析中對因子負(fù)荷的要求，各項目的因子負(fù)荷相差不大，具有在0.7左右，表明提取的公因子對原始變量的影響程度較高；因子得分系數(shù)均在0.14左右，相差無幾，說明指標(biāo)與該公因子之間關(guān)系較為均衡。

表3 樣本數(shù)據(jù)主成分分析公因子方差

表4 樣本數(shù)據(jù)主成份解釋的總方差

表5 樣本數(shù)據(jù)主成份成份矩陣和成份得分系數(shù)矩陣

一般地，如果主因子解釋總變異一般若大于60%的和因子載荷大于0.6，說明結(jié)構(gòu)效度很好。這里主因子解釋總變異的52.70%，少于60%；因子載荷等于0.7左右，大于0.6。總體而言，聚斂效度和區(qū)分效度未能滿足相關(guān)要求，勉強通過效度檢驗。

四 結(jié)論與建議

信度和效度檢驗表明，指標(biāo)系統(tǒng)系測度量表信度很高，但效度不理想。為了提高指標(biāo)體系測度量表的信度與效度，建議：

1.由專門教學(xué)評價發(fā)展機構(gòu)組織專家，集體討論制定標(biāo)準(zhǔn)化的學(xué)生評價教師教學(xué)的量表，從系統(tǒng)的角度對教師的教學(xué)進行評價并定期對學(xué)生評價的有效性進行評估，并根據(jù)評估結(jié)果對量表進行一定修改。

2.量表一般應(yīng)包括課程方面(課程的組織結(jié)構(gòu)、課程的難度與負(fù)擔(dān)，學(xué)生對自己學(xué)習(xí)該課程的狀況以及學(xué)習(xí)結(jié)果的自我評價等等)、教師教學(xué)方面(教學(xué)技巧、與學(xué)生的交流溝通、對課堂時間的利用、教師的教學(xué)特點與風(fēng)格、教學(xué)各個環(huán)節(jié)等等)。現(xiàn)有指標(biāo)體系只有10個一級指標(biāo)，而沒有二級指標(biāo)，建議每個一級指標(biāo)下增加若干二級指標(biāo)。

3.增加無固定答案的開放性問答題或加上一部分延伸性評價。

[1]李昕,田張霞.國外“學(xué)生評教”的成功經(jīng)驗——以澳大利亞的ceq和日本kusfc的sfc-Sfs為例[J].外國教育研究，2009(08).

[2]鮑嶸,王洋.美國德州大學(xué)奧斯汀分校的學(xué)生評教系統(tǒng)及其啟示[J].比較教育研究，2011(05).

[3]朱軍,范慧慧.師生對學(xué)生評教指標(biāo)的關(guān)注點——基于復(fù)旦大學(xué)問卷調(diào)查的分析[J].復(fù)旦教育論壇，2012(04).

[4]李瑞芳,王瑞芝.教師和學(xué)生對“學(xué)生評教”的看法調(diào)查[J].清華大學(xué)教育研究，2006(S1).

[5]韓磊磊,周耀旭,黃曉兵.高校學(xué)生評教指標(biāo)體系的信度與效度分析——基于廣州大學(xué)學(xué)生網(wǎng)上評教的實踐研究[J].教育導(dǎo)刊，2012(03).

[6]高維春,白淑毅,余斌.應(yīng)用組內(nèi)相關(guān)系數(shù)測量學(xué)生評教的信度研究[J].教學(xué)與管理，2010(03).

[7]毛建青,秦漢林.理性對待和使用“學(xué)生評教”的結(jié)果——基于國內(nèi)外學(xué)者的文獻分析[J].現(xiàn)代教育管理，2011(11).

ClassNo.:G647DocumentMark：A

(責(zé)任編輯：蔡雪嵐)

TestonEvaluation’ReliabilityandValidityforTypicalIndexSystemofStudents'EvaluationofTeachinginUniversities

Nie Yafei，Liu Guomai

(Fujian University of Technology, Fuzhou, Fujian 350003，China)

The test of evaluation’ reliability and validity is an important part to ensure effectiveness of the teaching evaluation on the internet. In order to test the reliability of the measurement scale and measure the degree of characteristics to be measured, 31,295 valid samples , four faculties , twelve professional are involved in the test .Correlation analysis and principal component analysis are used to test the reliability and validity of the measurement scale of students evaluating teaching. It found that the reliability of measure scale for indicator system is high, but the validity is not ideal ,so we recommend to establish a specialized agencies to check the effectiveness regularly , and increased the second level index and free options of evaluation in order to improve reliability and validity of evaluation System.

assessment system; index system; test

聶亞菲，碩士，講師，福建工程學(xué)院。

劉國買，博士，教授，碩士生導(dǎo)師，福建工程學(xué)院。

教育部規(guī)劃項目“新建本科院校教師教學(xué)與科研協(xié)同機制研究”(FFB090523)。

1672-6758(2013)12-0030-3

G647

A