學生評教的信度、效度、影響因素及應用風險

韓映雄，周林芝

（1.華東師范大學考試與評價研究院，上海200062；2.華東師范大學高等教育研究所，上海200062）

一、引言

過去二十年來，要求高等教育“回歸教學”的聲音日益高漲，社會各界對大學教學質量的擔憂和重視已經到了前所未有的高度。教育部先后頒發的兩個有關高等教育質量的文件以及相關研究[1]就是例證。人們對大學教學質量的擔憂，一方面是由于高等教育規模擴大所引致，另一方面也與大學過于重視科研的績效辦學觀有密切關系。這一現象并不是我國高等教育發展所獨有的現象，美國等高等教育發達國家在20世紀80年代也曾出現過。

導致大學教學質量下滑或變化的原因既包括來自主觀的理念或認識因素，也包括一定社會歷史條件下的高等教育外部因素，如全球學術競爭、知識分工、一流大學建設需求等。就理念因素而言，如何衡量和評價大學教學質量，既是學術界持續討論的熱點問題，也是教育管理界所面臨的難題。與科研質量評價相比較，教學評價要更加復雜和難以達成共識。

基于此，研究以2000年以來Web of Science核心數據庫中發表的有關大學教學評價的研究成果為資料來源，試圖回顧和總結近20年來學術界和教育管理界對學生評教的最新思考和實踐經驗。

二、資料來源及分析方法

研究以Web of Science核心數據庫為文獻檢索來源，不設時間限制，共檢索到包含Teaching Evaluation、Evaluation of Teaching等檢索詞的英文研究文獻523篇，經過篩選后得到360篇有效文獻。

研究使用知識圖譜法作為文獻處理和分析的方法，該方法是以科學知識為對象，通過空間表征法，綜合運用科學計量學、信息可視化技術、應用數學、圖形學等學科的理論和方法，揭示科學文獻和引文路徑的復雜交織所反映出的科學交流及發展趨勢[2]。與傳統的內容分析法相比，知識圖譜分析法的優勢在于可以更客觀、形象反映某學科或知識領域的研究熱點和研究趨勢，且能夠完整地呈現出那些有影響性的、高引用率的代表性文獻。從文獻的全面性和系統性角度看，知識圖譜法有其獨特的優勢。但該方法也明顯存在不足——在反映論文更為詳細觀點上的深度不夠。為克服這一缺陷，研究對經知識圖譜分析方法所得到的代表性論文開展了仔細閱讀和主要觀點的梳理與歸納。知識圖譜分析方法僅是本研究的信息收集方法，但研究結論并不僅僅局限于知識圖譜方法所自動生成的諸多圖表信息。

三、學術熱點及發展趨勢

表1-表3是Cite Space軟件分析出的高共被引文獻、高中心性文獻和突現文獻。

上述大部分文獻都對學生評教這一主題進行了討論和分析，這說明學生評教是大學教學評價領域的熱門問題。在學生評教研究領域內，以下問題被多次討論：

表1 Cite Space軟件分析出的高共被引文獻

表2 Cite Space軟件分析出的高中心性文獻

表3 Cite Space軟件分析出的突現文獻

（1）學生評教是否具有較高信度？不同學生的評教結果是否具有一致性？

（2）學生評教是否具有較高效度？評教結果能在多大程度上反映教師教學有效性？

（3）學生在評教過程中是否受到非教學因素的影響從而導致評教結果出現偏差？

（4）學生評教結果的應用中存在哪些問題？如何更好地應用學生評教結果？

（一）評分者信度是影響學生評教信度的重要變量

學生評教信度是指學生評教結果穩定反映教師教學水平的程度。當學生評教結果在不同時間、構成測量的不同項目和不同評價者之間保持一致時，學生評教具有較高的信度。馬什（Marsh）指出，造成學生評教結果不一致的最主要原因是不同學生對同一名教師的評價不同，而不是不同學生評教指標之間缺乏一致性。因此，研究學生評教信度最重要的是檢驗評分者信度（inter-rater reliability），即檢驗同一課程中不同學生之間評教結果的一致性程度[3]。

對評分者信度的研究早已有之。在早期的研究中，學者們普遍使用班級平均評教分數來衡量信度，這種被眾多學者認可的計算方法的最大缺陷是忽略了學生個體之間的差異[4]。隨著統計學的發展和應用，學者們將班級平均情況與學生個體情況納入研究當中，引發了人們對學生評教信度問題的再次討論。莫利（Morley）指出，一些經典研究中檢測學生評教信度的方法雖然廣為流傳，但使用的是班級平均評教分數，且部分存在邏輯問題。他同時提出，不能使用班級平均評教分數的原因是環境污染（environmental contaminates，即班級內部的環境因素如學生之間的交流等）會導致學生評教信度虛高。平均數還會掩蓋影響班級內學生評價教學的重要潛在變量，并不能幫助研究者了解教學之外影響信度系數的環境因素。他使用SPSS宏命令（SPSS macros）對樣本進行單向或雙向的組內相關系數（intra-class correlation coefficient，簡稱ICC）檢驗后發現，在1073個使用特定工具開展評教的班級中，僅有21%~28%的班級內部評分者信度系數大于等0.7[5]。克雷森（Clayson）也對學生評教的信度進行了檢驗，結論與莫利相似。他發現班級內部學生評教結果之間的差異較大，14個班級中僅有4個班級的ICC值大于0.7，且所有班級的Krippendorff's alpha系數都沒有達到可接受的水平[6]。丹妮拉（Daniela）等人運用多級交叉分類模型（cross-classified multilevel models）和方差分量法（variance componen）分析總方差中能用學生、教師和課程特征解釋的比例后發現，學生與教師的相互作用（即學生的期待、能力、興趣等特征與教師的期望、風格等特征的匹配程度）以及一些未知的變量是造成評教結果差異的主要來源，而能夠反映評分者信度的特征只能解釋小部分的學生評教結果差異[7]。

上述3項研究證明，在學生評教中，評分者信度普遍較低。早期研究由于在研究設計上存在問題，從而夸大了學生評教的信度。不過，學者們意識到特定的評教工具可能對信度有所影響，因此沒有徹底推翻學生評教信度較高的傳統結論。

（二）學生學業成就日益成為備受關注的因素

學生評教效度（或有效性）指評教結果反映教學有效性的程度。斯博仁（Spooren）指出，教育學家僅在教學有效性的一些特征（例如豐富的學科知識、良好的課程組織、幫助學生學習、具有教學熱情、及時反饋、與學生進行互動等）上達成共識，但還未能明確定義教學有效性[8]。因此基于這些模糊的教學有效性特征而建立起的學生評教工具之間存在著較大差異，常常被詬病效度較低。對此，以馬什為代表的學者們提出，可轉而研究學生評教與其他衡量教師教學有效性標準之間的相關性，并以此來檢測學生評教的建構效度（construct validity）。如果學生評教結果與學生學習成就、教師自評、同行評議等教師教學有效性標準的測量結果正相關，并且特定的學生評教因子與其在邏輯和理論上聯系最緊密的變量高度相關，則說明學生評教的效度較高[3]。

自1974年蘇利文（Sullivan）等人[9]發現學生評教與學生的平均測驗成績存在正相關以來，學者們使用不同的評教工具與學習成就測量工具，運用多種方法對二者的相關性展開了研究，得出了不一致的結論。就研究方法來說，為了比較學生在不同課程中獲得的學業成就，學者們一般使用多段效度范式（multisection validity paradigm）。近期也有比較新穎的研究方法出現，如加爾布雷斯（Galbraith）使用的神經網絡分析法（neural network analysis）[10]。就研究結論來說，克雷森的元分析顯示，由于統計的復雜性隨時間推移而不斷提高，總體趨勢是后期研究得出的二者相關性普遍小于前期的研究結果。克雷森也指出，造成研究結論不一致的最主要原因還是測量工具的差異。學生評教和學生學習成就的測量工具越客觀，二者的相關性越小[11]。斯特勒（Stehle）的研究也證明了這一觀點，并解釋了不同測量工具影響研究結論的原因。由于客觀考試（在斯特勒的研究中是多選題考試）一般考察陳述性知識，這類知識可通過自學、背誦等渠道獲得，教師在其中發揮的作用不大。而主觀考試（在研究中是考察實踐操作能力的考試）涉及的知識更有可能由教師傳授獲得，教師的教學目標也與主觀題考察的分析問題、應用知識更相符[12]。因此，與主觀測試相比，客觀的學生學業成就測量工具往往更難檢測出教師的作用，測量結果也就與反映教師教學有效性的學生評教結果更不相關。不過，也有與測量方法無關的因素影響著二者的相關性，如學科差異等[11]。可見，學生評教與學生學習成就的關系十分復雜，“評教結果好的教師能讓學生收獲更多知識”這種簡單的論斷并不準確[10]。

也有研究涉及學生評教與教師對教學效果的自評、同行和管理者評價、專業觀察者評價的相關性，但是這類研究數量較少。正如馬什提出的，檢驗學生評教與其他教學有效性標準之間的關系時必須注意評教的多維性[3]。如研究學生評教與教師自評的相關性時，不僅要檢驗二者在總體評價上的相關性，還要在不同的評教維度（例如課堂管理、教學熱情、與學生相處情況等)上檢驗相關性。另外，目前也缺少對學生評教與學生學習動機、學習策略、學習興趣之間關系的探討。教師教學對學生學習的促進不應只表現在學習成就方面，但學生在態度、策略等方面的變化是否可以作為教學有效性的衡量標準、與學生評教存在怎樣的關系還有待研究。綜上所述，學生評教效度是一個被不斷討論但仍存在爭議，有待繼續深化研究的主題。

（三）分數、教師魅力等非教學因素對學生評教結果的影響日益受到關注

常見的非教學因素包括教師、學生和課程的背景特征（background characteristics）如教師的性別、職稱和教齡，學生的興趣、選課原因和預期分數，課程類型、課程安排和課程難易程度等。

1.分數對學生評教的影響

教師和學生之間若存在分數互惠關系，則很容易引發分數膨脹效應。因此學者們就學生分數特別是高于實際學習水平的分數對評教結果的影響進行了大量研究。

首先，學生分數概念的外延擴大了。早期對學生分數的討論局限于實際分數（如課程考試分數）和預期分數（可能反映學生的真實學習水平和受教師評分標準影響的期待分數）。而艾斯利（Isely）指出，學生的相對預期分數（Relative Expected Grade，即預期分數與歷史分數的差值）比預期分數更顯著影響學生評教結果。這是由于歷史分數代表了學生習慣接受的成績，而預期分數可能受具體教師打分習慣的影響，這兩個成績的差值更能反映教師寬松打分的程度，因此應將相對預期分數作為學生分數對學生評教影響的解釋變量[13]。

其次，研究結論各執一詞。對學生分數和學生評教存在正相關關系的解釋衍生出支持兩種截然不同的假設：支持評分寬大假設和支持效度假設。支持評分寬大假設（grading leniency hypothesis）的學者認為，分數互惠導致了正相關，因此寬大評分是學生評教的重要潛在偏差來源。而支持效度假設（validity hypothesis）的學者認為，評教分數高的教師確實促進了學生學習，這些學習效果好的學生獲得了更高的分數，二者的正相關關系恰好證明了學生評教的效度較高[14]。這兩種假設的支持者經過多年討論仍各執一詞。支持評分寬大假設的學者用數據證明，當學生預期分數增加1個單位時，學生評教分數也會相應增加[15]。朗本（Langbein）在控制預期分數、教師和課程特征的影響后也發現，給學生打分高的教師會在學生評教中得到更高分數。因此，學校若為迎合學生喜好，僅將學生評教結果作為評價教師教學水平的依據并以此進行人事決策的話，就會在教師和學生中產生沃博艮湖效應（Lake Wobegon Effect）——即教師的教學水平和學生的學習成就均虛有其表。這不僅不利于教師教學水平的提高，還會對就業市場有一定影響[16]。卡雷爾（Carrell）的研究也發現，寬大評分的做法盡管會使學生們一時取得高分，但學生卻在在后續課程中表現不佳。他同時指出，學生評教對學生在同期課程中的成績有正向預測作用，但對他們的后續成績的預測作用很差[17]。這說明教師評學和學生評教都沒能反映出真實的學習和教學情況。布拉加（Braga）在卡雷爾研究的基礎上更進一步，他證明了學生主要根據課堂中的實際效用即獲得的成績而非教師的教學效果來進行評教[18]。這兩位學者的研究從另一個側面說明學生評教容易受到寬大評分的影響。捍衛學生評教效度的學者重點反駁了評分寬大假設支持者對預期分數與學生評教相關性的解讀，認為預期分數與學生真實學習水平更為相關。這種預期分數與學生真實學習水平的相關性被稱為預期分數的內生性（endogeneity）。希維（Seiver）最早關注到這一點，他認為雖然前人研究發現預期成績影響學生對教師的評價，但實際上教學質量（用學生評教衡量）也可能影響預期成績[19]。在此之后，諸多學者的研究證明，當控制教學質量相關因素之后，預期成績對學生評教的影響會減弱。馬什等人發現，一旦控制學生學習認知的影響，班級平均預期分數和學生評教之間的關系就被消除了[20]。森特拉（Centra）基于大樣本研究也發現，學習成果對學生評教結果產生了很大的積極影響。而在控制學習成果后，預期成績通常不會影響學生評教結果[21]。斯博仁也認為學生評教受學生分數的影響較小，他運用馬什編制的學生評教量表（Students'Evaluation of Teaching，簡稱SET）[22]，運用交叉分類多層次分析（crossclassified multilevel analysis）探究了學生和教師特征對學生評教分數的影響以及造成學生評教結果偏差的因素。結果顯示，人們普遍認為會顯著影響評教結果的因素如學生的分數、課堂參與以及教師的職稱等實際上對結果的影響并不大[23]。

還有研究者對分數的影響持中立態度。如薩巴萊塔（Zabaleta）專門研究了學生課程所得分數與評教結果之間的關系以及教師的年齡、性別、教學經驗等因素對二者的影響，并發現學生所得成績與評教結果之間的關系比較模糊[24]。由此可見，關于分數與學生評教之間的關系目前尚無共識。最近有學者指出，一些研究者似乎經常從前人研究中挑選支持他們假設的結果，甚至產生了研究者偏差（experimenter bias）[25]。

2.教師魅力對學生評教的影響

近年來興起的對教師魅力的關注，源于一個廣泛使用的非官方學生評教網站——RateMyProfessor.com。大學開始對學生評教結果進行匿名處理之后，尋找不到足夠大的樣本成為困擾研究者的難題。因此，研究者開始應用評教網站上公開的數據開展研究。在各類評教網站中，RateMyProfessor.com的影響最為廣泛，它不僅成為美國學生選擇學校和課程時的參考資料，還被一些大學排行榜用作數據來源。許多學者認為，對這種評教網站的數據進行分析，將有助于深入理解學生評價教師的過程和潛在偏差。

RateMyProfessor.com網站使用的評教工具由4個維度組成：課程難度（easiness）、清晰度（clarity）、幫助度（helpfulness）和魅力度（hotness），其中魅力度是爭議較多的維度之一。費爾頓（Felton）指出，課程的難易度以及教授的個人魅力等與教學無關的因素會影響學生評教結果[26]。他認為個人魅力強的教師會產生光環效應，即這種好的總體印象會影響學生對其他方面的判斷。但這項研究沒有考慮到評分中的負值的缺失值，對此，費爾頓在此基礎上做了改進性研究，結果同樣發現總體教學質量和教師個人魅力之間存在統計上的顯著相關[27]。羅森（Rosen）在費爾頓的基礎上對魅力度數據進行了更科學的處理，依然得出教學質量評分與個人魅力呈正相關且不同學科獲得的評教分數存在差異的結論[28]。這些研究都一致證明了教師個人魅力與學生評教之間的正相關關系。

隨著時間推移和數據處理技術的進步，有學者開始質疑使用RateMyProfessor.com網站數據進行研究的科學性問題。克雷森就指出，RateMyProfessor.com網站使用的評教工具不是評價教學有效性的工具，而更像是學生喜愛度量表，因此用這種工具評價教師教學質量是不合理的。但也有研究發現，RateMyProfessor.com網站的評教結果與院校自行組織的學生評教結果在統計上具有相關性，因此院校也需要重新檢查自己使用的評教工具[29]。除了教師個人魅力外，課程難易程度、教師性別等也是討論的熱點，但研究結論尚未達成共識。另外，隨著網絡評教的興起，學者們開始關注不回應偏差（non-response bias）對學生評教的影響。賴森維茨（Reisenwitz）的研究指出，參與網絡評教的學生與未參與評教的學生在性別、種族、GPA方面存在顯著差異，拒絕參與評教的學生可能影響由參與評教學生組成的樣本的代表性。為此，大學應通過加強動員，采用紙質評教與網絡評教相結合的方式來避免這種偏差[30]。

總體而言，非教學因素對學生評教的影響是一個討論豐富但結論不統一且仍有待繼續研究的主題。

（四）學生評教結果應用中的問題不斷涌現

如何使用學生評教結果來幫助教師提高教學水平呢？學生評教除了能為管理者人事決策提供信息外，還應能診斷教師教學的優缺點。盡管學生評教提供的信息有潛在的用處，但如果直接將學生評教結果反饋給教師，可能對教師教學水平的促進作用非常有限。因為在缺乏指導和幫助條件下，教師不一定會主動改進教學。甚至有學者發現，學生評教的結果越負面，教師行為就越不可能發生變化[31]。馬什指出，學生評教結果摘要、針對教師個人的總結材料、結合學生評教結果的教學專家咨詢這3種反饋方式對教師教學水平的影響依次增大[22]。因此，學校管理者若想充分利用學生評教資源，應當請教學專家有針對性地幫助教師改善教學。另一個重要問題是如何更加科學地解讀評教結果。學生評教結果可分為兩類：一類是評教分數，另一類是開放性問題的回答。首先，現實中存在管理者誤讀評教分數的現象。博耶森（Boysen）發現，管理者大多缺乏統計學知識，因此經常使用分高者更優的慣性思維來比較不同教師的學生評教分數，這種比較甚至精確到學生評教平均分數的小數點后3位。但實際上，比較學生評教中很小的差異是不科學的，因為可能是與教學無關的因素影響了評教分數。為此，他提出解釋學生評教結果的原則——不能直接對原始平均分進行比較,要使用嚴格的統計方法如計算測量的標準誤和置信區間以及給出真分數的范圍等[32]。其次，實踐中存在對學生評教信息挖掘不夠的問題。雖然斯文尼奇（Svinicki）[33]的研究證明了開放性評價在學生評教中具有重要作用,并建議在設計學生評教問卷時關注設置開放性問題，但是由于開放性問題回答的文本量過大，相關人員并沒能挖掘其中蘊含的豐富信息。近年來，隨著文本分析軟件的發展，此種情況才有所改變。

四、結論與討論

（一）學生評教的必要性

學生評教作為一種手段和工具，是為滿足評價大學教學水平需要而產生和發展起來的。除了學生評教這種手段之外，教師自評、同行評價、督導評價等其他方法也在大學教學評價實踐中有所使用。相對而言，學生評教因其操作簡便且能反映學生在教學和學校管理中的主體地位而被眾多院校采用，并已成為當前最主要的教學評價手段。從知識圖譜分析結果來看，學生評教也是大學教學評價領域的熱門主題。盡管如此，很難說學生評教就是最佳手段。學生評教的信度、效度、影響研究還有諸多有待討論之處。在尚未找到最佳手段之前，學生評教只能作為權宜之計而存在。

在有關大學教學水平評價的研究中，學者們不斷致力于對學生評教開展深入細致的研究，以便持續推動該方法的優化并提升其科學性。假使未來，人們能更清楚地揭示出學生評教實踐中的謎團、困惑和可靠的技術路徑，學生評教將可為大學教學評價提供更為有力的幫助和貢獻。限于人們對學生評教當前的認識水平和實踐經驗，保持清醒、理性和謹慎的態度應用學生評教是十分必要的。沒有學生評教的大學教學評價是不完善和不全面的，但單純依賴學生評教開展教學評價的做法也是不可取的。

（二）學生評教效度

格林沃爾德（Greenwald）[34]的研究為思考學生評教效度開啟了更為廣闊的視角，他提出的4種效度——概念結構、聚合效度、區分效度和結果效度實際上分別對應于實踐中的如下4個基本問題：學生評教的維度即指標體系應該是怎樣的？學生評教的結果能否真正篩選出那些可以稱之為有效的教學？教學之外的哪些因素影響學生評教的結果？學生評教是否能達到促進教師專業發展的目的？這4個問題也正是當前我國大學在應用學生評教過程中所面臨的困惑。

首先，在評教指標體系方面，科學性不高是一個普遍問題。例如，在不少院校，諸如“老師不遲到、不早退”之類的問項常被用作評價維度。其實，不遲到和不早退是教師教學中的一個事實行為，它并不需要學生做主觀價值判斷。對此類行為，利用技術手段如實記錄即可獲得證據。交由學生判斷，便出現與事實不符的調查結果。類似不科學的問項在學生評教問卷中的出現，足以反映當前我國院校學生評教問卷的質量是令人擔憂的。院校管理者或相關部門有時候并不重視學生評教問卷的科學性，也較少開展規范的科學研制，大多數時候是由非專業的管理人員依據經驗或是別校的樣例東拼西湊而成，也有不少院校的學生評教問卷是由承擔問卷實施系統的技術公司提供的。學生評教的有效性本來就受制于很多難以控制因素的影響，如再加之問卷質量科學性不夠的現實，其結果的應用和參考價值自然就大打折扣了。

其次，在關于學生評教結果與有效教學或學生學業成就之間的關系問題上，克雷森和加爾布雷斯的研究結論顛覆了人們之前已經形成的對此問題的既有觀念和看法。本來，人們只是想通過學生評教促進教師更好地教學并最終達到學生獲得更多學業成就的目的，現在既然評教結果與學生學業成就之間的關系很模糊甚至很小的話，似乎實在沒有必要耗時耗力地實施學生評教了。的確，假使學生評教只有此種單一功能的話，放棄它沒有什么壞處。但是，學生評教已經被寄托了除此之外的其他用途——課程教學質量鑒定、教師人事決策、學生的課程教學滿意度測評等。

第三，如何恰當看待影響學生評教結果的因素以及降低或控制這些影響因素。如前所述，有太多因素會影響或干擾學生評教的結果，這為后續充分利用學生評教結果實現其他管理目標帶來客觀上的障礙和挑戰。隨著研究的深入，有可能還會進一步發現更多的影響因素。發現這些影響因素是必要的，但更重要的是在實施學生評教時如何控制這些影響因素，或是將其作為控制變量，這是后續有待深入研究的一個重要方向。

最后，在教師人事管理中如何恰當利用學生評教的結果。簡單地將學生評教結果與教師的獎懲、薪資直接掛鉤的做法是不當的，也是不負責任的。但現實中，有很多院校卻是這樣做的。這種做法歪曲了學生評教本該具有的良好價值屬性，并導致教師對學生評教產生更大的抱怨和誤解，甚至還會促使教師與學生聯手合作——學生獲得滿意的分數、教師得到中意的評教結果。學生評教作為教學評價手段的初衷本是服務于教師專業發展，確切地說，是用于尋找和收集教師教學的不足與缺陷。

（三）學生評教結果的應用風險

基于人們對學生評教的認識水平和應用現狀，有兩類風險在實施學生評教時應予以正視和防范。

一是系統性風險。系統性風險是指那些由學生評教作為一種評價手段的功能局限而帶來的風險。上述的學生評教結果未必與學生學業成就以及有效教學之間密切相關、諸多目前尚難以控制的因素對學生評教結果的影響等均屬于系統性風險。系統性風險是不可避免的，但卻是可容忍的。畢竟，任何事物都有其固有的局限性。防范系統性風險的根本辦法是在任何時候都不要把學生評教作為衡量大學教學水平的唯一手段。與此同時，通過加深對學生評教客觀規律的認識來給學生評教實踐“打補丁”。另一種風險是誤用性風險。誤用性風險是指那些因未能使用科學的學生評教問卷或是濫用學生評教結果而導致的風險，如使用低質量的學生評教問卷、將學生評教結果與教師獎懲、薪水直接掛鉤等就屬于誤用性風險。誤用性風險的危害遠大于系統性風險，是需要力爭在實踐中予以有效防范的。要想做到這一點，首先需要教學管理人員樹立對教育科學成果的敬畏之心，其次，在學生評教問卷研制、結果運用的過程中盡可能地吸收教師和學生的意見和建議。