錢靜
(清華大學 心理學系,北京 100000)
教學評價系統的改進方案研究*
錢靜
(清華大學 心理學系,北京 100000)
教學質量是高校發展的生命線,教學評價不僅能評估教學質量,還能在相當的程度上引導教學與學校的整體目標一致。目前,大多數高校已經建立起了多元化、多角度的教學評價系統。文章嘗試對教學評價系統中綜合得分的計算方法做有意義的改進,用靈活的德爾菲專家評判法賦予各指標與其重要性相匹配的權重,從而使最終的評價得分更趨合理。
教學評價系統;德爾菲法;打分權重
教學評價是高等院校保證和提高教學質量的重要途徑,教學評價通常會和教師的切身利益直接相關,它起到了激勵和引導教師不斷提升教學質量的重要作用,而教學評價的內容和考核計分方法也有明確的指向作用,與學校的整體教學目標相一致。
目前各高校均有自己個性化的教學評價方法,這些評價方法考核的內容不盡相同,但通常都要用指標量化打分的形式來展現評價結果。以下用某高校的教學評價系統作為案例進行說明,表1展示了這個評價系統的主要結構。

表1
學生需要就這些指標對老師分別進行0~100打分,某老師每個指標的得分是所有學生對這個指標打分的算數平均值,某老師的最后的綜合得分是所有指標得分的算術平均值。
這個評價系統試圖從多方面對老師進行評價,前4個是學校通用指標,表達了學校對所有課程的共性要求。分別從課程目標、教學方法、學生受益程度、相對優秀程度四個方面反映教學效果;第5個指標是院系導向指標,這是各個院系根據自己的規劃特點選擇的指標;第6個是課程類型指標,對文理等不同類型的課程有不同的設置,比如對于理科課程可以如上設置理論教學能力指標,考察老師基本概念的介紹是否透徹、深入淺出,而對于文科課程則可以改換成學科知識覆蓋面指標,考察老師對于學科內的基本知識是否有廣泛的覆蓋性。第7、8兩個指標是教師自選個性指標,如例子中的教師推薦度和知識新穎度,是授課老師根據自己的教學特點選擇的個性化指標,以免千篇一律的設置埋沒了老師的個性化特點。
假設老師每個指標的得分為Si(i=1,2,…,8),則最后的綜合得分為:

上述簡單算術平均的計算方法意味著假設所有的指標均有同等的重要性,文章嘗試通過德爾菲法(專家評判法)來改進其最終得分的計算方法,賦予不同的指標以不同的權重,希望能使上述案例最終的打分結果更符合實際情況。
改進后的教師綜合得分將是:

其中Ci(i=1,2,…,8)即為用德爾菲法確定的經過歸一化的各指標權重,與專家們對其重要性的總體判斷直接相關,較重要的指標會有較大的權重。
這里我們采用成熟的德爾菲法(專家評判法)來確定各指標的權重。德爾菲法的思路是:組織若干對所評估的對象熟悉的專家,各自根據經驗對每個評價指標賦予權重,然后將專家意見集中起來確定最終的權重。各專家對指標權重獨立打分,專家人數一般以10~30人為宜,并且應覆蓋盡量多的專業和背景。
假設組織m個專家來做評判,指標共有n個,為Xj(j=1,2,……,n),第i個專家對第j個指標權重的打分為Wij,評判結果見表2。

表2
其中Wij是歸一化后的打分值是賦予專家本身重要性的權重,根據專家對于所評估的對象的熟悉程度事先確定,可參照表3:

表3
設置Ai的意圖是根據專家對所評估對象的熟悉程度來增加或減少其打分在最后結果中的影響。
由于教師綜合評價系統里的各指標反映了教師教學效果的不同方面,專家們在對其進行0~10打分時通常都會集中在7~8分左右,區分程度并不明顯,為此我們借鑒層次分析法的基本思想,不要求專家進行直接的打分,而要求他們對指標進行重要性排序,以此來增加區分度。接著,我們再對重要性名次賦予相應分值,第一名到第八名分別賦予8到1分,越重要的指標分值越高。然后再應用德爾菲法計算權重。
實際應用中我們可能要將一個教學評價系統中所有的可選指標都拿來交給專家打分,才能滿足實際應用的需求,文章著重在說明方法,選取的案例較為簡單,只對列明的8個指標進行打分,更細致的情形留待進一步研究。
我們分別咨詢了物理、數學、計算機、天文、生物、法律、金融、建筑等領域的10位科研、教育工作者,他們幾乎全部在高等院校或研究所從事科研和教育工作,平均年齡在35歲左右,平均執教經歷5年以上。他們對8項指標的打分結果如表4所示。

表4
用德爾菲法計算出指標1到指標8的權重分別為表5所示。

表5
可以看出專家們對第6個指標理論教學能力和第8個指標知識新穎度的認可度最高,權重都超過了0.15,這兩個都是直接衡量知識傳授效果的指標;而第4個指標學生認可度的權重最低,沒有超過0.1,反映了專家們還是傾向于認為教師授課的絕對效果更重要。權重最高的指標6比權重最低的指標4權重值高出67.13%,表明加入權重因素對最終的結果影響還是很大的。
[1]袁振國,金娣,王剛.教育評價與測量[M].北京:教育科學出版社,2001.
[2]朱德全,宋乃慶.現代教育統計與測評技術[M].重慶:西南師范大學出版社,1998.
[3]張遠增.高等教育評價方法研究[M].復旦大學出版社,2002.
Teaching quality is the lifeline of the development of colleges and universities.Teaching evaluation cannot only assess the quality of teaching,but also,to a considerable extent,guide the teaching to match with the school's overall goals.At present,most colleges and universities have established a diversified and multi-angle teaching evaluation system.This paper attempts to make meaningful improvements in the calculation method of the comprehensive scores in the teaching evaluation system and uses flexible Delphi method to assign weights which matches with the importance of each indicator,in order to make the final score more reasonable.
teaching evaluation system;Delphi method;scoring weights
G642
A
2096-000X(2016)23-0128-02
本研究由國家自然科學基金(71401089)以及清華大學自主科研基金(20151080447)資助。
錢靜,清華大學心理學系講師,主要研究心理學與生活、心理測量、行為經濟學。