謝利民 徐小華
課堂是學校教育教學的主陣地,課堂教學質量是學校辦學質量的一個重要方面。課堂教學評估是診斷課堂教學水平,引導課堂教學改革,提高教學質量的有效途徑。在課堂教學評估中,定量分析和定性分析是最常用的分析方法,兩種分析方法辯證統一、互為補充。評估數據的定量分析又是課堂教學定性分析的基礎和依據,做好定性分析至關重要。本文以無錫市職業教育綜合督導課堂教學評估為例,闡述了課堂教學評估數據的統計分析方法,并運用Excel、SPSS軟件分析出相應的圖表結果。
一、課堂教學評估數據的分布形態分析
1.課堂教學評估量表
評估量表是評估的標尺,量表評估法是各類評估中應用最為廣泛的評估方法。在無錫市職業教育綜合督導課堂教學評估中采用五級評估量表。量表分為教學目標、教學內容、教學方法、教學過程、教學技能、教學效果六個評價維度,每個評價維度有若干個觀測點。每個維度的評價等級分為A、B+、B-、C、D五個等級,分別表示優秀、良好、一般、合格、不合格五種不同的評價程度。綜合評價等級由六個維度的評價等級確定:單項評價高于等于4個A以上且沒有B-、C和D,綜合評價為A;單項評價高于等于5個B+以上且沒有C和D,綜合評價為B+(綜合評價低于A);單項評價高于等于5個B-以上且沒有D,綜合評價為B-(綜合評價低于B+);單項評價高于等于5個C以上,綜合評價為C(綜合評價低于B-);低于綜合評價C標準的為D。
2.評估數據統計分布形態分析
在對無錫市職業學校進行綜合督導課堂教學評估中,專家們走進課堂進行大規模聽課并通過評估量表對每一堂課作了教學評價。通過對綜合評價等級的統計,計算出每個等級的百分比。畫出各等級百分比柱狀圖,得到被評估學校課堂教學評估數據形態。無錫市各職業學校課堂教學評估數據基本呈正偏態分布,課堂教學生態良好。如某職業學校共聽課154節,其中A等級課27節,占所聽課數的17.53%,B+等級課63節,占所聽課數的40.91%,B-等級課52節,占所聽課數的33.77%,C等級課12節,占所聽課數的7.79%,無D等級課,運用Excel軟件生成評價等級分布形態,如下圖所示。
無錫市某職業學校評價等級分布形態
在大規模課堂教學評估中,多位專家獨立給出的群體評判結果近似服從正態分布。根據這一規律,在評估前需要對專家的評判心理尺度進行調適,使專家們的評判心理尺度趨于一致。如根據正態分布規律給出各等級的參考比例范圍,A為15%、B+為35%、B-為35%、C為13%、D為2%,考慮到各校教育教學水平有高有低,各等級比例差異范圍控制在±3%以內。通過專家心理評判尺度的調適,可以有效控制評課質量。
二、課堂教學評估數據的描述性分析
在課堂教學評估中,運用教育評估計算學的方法處理教學評價過程中專家記錄的原始數據,以挖掘更多的教育信息,來診斷一所學校教學運行的整體狀況,以達到有效指導學校教學的目的。為了便于計算,通過等級賦值的方法先將定序數據轉換為定距數據。常用的數據統計分析方法有反映數據集中程度的眾數、中位數、平均數,以及反映數據離散程度的異眾數、平均差、標準差、差異系數等。通過數據分析,有利于進一步描述學校的教學狀態與教師的教學水平。
1.課堂教學好評度
該指標為評價學校教學質量的一個重要指標。首先運用組距數列平均數的計算原理計算出每位被評教師的課堂教學好評度,計算公式為:
式中xp為各組中值,f為各組次數。如某被評教師的評價量表中六個評價維度有1個A、2個B+、2個B-、1個C,無D等級,如表1所示。按照上述公式計算,該教師的課堂教學好評度為79.5分。在此基礎上,再計算該校所有教師的好評度算術平均值,即為該校的課堂教學好評度。
2.教學水平標準差
標準差是評價事物或現象內部差異情況的一個指標,該指標反映出學校教師間教學水平的差異程度,計算公式為:
式中xi皆為實數的數值,μ為平均值。標準差可運用Excel軟件中的STDVEP函數直接計算生成結果。標準差結果落在5-9之間屬正常水平(即評價總分的5%-10%以內)。
3.教學水平差異系數
差異系數又稱變異系數,是測算數據離散程度的相對指標,該指標反映校際之間教學水平的差異程度,是一組數據的標準差與其均值的比值,計算公式為:
式中σ為標準差,為均值。差異系數可運用Excel軟件先計算出標準差和均值,再計算差異系數。
以上闡述了在大規模課堂教學評估中對學校課堂教學質量評估的三個重要數據的計算方法。表2是四所學校在接受無錫市職業教育綜合督導課堂教學評估中計算所得的相關數據。通過數據比較表明:D學校的課堂教學好評度最高;標準差最小表明該校教師教學水平比較接近;差異系數最小表明該校在四所學校中教學水平最高。
三、課堂教學元評估中的計算分析
所謂元評估(Meta-evaluation)指按照一定的評估理論和價值標準對評估的質量及結論進行評估,即對評估項目的評估。教育元評估的主要目的是檢驗教育評估中可能出現的各種偏差,判斷評估工作的質量、規范與完善教育評估活動。在20世紀90年代,Stufflebeam,D.L.教授設計公布的JCSEE元評估量表在元評估中應用廣泛,影響深遠。一般傳統的元評估方法是專家通過使用元評估量表的形式進行的。
如今信息技術高速發展,教學評估過程中大量工作都利用計算機網絡來完成,過程性數據被記錄在評估系統的數據庫中。在教育評估系統中導出可在SPSS軟件中運行的數據即可計算元評估的相關指標數據,如在課堂教學評估中通過計算斯皮爾曼相關系數、肯德爾和諧系數來確定評判者的信度。
1.斯皮爾曼相關系數計算分析
在課堂教學評估中提供給評判者評估指標和觀測點,在多位專家同時對同一個評估對象進行評判時,評判者評判的分數越一致,評分的信度越高。在無錫市職業教育大規模課堂教學評估中,部分課堂安排兩位專家同時聽課,通過計算兩位專家的斯皮爾曼等級相關系數來確定評判的信度。斯皮爾曼等級相關系數計算公式為:
式中xi、yi為兩個數據集合,有N個元素。斯皮爾曼等級相關系數的計算也可運用SPSS軟件中的相關分析功能來實現。如表3是運用SPSS軟件計算兩位專家在某校課堂教學評估中的評分結果的等級相關系數Rs=0.854,為顯著相關,專家的評判信度較高,運用SPSS軟件分析輸出結果如表3所示。
2.肯德爾和諧系數計算分析
在無錫市職業教育大規模課堂教學評估中,部分課堂安排3位專家評價同一節課,在3位及以上多位評判者同時評判時需通過計算肯德爾和諧系數來確定評判的信度,計算公式為:
式中n為被評的對象數,m為評分者人數或評分所依據的標準數,S為每個被評對象所評等級之和Ri與所有這些和的平均數的離差平方和。肯德爾和諧系數的計算也可運用SPSS軟件中的相關分析功能來實現。如表4是運用SPSS軟件計算3位專家在某校課堂教學評估中的評分結果的等級相關系數Kendall W,檢驗得Rw=0.890,為顯著相關,專家的評判信度較高,運用SPSS軟件分析輸出結果如表4所示。
四、結束語
在無錫市職業教育綜合督導課堂教學評估中,除了由課堂教學專家評課外,今年還增加了企業專家參與課堂教學評價、課堂教學學生問卷調查兩個環節,使學校可以了解到企業對職業學校的辦學期盼及課堂教學的要求,讓學校傾聽課堂教學親歷者對課堂教學的訴求。這種以課堂教學專家評估為主,多方參與評估的課堂教學評估形式,將為學校的課堂教學改革提供更全面的可資借鑒的決策依據,同時多方評估的數據合成處理也將成為新的研究熱點。
無錫市職業教育綜合督導課堂教學評估開展一年多來,無錫市教育評估院共計組織評估專家500多人次,聽評課1000多節,形成高質量的評估報告8份。其中對6000多個評估數據的統計分析為無錫市職業教育課堂教學水平進行了診斷,為課堂教學評估的定性分析、等級評價分析、評語鑒定分析、寫實分析提供了數據支撐,也為相關職業學校后續的教學工作改進提供了真實可信的依據。endprint