盛艷燕,喻秋山
(1.長(zhǎng)江大學(xué) 管理學(xué)院,湖北 荊州 434023;2.長(zhǎng)江大學(xué) 物理科學(xué)與光電學(xué)院,湖北 荊州 434023)
專家評(píng)教:一分之差的涵義分析
盛艷燕1,喻秋山2
(1.長(zhǎng)江大學(xué) 管理學(xué)院,湖北 荊州 434023;2.長(zhǎng)江大學(xué) 物理科學(xué)與光電學(xué)院,湖北 荊州 434023)
評(píng)教專家對(duì)不同教師給出的分?jǐn)?shù)通常只有一分之差,甚至更少,卻包含了能力評(píng)價(jià)和情緒表達(dá)兩種涵義。多面Rasch模型分析發(fā)現(xiàn):一分之差代表了不同的能力差距,在高分段,一分之差代表了更大的能力差距。訪談和編碼分析后發(fā)現(xiàn),教師的能力水平、評(píng)委情緒和情緒表達(dá)規(guī)則是這種現(xiàn)象產(chǎn)生的原因。因此,教學(xué)能力評(píng)價(jià)應(yīng)采用能力估計(jì)值劃分等級(jí)的方法、中等能力水平分?jǐn)?shù)應(yīng)再次劃分等級(jí)、建立評(píng)教專家的選拔、培訓(xùn)制度。
專家評(píng)教;一分之差;多面Rasch模型
專家評(píng)教是目前大學(xué)教師課堂教學(xué)能力評(píng)價(jià)的重要組織形式。在大學(xué)教師課堂教學(xué)能力評(píng)價(jià)中,一種普遍的現(xiàn)象是,評(píng)教專家很少給出很低的分?jǐn)?shù),也很少給出很高的分?jǐn)?shù),大多數(shù)分?jǐn)?shù)集中在一個(gè)特定的分?jǐn)?shù)段,專家對(duì)不同教師給出的分?jǐn)?shù)差距往往只有一分,甚至更少。這是否說(shuō)明大學(xué)教師課堂教學(xué)能力得分差距為一分的教師,其能力差距是相同的呢?專家給出的一分之差究竟意味著什么?對(duì)于這些問(wèn)題的回答,能夠幫助我們認(rèn)識(shí)評(píng)教專家履行職責(zé)的特殊方式,揭示分?jǐn)?shù)背后的心理屬性[1],提高評(píng)價(jià)結(jié)果的應(yīng)用價(jià)值。
有關(guān)大學(xué)教師教學(xué)能力評(píng)價(jià)的研究主要集中在評(píng)價(jià)指標(biāo)的內(nèi)容和權(quán)重[2-3]、評(píng)價(jià)主體的選擇、評(píng)價(jià)結(jié)果反饋和評(píng)價(jià)數(shù)據(jù)的處理[4-5],少數(shù)研究者利用多面Rasch模型研究評(píng)教主體的評(píng)分行為差異[6],認(rèn)為評(píng)分差異產(chǎn)生的原因來(lái)自評(píng)教主體、量表和外界因素的相互作用[7],提出了矯正評(píng)教主體影響評(píng)分結(jié)果的方法[8],但沒(méi)有從評(píng)分差異角度探討評(píng)教主體的心理行為,因而沒(méi)有揭示分?jǐn)?shù)所包含的心理屬性,由此不能回答“一分之差究竟意味著什么?”
借鑒已有的研究成果,本文利用多面Rasch模型將評(píng)教分?jǐn)?shù)差距轉(zhuǎn)化為能力差距,用來(lái)分析評(píng)教分?jǐn)?shù)差距所代表的能力差距,并結(jié)合訪談法分析評(píng)教專家的心理行為,從而揭示分?jǐn)?shù)包含的能力屬性和情緒屬性,說(shuō)明專家用一種特殊的方式履行評(píng)教職責(zé),一分之差其實(shí)包含了能力評(píng)價(jià)和情緒表達(dá)兩種涵義。
測(cè)量理論認(rèn)為個(gè)人能力是一種潛在特質(zhì),正確做答的概率是個(gè)人潛在特質(zhì)水平的函數(shù)[9],也會(huì)受到評(píng)委和測(cè)量題目因素的影響。[10]多面Rasch模型是目前發(fā)展最為成熟的潛在特質(zhì)理論模型,它用線性方程將做答概率、評(píng)委、考生能力和題目難度在同一尺度上,從而更加準(zhǔn)確地測(cè)量個(gè)人的潛在特質(zhì),也為評(píng)委評(píng)分差異分析提供了思路和方法。多面Rasch模型的表達(dá)式為:
Log(Pni,jk/Pni,j(k-1))=Bn-Di-Cj-Fk。其中,Pni,jk是考生n在項(xiàng)目i上被評(píng)委j評(píng)定為k等級(jí)的概率;Pni,j(k-1)是考生n在項(xiàng)目i上被評(píng)委j評(píng)定為k-1等級(jí)的概率;Bn是考生n的能力參數(shù)(n=1, 2……N);Di是任務(wù)i的難度參數(shù)(i=1,2……);Cj是評(píng)委j的寬嚴(yán)程度(j=1, 2……);Fk是被試得分從等級(jí)k-1到k的等級(jí)難度?,F(xiàn)行的大學(xué)教師課堂教學(xué)能力評(píng)價(jià)往往采用評(píng)委獨(dú)立評(píng)分的方式,但評(píng)委評(píng)分的寬嚴(yán)程度存在顯著差異[6],對(duì)評(píng)分標(biāo)準(zhǔn)的理解和使用往往不一致。[7]如果要準(zhǔn)確評(píng)價(jià)大學(xué)教師的課堂教學(xué)能力,分離出評(píng)委因素對(duì)評(píng)價(jià)結(jié)果的影響是有必要的。所以,我們假設(shè)多面Rasch模型適用于評(píng)教專家的評(píng)分行為差異分析。
心理學(xué)認(rèn)為情緒影響人的行為,情緒評(píng)估理論將其過(guò)程表示為“感知—評(píng)價(jià)(歸因)—產(chǎn)生情緒—情緒表達(dá)—行為”。[11]特定情景事件可以誘發(fā)多種情緒[12],個(gè)體遵從社會(huì)或他人所接受、認(rèn)可的標(biāo)準(zhǔn)來(lái)調(diào)節(jié)和控制自己的情緒,并用符合社會(huì)規(guī)則的方式來(lái)表達(dá)情緒,產(chǎn)生與社會(huì)規(guī)則相符的行為。[13]在大學(xué)教師課堂教學(xué)能力評(píng)價(jià)中,評(píng)委將教師的課堂表現(xiàn)收集、分析、解釋和歸納到相應(yīng)的評(píng)分標(biāo)準(zhǔn)中,教師的課堂表現(xiàn)誘發(fā)評(píng)教專家產(chǎn)生一系列認(rèn)知評(píng)價(jià),形成情緒。但是,評(píng)教專家并沒(méi)有直接將情緒表達(dá)出來(lái),而是對(duì)不同的對(duì)象使用了不同的情緒表達(dá)規(guī)則。[14]對(duì)于不同教學(xué)能力的教師,評(píng)教專家在內(nèi)心給定某個(gè)教師一個(gè)課堂教學(xué)能力評(píng)價(jià)分?jǐn)?shù)之后,再遵從一定的情緒表達(dá)規(guī)則對(duì)分?jǐn)?shù)進(jìn)行調(diào)整,直到給出最終分?jǐn)?shù)。因此,教師課堂教學(xué)能力、評(píng)教專家的情緒及其表達(dá)規(guī)則影響教師課堂教學(xué)能力分?jǐn)?shù),我們假設(shè)分?jǐn)?shù)具有能力屬性和情緒屬性。
2.1 樣本與數(shù)據(jù)來(lái)源
本次研究從某高校的一個(gè)學(xué)院收集了2014年11月至12月的107份課堂教學(xué)評(píng)價(jià)表。評(píng)委共有6位,被評(píng)價(jià)的教師共有23位。根據(jù)多面Rasch模型的要求,我們剔除了部分評(píng)分表:2位評(píng)委分別只對(duì)兩位不同的教師進(jìn)行了評(píng)分,這2位評(píng)委填寫(xiě)的評(píng)分表被剔除;一位教師只被一位評(píng)委評(píng)價(jià)一次,該教師的評(píng)分表也被剔除。
按照教師編號(hào)對(duì)數(shù)據(jù)分類整理。評(píng)委的編號(hào)為A、B、C、D,教師的編號(hào)為S1、S2、S3…S22。18位教師分別被4位相同的評(píng)委評(píng)分,其他4位教師被若干不同的評(píng)委評(píng)分,每個(gè)教師的最后得分用評(píng)委評(píng)分的均值表示。例如,評(píng)委A對(duì)S1教師評(píng)價(jià)兩次,評(píng)委A給S1教師的分?jǐn)?shù)按照兩次評(píng)價(jià)的均值計(jì)算,評(píng)委B對(duì)S1教師評(píng)分一次,S1教師的最后得分按照評(píng)委A和評(píng)委B評(píng)分的均值計(jì)算。經(jīng)過(guò)分類整理,本次研究的樣本由 4位評(píng)委、22位教師的評(píng)分?jǐn)?shù)據(jù)共77個(gè)構(gòu)成。
2.2 分?jǐn)?shù)—能力差距的關(guān)系分析
測(cè)量學(xué)原理認(rèn)為,分?jǐn)?shù)代表能力,分?jǐn)?shù)越高代表能力越強(qiáng),相同的分?jǐn)?shù)差距代表相同的能力差距。Facets軟件將原始分?jǐn)?shù)分解為能力估計(jì)值、題目難度和等級(jí)難度,用以檢驗(yàn)?zāi)芰κ欠耠S分?jǐn)?shù)增加而提高,并用等級(jí)間距表示能力差距,因而原始分?jǐn)?shù)和能力估計(jì)值可以反映分?jǐn)?shù)差距和能力差距之間的關(guān)系。
原始分?jǐn)?shù)的多面Rasch分析結(jié)果見(jiàn)表1。先計(jì)算每個(gè)教師的能力估計(jì)值,再按能力估計(jì)值從低到高排序,再用相臨兩個(gè)能力估計(jì)值的較大數(shù)減去較小數(shù),得到每個(gè)教師能力估計(jì)值差距,最后計(jì)算相臨兩個(gè)教師的原始分?jǐn)?shù)之差得到原始分?jǐn)?shù)差距。從原始分?jǐn)?shù)差距來(lái)看,例如,教師S9的能力估計(jì)值為-0.51Logits、原始分?jǐn)?shù)為83.36,教師S12的能力估計(jì)值-0.34 Logits、原始分?jǐn)?shù)為84.36,說(shuō)明增加原始分?jǐn)?shù)增加1分,能力估計(jì)值增加0.17 Logits。教師S3和S15的原始分?jǐn)?shù)相差為1分,而能力估計(jì)值相差為0.08 Logits,但是教師S2和S7、教師S14和S11的原始分?jǐn)?shù)相差均為0.12,而能力估計(jì)值相差分別為0.03 Logits和0 Logits。教師S10和S2、教師S4和S15的原始分?jǐn)?shù)相差均為0.64,而能力估計(jì)值相差分別為0.13 Logits和0.21 Logits。從能力估計(jì)值差距來(lái)看,教師S2和S7、教師S17和S16的能力估計(jì)值相差均為0.03 Logits,而原始分?jǐn)?shù)相差分別為0.12分和-0.12分。教師S6和S13、教師S1和S4、教師S16和S1的能力估計(jì)值相差均為0.06 Logits,而原始分?jǐn)?shù)相差分別為0.36分、0.24分和0.48分。因此,原始分?jǐn)?shù)差距相同,但教師的能力差距不同,而能力估計(jì)值差距相同,原始分?jǐn)?shù)差距卻不同,所以一分之差代表了不同的能力差距。
為了考察分?jǐn)?shù)—能力差距的變化,本文按照表1的順序?qū)⑺薪處煹脑挤謹(jǐn)?shù)和能力估計(jì)值分為高、中、低3組,每組6人,結(jié)果見(jiàn)表2。先檢驗(yàn)分組的統(tǒng)計(jì)適合程度,利用SPSS20.0軟件的方差分析得到Levene=1.074(P=0.366),說(shuō)明每個(gè)組別的方差是齊性的,滿足方差分析的條件,F(xiàn)=35.055(P=0.00),說(shuō)明組間差異顯著,本文的分組結(jié)果符合統(tǒng)計(jì)要求。為了原始分?jǐn)?shù)差距能夠相互比較,我們分別從高分組、中等組和低分組中等距取整數(shù),86分對(duì)應(yīng)的能力估計(jì)值為-0.16 Logits至-0.03 Logits之間,88分對(duì)應(yīng)的能力估計(jì)值為0.24 Logits,90分對(duì)應(yīng)的能力估計(jì)值為0.74 Logits。那么,每組之間的原始分?jǐn)?shù)差距都為2。分?jǐn)?shù)從低分組增加到中等組,能力需要增加0.27 Logits到0.4 Logits之間,而從中等組增加到高分組,能力需要增加0.5 Logits。因此,在不同的分?jǐn)?shù)段,一分之差代表了不同的能力差距,而在高分段,一分之差代表了更大的能力差距。

表1 原始分?jǐn)?shù)的多面Rasch分析結(jié)果

表2 分組取值分析結(jié)果
多面Rasch模型能分析分?jǐn)?shù)—能力差距的關(guān)系,但不能分析這種關(guān)系產(chǎn)生的原因,本文采用訪談編碼的方法分析其原因。
3.1 訪談設(shè)計(jì)
訪談設(shè)計(jì)的依據(jù)是情緒影響決策的文獻(xiàn)。檢索文獻(xiàn)后發(fā)現(xiàn),教學(xué)能力評(píng)價(jià)中暫未有人研究評(píng)委情緒影響評(píng)教結(jié)果的發(fā)生機(jī)制,所以本文將文獻(xiàn)范圍擴(kuò)展到面試評(píng)分研究。Baron將評(píng)委情緒分為正面情緒和負(fù)面情緒[15],方差分析后發(fā)現(xiàn)被評(píng)價(jià)者的資格調(diào)節(jié)情緒和評(píng)委決策之間的關(guān)系。[16]結(jié)合情緒誘發(fā)理論和教師的情緒表達(dá)規(guī)則,我們分析教師教學(xué)能力對(duì)情緒的影響、情緒表達(dá)規(guī)則對(duì)情緒和評(píng)分的調(diào)節(jié)作用。
訪談的對(duì)象是6位多次擔(dān)任教師教學(xué)能力評(píng)價(jià)的高級(jí)職稱教師,包括本次4位評(píng)教專家中的2位。由于條件限制,本文采用多位專家進(jìn)行類比的方法。如果能對(duì)4位評(píng)教專家進(jìn)行訪談,分析結(jié)果更為可靠。
訪談提綱由開(kāi)放式問(wèn)題組成。主要包括:請(qǐng)您講講您打分最高的教師,您給了多少分?聽(tīng)了他的課,你有何感想?您還會(huì)少給分或多給分嗎?請(qǐng)您講講您打分最低的教師,您給了多少分?聽(tīng)了他的課,您有何感想?您還會(huì)少給分或多給分嗎?您對(duì)講課一般的老師課堂細(xì)節(jié)有印象嗎,這些老師帶給您的課堂感受是什么,您給他們?cè)u(píng)分的時(shí)候有什么想法呢?
3.2 訪談內(nèi)容整理與編碼匯總
為了方便區(qū)分正面情緒和負(fù)面情緒,我們采用了邱林修訂后的中文版PANAS。[17-18]該量表被證明適用于中國(guó)人群的情緒測(cè)量[19],我們按照該量表的9個(gè)積極情感和9個(gè)消極情感體驗(yàn)描述詞將評(píng)委的情緒按性質(zhì)歸類。
訪談結(jié)束后,我們按照扎根編碼的分析方法將訪談內(nèi)容進(jìn)行編碼和匯總。部分訪談內(nèi)容和編碼摘錄如下:我給過(guò)的最高分是95分,我覺(jué)得這個(gè)老師的教學(xué)能力水平非常高,準(zhǔn)備充分,是下了工夫的(a14)。他的課讓我也受到了鼓勵(lì)(a11),我覺(jué)得他是值得尊敬和贊賞的(a12、a13)。其實(shí)還可以多給幾分,但別的人可能不會(huì)給太高,所以95分也差不多了(c1),只要能將他和別人區(qū)別開(kāi)來(lái)就行(b1)。 我給的最低分是80分,其實(shí)我覺(jué)得還應(yīng)該低很多(c3),但我覺(jué)得太低了可能打擊一個(gè)人的自信心(a33),畢竟上好課不容易(a32),課程難度也有影響(a34),如果認(rèn)真準(zhǔn)備,可能也不會(huì)太差,當(dāng)然也有人是沒(méi)有責(zé)任心的(a31)。但分?jǐn)?shù)不會(huì)太低(c3),也是給點(diǎn)提示(b3)。大多數(shù)老師的能力屬于中等水平,整體上非常不錯(cuò)(a21),都是認(rèn)真負(fù)責(zé)的,可惜沒(méi)有特色(a22),產(chǎn)生這種現(xiàn)象的原因是多方面的(a14,a34)。他們之間的能力水平很難區(qū)分,外界影響比較大(b2),分?jǐn)?shù)不確定性比較大(c2)。
將所有的編碼匯總,結(jié)果見(jiàn)表3。

表3 編碼匯總結(jié)果
3.3 情緒影響分?jǐn)?shù)—能力差距的編碼分析
3.1 不同能力水平引發(fā)評(píng)委的不同情緒
特定情緒由多種情緒評(píng)估認(rèn)知構(gòu)成,不同特征的個(gè)體引發(fā)不同情緒。編碼匯總后發(fā)現(xiàn),高能力水平的教師引發(fā)評(píng)委多種正面的、積極的情緒,例如備受鼓勵(lì)(a11)、尊敬(a12)、贊賞(a13)和內(nèi)部歸因(a14),我們將這些情緒命名為“欽佩”。[20]低能力水平的教師引發(fā)了評(píng)委多種負(fù)面情緒,但情緒效價(jià)不夠明顯,主要表現(xiàn)為批評(píng)(a31)、同情(a32)、目標(biāo)導(dǎo)向與接納(a33)和外部歸因(a34),我們將這些情緒命名為“平靜”。中等水平的教師引發(fā)評(píng)委正面的、積極的情緒傾向,包括贊賞(a13)和肯定(a21),并同時(shí)采用了內(nèi)部歸因(a14)和外部歸因(a34),但存在輕微的負(fù)面情緒,例如遺憾(a22),我們將這些情緒命名為“認(rèn)可”。[21]
3.2 情緒表達(dá)規(guī)則調(diào)節(jié)情緒與分?jǐn)?shù)的關(guān)系
評(píng)委對(duì)不同對(duì)象采用了不同的情緒表達(dá)規(guī)則。對(duì)于“欽佩”情緒,評(píng)委采用了“抑制正面情緒”(b1)的情緒表達(dá)方式,在實(shí)際能力評(píng)價(jià)的基礎(chǔ)上設(shè)置了“評(píng)分上限”,分?jǐn)?shù)可能低于實(shí)際能力(c1)。對(duì)于“平靜”情緒,評(píng)委采用了“抑制負(fù)面情緒”的情緒表達(dá)方式(b3),在實(shí)際能力評(píng)價(jià)的基礎(chǔ)上設(shè)置了“評(píng)分下線”,分?jǐn)?shù)可能高于實(shí)際能力(c3)。對(duì)于“認(rèn)可情緒”,評(píng)委采用了“不確定”(b2)的情緒表達(dá)方式,分?jǐn)?shù)能否體現(xiàn)實(shí)際能力具有不確定性(c2)。
3.3 教師能力差距、評(píng)委情緒以及情緒表達(dá)規(guī)則影響分?jǐn)?shù)差距
不同能力水平的教師引發(fā)評(píng)委的不同情緒,情緒表達(dá)規(guī)則調(diào)節(jié)情緒和分?jǐn)?shù)之間的關(guān)系,我們將其歸納為“能力差距—情緒—情緒表達(dá)規(guī)則—分?jǐn)?shù)差距”。在原始分?jǐn)?shù)的高分段,由于“抑制正面情緒”(b1)的情緒表達(dá)方式,提高分?jǐn)?shù)難度更大,該分?jǐn)?shù)段的一分之差包含更大的實(shí)際能力差距。在原始分?jǐn)?shù)的低分段,由于“抑制負(fù)面情緒”的情緒表達(dá)方式(b3),提高分?jǐn)?shù)比較容易,該分?jǐn)?shù)段的一分之差包含更小的實(shí)際能力差距。而在中等分?jǐn)?shù)段,由于“不確定”(b2)的情緒表達(dá)方式,該分?jǐn)?shù)的一分之差具有更大的能力不確定性。因此,原始分?jǐn)?shù)的高、中、低三個(gè)等級(jí)體現(xiàn)了個(gè)體之間的實(shí)際能力差距,但個(gè)人具體的分?jǐn)?shù)受到情緒和情緒表達(dá)規(guī)則的影響。
利用2014年11月至12月的評(píng)教分?jǐn)?shù)進(jìn)行多面Rasch分析分?jǐn)?shù)—能力差距的關(guān)系,在利用訪談資料編碼分析情緒對(duì)分?jǐn)?shù)—能力差距的影響,得到如下結(jié)論。
4.1 研究結(jié)論
1)在不同分?jǐn)?shù)段,一分之差意味著不同的能力差距。原始分?jǐn)?shù)與能力估計(jì)值的關(guān)系表明,一分之差代表的能力差距并不相等。在原始分?jǐn)?shù)的高分段,相比低分段,一分之差代表了更大實(shí)際能力差距。這就表明低分段增長(zhǎng)一分,個(gè)人所需實(shí)際能力比較低,而在高分段增加一分,個(gè)人所需實(shí)際能力比較高。同時(shí),個(gè)人從低分組跨越到中等組比較容易,而要從中等組跨越到高分組是比較困難的。因此,一分之差意味著不同的能力差距,專家以一分之差來(lái)委婉表達(dá)對(duì)個(gè)體能力水平的評(píng)價(jià)。
2)分?jǐn)?shù)具有能力評(píng)價(jià)和情緒表達(dá)兩種涵義。本文的研究表明,原始分?jǐn)?shù)越高,整體上能力估計(jì)值越大。分組后的方差分析顯示,高、中、低三組的原始分?jǐn)?shù)和能力估計(jì)值有顯著差異,說(shuō)明原始分?jǐn)?shù)等級(jí)越高、實(shí)際能力越強(qiáng),分?jǐn)?shù)能夠體現(xiàn)實(shí)際能力差異。同時(shí),評(píng)委在評(píng)分過(guò)程中產(chǎn)生對(duì)不同能力等級(jí)的教師產(chǎn)生了“欽佩”“認(rèn)可”和“平靜”三種不同的情緒,每種情緒包括4種情緒評(píng)估認(rèn)知。評(píng)委的情緒基本上是正面的,正面和負(fù)面的情緒強(qiáng)度都有所抑制,表現(xiàn)為評(píng)委在內(nèi)心設(shè)置了評(píng)分的上限和下限,所以高分和低分比較少,大多數(shù)分?jǐn)?shù)都集中在特定的分?jǐn)?shù)段,分?jǐn)?shù)差距非常小。因此,原始分?jǐn)?shù)具有能力屬性和情緒屬性,是評(píng)委對(duì)教師能力的評(píng)價(jià)和個(gè)人情緒的表達(dá)。
3)教師實(shí)際能力、評(píng)委情緒是“分?jǐn)?shù)—能力差距不相等”產(chǎn)生的原因。已有研究表明,分?jǐn)?shù)是被評(píng)價(jià)者能力和評(píng)委特點(diǎn)的函數(shù)[10],情緒是影響評(píng)委評(píng)分的重要因素。本文的研究表明,不同能力水平引發(fā)評(píng)委的不同情緒,情緒表達(dá)規(guī)則調(diào)節(jié)情緒與分?jǐn)?shù)的關(guān)系,所以情緒發(fā)生作用的機(jī)制為“能力差距—情緒—情緒表達(dá)規(guī)則—分?jǐn)?shù)差距”,原始分?jǐn)?shù)不僅僅是被評(píng)價(jià)者能力的體現(xiàn),還包含了評(píng)委的情緒和情緒表達(dá)規(guī)則,評(píng)委對(duì)不同能力水平的教師使用了不同的情緒表達(dá)規(guī)則,使不同分?jǐn)?shù)等級(jí)內(nèi)相同的分?jǐn)?shù)差距代表了不同的能力差距。
4.2 管理建議
1)教學(xué)能力評(píng)價(jià)應(yīng)采用能力估計(jì)值劃分等級(jí)的方法。本文采用的能力估計(jì)值劃分等級(jí)的方法能夠區(qū)別個(gè)體的不同能力等級(jí),不同等級(jí)之間具有統(tǒng)計(jì)上的顯著差異。目前,能力等級(jí)劃分方法都是依據(jù)原始分?jǐn)?shù)劃分為的“優(yōu)”“良”“中”和“差”,而原始分?jǐn)?shù)沒(méi)有剔除評(píng)委對(duì)分?jǐn)?shù)的影響,也不能體現(xiàn)能力的相對(duì)強(qiáng)弱。本文的研究表明,評(píng)委情緒對(duì)評(píng)分是有影響的,而能力估計(jì)值能剔除評(píng)委情緒的影響,結(jié)合排序法或其他分組方法就能實(shí)現(xiàn)能力等級(jí)劃分。
2)中等能力水平分?jǐn)?shù)應(yīng)再次劃分等級(jí)。本文的研究表明,評(píng)委對(duì)中等能力組的評(píng)價(jià)具有不確定性,這可能來(lái)源于被評(píng)價(jià)個(gè)體差異小或評(píng)委對(duì)評(píng)分標(biāo)準(zhǔn)的理解和把握程度。[22]在評(píng)價(jià)過(guò)程中,評(píng)委往往能比較準(zhǔn)確地區(qū)分高能力組和低能力組,而中等能力組的評(píng)價(jià)不確定性比較大。當(dāng)處于中等組的人數(shù)比較多時(shí),中等組的能力差距大于低分組,分組能將中等組的個(gè)體能力差異區(qū)別開(kāi)來(lái)。高分組和低分組可以考慮分別使用一個(gè)等級(jí),而中等組則可以考慮多分幾個(gè)等級(jí)。
3)建立評(píng)教專家的選拔、培訓(xùn)制度。評(píng)教專家是評(píng)教活動(dòng)開(kāi)展的重要主體。情緒產(chǎn)生于認(rèn)知,其情緒和情緒表達(dá)規(guī)則影響評(píng)教分?jǐn)?shù)。因此,建立評(píng)價(jià)專家的選拔和培訓(xùn)制度是有必要的,主要措施有:對(duì)現(xiàn)有的評(píng)教專家進(jìn)行評(píng)分技能培訓(xùn),幫助他們克服情緒表達(dá)規(guī)則中的不確定性因素干擾;選拔認(rèn)知能力強(qiáng)的評(píng)價(jià)專家,建立可視化的模擬培訓(xùn)庫(kù),加強(qiáng)對(duì)專家的培訓(xùn)和反饋。[22]
[1]王文中.Rasch測(cè)量理論與其在教育和心理之應(yīng)用[J].教育與心理研究,2004(4):637-694.
[2]李長(zhǎng)青.構(gòu)建平衡計(jì)分卡理論的高校教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系[J].高教探索,2014(6):137-141.
[3]丁家玲,葉金華.層次分析法和模糊綜合評(píng)判在教師課堂教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用[J].武漢大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2003(3):241-245.
[4]紀(jì)紅.課堂教學(xué)質(zhì)量評(píng)價(jià)的誤區(qū)與對(duì)策[J].中州大學(xué)學(xué)報(bào),2004(7):87-89.
[5]張克非.課堂教學(xué)質(zhì)量評(píng)價(jià)數(shù)據(jù)客觀性處理及反饋機(jī)制探究[J].教學(xué)與管理,2014(3):44-47.
[6]Wang WC, Cheng Y Y. Measurement issues in screening outstanding teachers [J]. Journal of Applied Measurement, 2001(2): 171-186.
[7]盛艷燕,喻秋山.基于多面Rasch模型的大學(xué)教師課堂教學(xué)能力評(píng)價(jià)量表優(yōu)化研究[J].高教探索,2015(9):83-89.
[8]盛艷燕,趙映川.基于多面Rasch模型的大學(xué)教師課堂教學(xué)能力評(píng)價(jià)方法研究[J]. 高教探索,2015(2):70-74.
[9]L·赫林,F(xiàn)·德雷斯哥,K·帕森斯著.東北師范大學(xué)教育咨詢中心譯.項(xiàng)目反應(yīng)理論在心理測(cè)量中的應(yīng)用[M].武漢:湖北教育出版社,1990:15.
[10]Cason G J, Cason C L. A deterministic theory of clinical performance rating[J]. Evaluation and the Health Professions, 1984(7): 221-247.
[11]丁如一,周暉,林瑪.感激情緒的認(rèn)知評(píng)估體系[J].心理學(xué)報(bào),2014(10):1463-1475.
[12]鄭璞,劉聰慧,俞國(guó)良.情緒誘發(fā)方法述評(píng)[J].心理科學(xué)進(jìn)展,2012(1):45-55.
[13]Ekman P, Friesen W V. The Repertoire of Nonverbal Behavior: Categories, Origins, Usage, and Coding [J]. Semiotica, 1969(1): 49-98.
[14]徐長(zhǎng)江,費(fèi)純,丁聰聰,劉迎春.教師情緒表達(dá)規(guī)則的質(zhì)性研究[J].教師教育研究,2013(7):68-73.
[15]Baron Robert A. Interviewers’ Moods and Evaluations of Job Applicants: The Role of Applicant Qualifications [J]. Journal of Applied Social Psychology, 1993(4): 253-271.
[16]Chen Chien-Cheng, Chen Hsien-Wen, Lin Ying-Yin. The Boundaries of Effects on the Relationship between Interviewer Moods and Hiring Recommendation [J]. Applied Psychology, 2013(4): 678-700.
[17]邱林,鄭雪,王雁飛.積極情感消極情感量表(PANAS)的修訂[J].應(yīng)用心理學(xué),2008(3):249-254. [18]Watson D C, LA T A. Development and validation of brief measures of positive and negative affect: The PANAS scales [J]. Journal of Personality and Social Psychology, 1988(6): 1063-1070.
[19]黃麗,楊廷忠,季忠民.正性負(fù)性情緒量表的中國(guó)人群適用性研究[J].中國(guó)心理衛(wèi)生雜志,2003(1):54-56.
[20]陳世民.欽佩感:一種見(jiàn)賢思齊的積極情緒[J].心理科學(xué)進(jìn)展,2011(11):1667-1674.
[21]左衍濤,王登峰.漢語(yǔ)情緒詞自評(píng)維度[J].心理學(xué)動(dòng)態(tài),1996(5):55-59.
[22]Posthuma R A, Morgeson F P,Campion Michael A. Beyond employment interview validity: A comprehensive narrative review of recent research and trends over time [J]. Personnel Psychology, 2002(1):1-82.
(責(zé)任編輯 查明華)
An Analysis on the Meaning of One Piont Gap Given by Evaluation Experts
SHENG Yanyan1; YU Qiushan2
(1. Management School, Yangtze University, Jingzhou Hubei 434023, China; 2. School of Physics and Photo Electricity, Yangtze University, Jingzhou Hubei 434023, China )
Evaluation experts often give different teachers only one point gap, but it means capacity evaluation and emotional expression. By many-facets Rasch model analysis, we f i nd that a different point represents different capacity gaps and in the higher segment, one point gap represents a greater capacity gaps. Interview and coding analysis f i nd that the ability of teachers, judgers’ mood and emotion display rules are the cause of this phenomenon. Therefore, the ability estimation numbers should be ranked to identify teachers’ capacity grades, score in medium levels should be rated more grades, experts system of selection and training should be established.
experts′evaluation on teaching; one point gap; many-facets Rasch model
G526.3
A
1674 - 9200(2017)03 - 0090 - 6
2016 - 11 - 22
長(zhǎng)江大學(xué)教學(xué)研究項(xiàng)目“過(guò)程導(dǎo)向的大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃評(píng)價(jià)體系研究”(JY2014026)的階段成果。
盛艷燕,女,湖北潛江人,長(zhǎng)江大學(xué)管理學(xué)院講師,博士,主要從事人力資源管理研究;喻秋山,男,湖南寧鄉(xiāng)人,長(zhǎng)江大學(xué)物理科學(xué)與光電學(xué)院講師,博士生,主要從事數(shù)據(jù)模擬與計(jì)算研究。