劉 丹
(武昌工學院,湖北武漢 430063)
評分者在評價中心(assessment center,簡稱AC)中扮演復雜而重要的角色。評分者必須觀察、記錄被試在AC中各個測試中的行為表現,把這些行為歸類到相應的、事先確定好的測評維度中,給出每個被試在每個維度上的得分,并在討論基礎上,評估每個被試在AC中的整體表現,提出是否錄用或晉升的建議,最后就被試的發展潛力以及需要改進之處提出專業看法。整個AC測試結果的有效很大程度上依賴于評分者評分的準確性,也是AC信度的基本保證(Schleicher et al.,2002[1])。因此,如何提高評分者評分的準確性,一直是AC領域持續探討的話題。不少學者通過實證分析證實,參照系(frame-of-reference,簡寫為FOR)培訓法能夠顯著提高評價者總體評分的準確性,是有效培訓AC評分者的方法。鑒于國內對FOR培訓法介紹得并不多,本文擬對FOR培訓法進行全面介紹,包括FOR培訓的步驟、FOR培訓法有效的原因以及在應用FOR培訓法時應注意的問題。
FOR培訓是由美國學者Bernardin&Buckley在1981年提出的一種培訓方法,他們提出FOR培訓的主要目的是消除評估者頭腦中績效標準的差異,運用統一的參照標準評估所有被評者的績效。FOR培訓主要包括四個步驟:
1.告知受訓者評估維度(包括維度名稱和對維度的解釋)、各維度的分級(如溝通能力這一維度分為5級)以及每一級別的代表性行為。
2.培訓師與受訓者一起討論列舉出的行為歸屬于哪個維度以及該維度的哪個級別。
3.受訓者練習評估被試的行為表現。
4.對受訓者的練習情況給予反饋。
認知分類理論假定(Woehr,1994[2];Shore et al.,1990),人們往往會將觀察到的別人行為劃分到不同維度類別中,然后形成對他人的總體評價。該假定引申出的AC評估模型是評估者對被試的整體印象建立在被試在AC測試中若干評估維度表現的判斷上,而維度表現又與具體行為聯系在一起,是對具體行為的概括和簡化。
在FOR培訓中,培訓師會給出每個評價維度有效和無效的典型行為,這些行為例子代表了每個評價維度中的各個評分等級。當受訓者熟悉這些典型行為后,他們的腦海中也就建立統一的評價他人績效的標準和尺度的一套原型(prototypes)或者類別(category)。他們依據這些原型評價AC中被試表現,將被試的行為正確地劃分到不同維度中的相應評分等級中,并且形成被試的整體判斷,從而提高評估的準確性。因此,FOR培訓法有效的基礎是培訓內容是以認知分類(即維度)為中心,將培訓信息進行結構化處理(Sulsky&Day,1992,1994,1995;)。
從認知分類的角度來看,FOR培訓法可以從4個方面提高AC評估準確性:(1)鼓勵評估者使用原型或類型,減輕信息處理負擔,模塊化信息幫助受訓學員更容易保留和回憶評估信息。這一點非常重要。因為正如本文在開頭指出評估者需要在AC評估中做一系列復雜的事情,而人的認知處理是有限的,因此無法指望評估者在所有環節中都保持正確而且可靠。(2)將原型與典型行為捆綁在一起,貯存在受訓者的長期記憶中。Sulsky&Day(1994)通過實驗發現,即使FOR培訓與實際評估之間存在時間延滯(時間間隔為2天),受訓者的評估準確性依然令人滿意;(3)FOR培訓努力消除評估者頭腦中各種評估標準,為所有的評估者提供統一的認知原型,使得他們能夠應用統一的標準去評價AC中的任一被試。(4)正如前面所說,FOR培訓法會引導評分者以維度為中心而不是以測試項目為中心來組織被試的績效信息,因而能夠提高AC的結構效度(Sulsky & Mayes,2002)。
首先,FOR培訓法以典型行為錨定評價維度,形成原型,如果評價維度越多,那么原型也越復雜,評估者判斷AC被試行為是否屬于某個維度某個等級也就越困難。盡管FOR培訓幫助受訓者減輕信息處理負擔,然而過多的評價維度帶來的復雜性會抵消這一優勢(Gaugler&Thornton 3)[3]。所以,即便采用了FOR培訓,評價維度仍然不能過多。
其次,在應用FOR培訓法之前,要明確AC的目的——是以選拔為目的還是以發展為目的。在發展性AC中,評價的主要目的是為了鑒定被試的發展潛力,幫助他們未來發展,給予被試具體、明確的反饋以幫助他們未來提升自己是非常有必要的。但是FOR培訓中評估者判斷的基礎是維度而不是對具體行為的記憶。Sulsky&Day(1992,1994)的實證研究發現FOR培訓提高了評分的準確性,同時又降低了評估者行為記憶(behavioral accuracy)的準確性,這說明FOR培訓不是增強了對特定行為的記憶,而是增強了對評估者評分維度分類的準確性。評估者對被試進行整體判斷,就被試的維度表現給出一般性的描述,顯然無法滿足發展性AC的要求。因而建議企業在采用FOR培訓之前,必須明確AC目的——選拔被試還是發展被試,是否需要給予被試明確的反饋信息等。
另外,目前還沒有弄清楚FOR培訓效果可以持續多長時間。在所有的實證研究中,FOR培訓與實際評估之間最長的延滯時間只有2天(Sulsky&Day,1994),但在現實生活中,FOR培訓后過幾天才進入AC評估是非常常見的現象。很有可能的情況是,延滯時間越長,遺忘的評估信息越多,評估的準確性也在降低。那么,在實際AC操作中,努力縮短FOR培訓與AC評估之間的評估延滯時間是明智的做法。不過,還有另外的方法可以抵抗記憶信息衰減的挑戰,那就是為評估者提供描述性評定標準(descriptively anchored rating scales),即為每個評估者提供一張表格,上面列舉對各個評分維度的解釋以及對各維度中每個等級(如好、中、差)的典型行為(這些與FOR培訓提供的信息是一致的)。描述性評定標準為評估者提供記憶線索,幫助其更好地回憶FOR培訓塑造的原型。Klaus G.Melchers等人在2011年進行的研究中發現,比起單純的FOR培訓,FOR培訓與描述性評定標準結合在一起,評估準確性是最高的,而且評估者也覺得評估起來更容易。
[1]Deidra J.Schleicher,David V.Day,Bronston T.Mayes,Ronald E.Riggio:A New Frame for Frame - of- Reference Training:Enhancing the Construct Validity of Assessment Centers,Journal of Applied Psychology,2002,Vol.87,No.4,735 -746.
[2]David J.Woehr,Understanding Frame - of Reference Training:The Impact of Training on the Recall of Performance Information,Journal of Applied Psychology,1994,vol.79,No.4,525 -534.
[3]Barbara B.Gaugler,George C.Thornton3:Number of Assessment Center Dimensions as a Determinant of Assessor Accuracy,Journal of Applied Psychology,1989,vol.74,No.4,611 -618.