潘月娟 黃晶



[摘 要] 明確學前教育評估人員專業素養是保障和提升學前教育評估人員專業水平、推動學前教育評估隊伍專業化建設的起點。本研究采用三輪德爾菲法,建構了學前教育評估人員專業素養指標體系,具體包括評估理念與道德、評估知識與技術、組織與實施3個一級指標,評估理念、職業道德、評估知識、評估技術、組織協調和溝通交流6個二級指標和23個三級指標。該指標體系為遴選、培訓、指導、考核學前教育評估人員提供了參考框架,并為學前教育評估人員的自我反思與專業提升提供了依據。
[關鍵詞] 學前教育評估;評估人員;專業素養;德爾菲法
一、問題提出
為了滿足我國人口變動趨勢和教育事業發展的要求,高質量發展成為新時期學前教育事業發展的重要戰略目標。學前教育高質量發展要求深化學前教育評估改革,切實發揮學前教育評估的支持促進作用。評估能否發揮促進作用取決于評估活動質量的高低,而評估活動的質量又受到從業者能力、評估環境和支持資源等多方面因素的交互影響。[1]其中,評估人員作為評估活動的直接實施者,是影響評估活動質量的關鍵因素。[2][3]由于受教育對象的年齡和能力的制約,學前教育階段的評估相比其他學段更強調基于教育現場、融入教育過程的直接信息的采集和解釋,評估活動的質量更多地依賴評估人員自身的專業素養。但是,長期以來,我國學前教育評估制度和實踐未能重視評估隊伍的專業化建設,多數地區的學前教育督導評估人員以兼職人員為主體,遴選方式以推薦為主,培訓內容缺乏科學系統的設計。[4][5]整體而言,評估人員隊伍流動性大、專業性不足的問題突出,在一定程度上阻礙了學前教育評估的功能發揮。因此,當前學前教育評估改革亟須加強評估隊伍的專業化建設。
近年來,我國學前教育相關政策日益重視評估人員隊伍的專業化建設,但相關主題的科學研究較為滯后,未能積極、及時地回應學前教育政策要求和實踐需求。2018年,《中共中央 國務院關于學前教育深化改革規范發展的若干意見》首次明確要求“建立一支立足實踐、熟悉業務的專業化質量評估隊伍”。2022年,《幼兒園保育教育質量評估指南》再次強調要切實加強評估隊伍建設,強化評估人員專業能力建設。這些政策的貫徹落實要求科學認識評估人員專業素養指標體系。但是,國內教育評估領域僅有少數文獻關注到評估人員的資質問題,[6][7][8][9]已有學前教育評估研究主要集中在評估工具和體系、質量標準和現狀等主題上,雖有學者關注到當前學前教育評估人員專業素質問題,[10][11]但主要是提出理論構想或介紹國外經驗,[12][13][14]鮮有實證研究嚴謹地考察分析包括學前教育在內的評估人員專業素養的內涵與結構。因此,研究學前教育評估人員專業素養具有重要的政策價值和實踐意義。
近20年來,美國、加拿大、日本、新西蘭、英國、南非等國家的評估協會致力于推動評估專業化,對評估人員專業素養做了較多的探索和研究,陸續出臺了評估人員專業能力框架或資格標準,促使評估實踐不斷成熟,逐漸走向制度化和專業化。[15]其中,美國、加拿大、日本的評估協會還開展了評估人員認證項目。日本評估協會提供的三種證書認證之一就是學校評估人員。[16]但是,這些評估人員能力框架都是指向一般的項目評估,涵蓋面向政府、企業、社會公益組織等不同內容領域開展評估的人員,并沒有細致區分評估所涉內容領域的特殊要求。目前,僅有少數研究專門考察了教育項目評估人員的專業能力。例如,迪亞茲(Diaz)等人采用德爾菲法調查了美國合作共育項目來自31個州的46名評估專家,分析了評估專家對合作共育教育者(為兼職工作者,評估教育項目是其職責之一)這種非正式教育評估人員的能力期望,結果發現能力期望側重在評估方法技術方面。[17]雖然國外評估協會和學者在建構評估人員專業素養指標體系時的思路和側重點上存在差異,但就職業道德、評估技能、評估實踐、人際交往等方面提出了一些共同要求,這為研究我國學前教育評估人員的專業素養提供了有意義的參考框架。
然而,評估是一種根植于價值和意義體系的價值判斷活動,必然受到文化、制度等情境因素的影響。不同國家和文化對什么是評估、為什么評估、如何評估等基本問題的認識與態度,以及對評估制度、模式和評估人員角色職責的安排都存在較大差異。由此,對評估人員的角色標準期待也會有所不同。多個國家的評估協會和學者以美國評估協會(American Evaluation Association, AEA)和加拿大評估協會(Canadian Evaluation Society, CES)的評估人員專業能力框架為基礎進行了本土化研究,都發現了一些具有文化特殊性的期望要求。例如,韋希佩哈娜(Wehipeihana)等人分析認為,新西蘭評價協會研制的評估人員能力框架的獨特之處就在于對文化與價值的重視。該框架不是將文化能力作為獨立并行的維度,而是將其作為核心融入到情境分析與參與、系統的評價實踐、評價項目管理、反思性實踐和專業發展四個維度之中。[18]李(Lee)等人以斯蒂文(Stevahn)等人的“項目評估人員核心能力”(Essential Competencies for Program Evaluators)為基礎框架,先采用德爾菲法對臺灣高等教育評估與認證委員會的12教學評估專家進行了兩輪征詢,[19]然后采用李克特評定和模糊評定對236位教學評估專家進行了再次調查。[20]先后兩次研究的樣本量和研究方法不同,但教學評估專家的判斷結果都是評估專業實踐的重要性最高,而項目管理和情境分析最低。就具體條目而言,“回避可能的內部利益”“確保信息的保密性”等職業道德要求的重要性很高。這些研究結果意味著在考察教育項目評估人員專業能力框架時必須重視文化特殊性。
為了解我國背景下學前教育這一特殊領域的評估人員應具備怎樣的專業素養,本研究嘗試在分析我國相關政策要求、國外項目經驗與實證研究文獻的基礎上,參考AEA和CES的評估人員專業能力框架,采用德爾菲法征詢來自學前教育評估各領域專家的意見,構建學前教育評估人員的專業素養指標體系,以為評估人員遴選、考核、培訓、指導的標準研制和體系設計提供科學依據,推動我國學前教育評估隊伍的專業化建設和學前教育評估質量的提升。
二、研究方法和步驟
(一)研究方法
本研究采用德爾菲法建構學前教育評估人員的專業素養指標體系。德爾菲法是在項目規劃、 政策制定、需求評測等領域廣泛應用的一種研究方法,許多學者也采用了這種方法來構建評估人員專業能力框架。[21][22]
一般來說,專家咨詢小組的人數一般在8到20人。[23]在大多數情況下,三輪咨詢通常足以收集所需信息并達成共識。[24]本研究采用目的性抽樣邀請了21位從事學前教育評估研究或實踐的專家參與問卷咨詢,包括高校教師、教育行政人員、教育督導、幼兒園園長、教研員等,涵蓋了評估研究者、評估實施人員、被評對象負責人等角色。專家組成員構成及基本信息如表1所示。
本研究通過專家自評的方式調查了參與專家的權威程度。專家權威程度與其對指標作出判斷的依據(Ca)和對指標的熟悉程度(Cs)有關,其中Ca根據內容的可信程度分為實踐經驗、理論依據、同行了解和直覺四類,Cs采用李克特6點計分法(0=不熟悉;1=非常熟悉)。專家權威程度系數(Cr)為判斷依據系數和熟悉程度系數的算術平均值,即Cr=(Ca+Cs)/2,專家權威系數越高,專家權威程度越高。[25]本研究統計數據顯示,幾輪咨詢的Cr總體均值為0.75(Cr≥0.7即可接受),參與專家在學前教育評估領域具有一定權威性,研究結果可靠。
專家積極系數反映了專家對本研究的重視和關心程度。本研究共進行了三輪專家咨詢,發放問卷數量依次為21、21、17份,回收問卷數量依次為21、19、15份,專家積極系數依次為100%、90.48%、88.24%。總體上,專家積極系數較高,大多數專家重視并積極參與本研究。
(二)研究工具
本研究自編三份《學前教育評估人員專業素養指標調查問卷》(以下簡稱《問卷(一)》《問卷(二)》《問卷(三)》)。《問卷(一)》用于咨詢專家對初步擬定的學前教育評估人員專業素養維度和指標的意見和看法,分為四個部分:第一部分為基本人口學信息;第二、三部分征詢專家對初擬維度劃分和指標的態度和看法(1=刪除;2=修改;3=保留),通過開放性問題收集修改建議;第四部分要求專家對自身權威程度進行自評。《問卷(二)》及《問卷(三)》用于咨詢專家對經過前一輪征詢后修改的指標體系的認可程度,采用5級量表(1=非常不認同;5=非常認同)。
(三)研究步驟
本研究分兩個階段進行,第一階段為文獻分析。在該階段主要分析國內21個省市的學前教育評估和督導人員遴選規定、國外重點國家和地區的學前教育評估項目的人員規定、AEA頒布的《AEA Evaluator Competencies(2018)》和CES頒布的《Competencies for Canadian Evaluation Practice(2018)》,以及國內外有關項目評估或教育評估人員專業素養的研究文獻,初步擬定學前教育評估人員專業素養的維度和指標,編制專家咨詢問卷。
第二階段采用德爾菲法進行三輪專家征詢,每輪征詢預留大約兩周的作答時間。第一輪征詢向21位專家發放《問卷(一)》,計算均值、標準差、差異系數、滿分率、專家積極系數、權威程度等統計量,并依據專家建議修改專業素養指標。第二輪征詢向專家發放修訂后的《問卷(二)》,獲取第二輪反饋意見,進一步優化專業素養指標。第三輪征詢向專家發放《問卷(三)》,呈現再次修改后的指標體系,獲取專家的認可程度,最終形成學前教育評估人員專業素養指標體系。
(四)數據統計與處理
本研究使用Excel軟件計算各指標的均值(M)、變異系數(CV)、滿分率(F)和標準差(SD)。其中,均值表示專家認可程度,均值越大,得分率越高,專家認可程度就越高;變異系數是標準差與平均數的比值,表明專家協調程度,值越小,專家意見協調程度越高;滿分率表明指標滿分的比率。此外,還計算了每個統計量的均值、范圍和標準差。
本研究主要采用界值法篩選指標,根據統計數據調整專業素養指標,即刪除低于均值界值和滿分率界值并高于變異系數界值的指標。為避免重要指標被剔除,對于有一個或兩個尺度不合要求的指標(例如只有變異系數高于界值),在充分考慮專家提出的修改意見的基礎上,經由研究團隊討論后修改。[26]
三、研究結果
(一)初始學前教育評估人員專業素養指標體系
通過分析國內政策要求、國外項目經驗以及相關實證研究結果可以發現,評估人員專業素養框架普遍涉及以下三個方面。
其一,良好的專業態度和職業道德。[27]評估人員既要積極學習、不斷反思提升,又要具有職業承諾。[28]教育評估活動對評估人員的職業道德提出了較高要求。我國香港地區在選拔教育督導評估人員時會引入外部獨立人士,即目前不在教育界服務的幼兒教育專家擔任觀察員,以保證督導評估的公平性與公正性。[29]深圳市教育督導評估專家遴選也明確要求督導評估人員“未在第三方評估機構任職或兼職”。[30]
其二,豐富的專業知識與技術。一般項目評估人員專業能力框架都包含評估專業知識與技術這一維度。例如,美國學者斯蒂文(Stevahn)和金(King)等人將61種不同能力劃分為專業實踐、系統調查、情境分析、項目管理、反思性實踐、人際交往能力6個領域。[31]這一評估人員專業能力框架得到廣泛認可和使用,許多評估協會和學者都是以此框架為基礎展開研究的。加爾珀特(Galport)和阿扎姆(Azzam)對403名AEA成員進行個人調查和焦點小組訪談后發現,專業實踐和系統調查能力是最為重要的兩項能力。[32]但大多數學前教育評估項目僅僅要求具備學前教育相關的學歷和工作經驗,并未就評估知識與技術提出具體要求。例如,湖南省衡陽市要求教育督導評估專家“具有大學本科以上學歷或者同等學力,從事本行業、領域或者機關行政管理、教育管理、教學、教育研究工作 10 年以上,工作實績突出,在本地域、本行業(學科)有一定影響力”。[33]美國Keystone Stars項目[34]和北卡羅來納州幼兒教育評估項目[35]都要求評估人員有幼兒教育經驗。
其三,良好的組織協調和溝通能力。這包括具有韌性、決策能力、溝通技巧、團隊合作和組織協調能力。[36][37]例如,北京市教育督導專家遴選要求就提出“具有較強的組織協調、溝通表達、綜合研究分析能力”。[38]
除了以上三個方面,AEA和CES的評估人員專業能力框架還包含情境分析和組織管理兩個維度。其中,情境分析是指評估人員關注、理解和回應評估環境、利益相關者、文化傳統等特征的能力。如AEA(2018)的“情境領域”(Context Domain)涉及評估場地、利益相關者、組織結構、文化多樣性、歷史傳統、價值觀、政治、經濟、權力和其他特征。組織管理包括評估人員在評估工作計劃、時間安排、資源分配等方面的能力。又如CES(2018)的“管理實踐能力”(Management Practice competencies)中包括“確定并有效使用評估所需的人力、財務和技術資源”“協調其他團隊成員的工作”“與所有利益相關者傳達評估實施進度”等。為了解我國背景下人們對學前教育評估人員的角色期待,充分揭示評估人員專業素養的領域特殊性和文化特殊性,本研究在初始專業素養指標體系中加入了組織管理和情境分析兩個維度。
綜合以上分析,本研究擬定初步的學前教育評估人員素養指標體系包含5個一級指標,43個二級指標。具體包括五個方面。A評估理念與道德,主要關注評估人員的評估理念與道德素質,包含9個二級指標,例如學前教育理念,對評估標準、指導方針和道德規范的遵守與應用,專業自我發展意識等。B評估知識與技術,主要關注評估人員的評估知識與實施評估的專業技術,包含11個二級指標,例如評估領域相關的學科背景知識、評估所需的方法等。C評估實施與管理,主要關注評估人員的項目管理與實施能力,包含9個二級指標,例如確定、監督和協調評估項目所需的工作計劃、資源等。D評估情境理解,主要關注評估人員對評估情境的理解、分析能力,包含8個二級指標,例如關注評估所處的自然及社會文化環境、評估涉及的利益相關者等。E人際交往與溝通,主要關注評估人員的社會交往和溝通能力,包含6個二級指標,例如與利益相關者建立積極關系的能力、是否具備良好書面溝通技能等。見表2。
(二)三輪專家意見征詢情況及指標調整
1. 第一輪專家征詢。
第一輪征詢中各級指標的均值、滿分率以及變異系數如表3所示。統計結果顯示,一、二級指標總體變異系數CV的均值為0.173(一般認為CV在0.00~0.25之間即符合要求)。總體上,專家意見協調度較好。
第一輪征詢后,結合專家意見,經過研究團隊討論,對初始學前教育評估人員專業素養指標體系做出了大幅度的調整,主要包括修改框架層次、刪除或增加指標、變更指標所屬領域、修改指標名稱及表述。具體情況如下。
第一,將整體框架由原來的二級指標體系改為三級指標體系,一級指標由原來的5個改為3個,并根據三級指標提煉出二級指標。其中,A評估理念與道德包括評估人員的評估理念(A1)、職業道德規范(A2)和自我發展(A3)3個二級指標以及10個三級指標;B評估知識與技術包括評估人員實施評估活動所需的評估知識(B1)以及評估實施所需的專業技術(B2)2個二級指標及8個三級指標;C組織與實施包括評估人員在實施評估過程中的組織協調能力(C1)和溝通交流能力(C2)2個二級指標以及8個三級指標。
第二,原有的43個二級指標經刪減或合并,形成了26個三級指標。根據統計結果,首先刪去了低于均值和滿分率的界值并高于變異系數界值的指標。例如原指標“參與專業評估活動,為評估行業及其實踐社區做出貢獻”的均值為2.476(M<2.760)、變異系數為0.303(CV>0.189)、滿分率為0.619(F<0.779),故刪除該指標。對于有一個或兩個尺度達到刪除標準的指標,若專家的詳細意見為表意不清或表述不夠具體,則不予刪除,僅調整指標表述;若專家的詳細意見為質疑指標本身的適宜性并說明刪除緣由,則刪除。例如,原指標“在評價的所有程序和各個方面保持公開、透明”(M=2.810>2.760,CV=0.214>0.189,F=0.905>0.779),專家指出“任何評估都有討論和商榷的地方,過于公開反倒不利于開展工作”,因此將該指標刪除。此外,合并了范疇重合的指標并調整所屬領域,如將原本在D評估情境理解維度下的“D1尊重、識別并回應評估項目所處的多種人文和自然環境”“D2確定利益相關者的需求及其參與能力,同時承認、尊重并回應”和“D5在評估過程中,關注并響應組織的變化和評價項目環境的變化”合并為一個指標——“理解、分析并回應社會文化、組織、利益相關者等因素與評估的相互影響”,并納入C組織與實施中。
第三,增加三級指標。例如,評估理念方面增加“堅持以發展為目的、以事實為依據,開展科學評估,扭轉不科學的教育評估導向”,以及評估技術方面增加“準確解讀和應用學前教育評估標準”。
第四,修改含義或表述模糊的指標,使得指標的內涵更加清晰明確、切合主題,表述通俗易懂。例如,將原指標“在評估中利用自我發展意識和反思性思維來不斷改進實踐”修改為“針對評估工作中的現實需要與問題,進行探索和研究”。
因此,經過第一輪專家征詢,修改形成具有3個一級指標、7個二級指標以及26個三級指標的學前教育評估人員專業素養指標體系。
2. 第二輪專家征詢。
第二輪專家征詢將修改后的學前教育評估人員專業素養指標體系通過電子問卷的形式發放給專家。統計結果顯示,一級指標、二級指標、三級指標的總體變異系數CV均值為0.096。整體來說,專家對于修改后的學前教育評估人員能力指標體系認可程度較高。
第二輪僅有少數專家提出了不同意見,數據處理方式與第一輪相同。專家意見和數據統計發現的問題集中在三個方面:一是質疑部分素養指標對于評估實施人員而言要求過高,例如,學習新的評估理論;二是A3自我發展達到刪除標準,是否需要將其納入評估理念和道德維度;三是組織協調下的兩個指標“C1-2協調、監督評估過程和質量”(M=4.474<4.618,CV=0.216>0.185,F=0.684<0.760)和“C1-5理解、分析并回應社會文化、組織、利益相關者等因素與評估的相互影響”(M=4.421<4.618,CV=0.217>0.185,F=0.632<0.760)都達到了刪除標準。
根據專家意見做出以下修改:第一,在二級指標上刪除A3自我發展指標,刪減原“A3-1認同學前教育評價的專業性,積極參與專業學習活動,不斷學習最新的評價理論和實踐”并合并到“A1-2理解學前教育評價的意義,認同學前教育評價的價值”中,刪減原“A3-2自覺反思和克服自己的偏見和局限,改進評價工作”并合并到“A1-3堅持以發展為目的、以事實為依據,開展科學評價,扭轉不科學的教育評價導向”中,同時刪除“A3-3針對評價工作中的現實需要與問題,進行探索和研究”。第二,在三級指標上,根據專家的詳細意見修改表述。
第二輪修改后形成了包含3個一級指標、6個二級指標以及23個三級指標的學前教育評估人員專業素養指標體系。
3. 第三輪專家征詢。
經過三輪專家征詢后,指標的總體變異系數CV從第一輪的0.173逐漸縮小為第三輪的0.049,表明指標逐漸趨于合理,專家意見逐步達成一致。
當共識率高于80%時,表明專家已達成共識,可以考慮結束專家意見的征詢。[39]本研究認為,專家選擇“非常認同”視為對該指標的認可,即在所有指標上該選項所占比例在80%及以上,且標準差小于1時,通過專家一致性。經過兩輪專家意見征詢與修改,在第三輪專家征詢中,專家對3個一級指標的共識率均在80%以上,表明專家對于各個指標的看法已達到共識,因此結束專家咨詢,最終形成了包含3個一級指標、6個二級指標以及23個三級指標的學前教育評估人員專業素養體系(見表3)。
四、討論
明確學前教育評估人員專業素養的構成是保障和提高學前教育評估人員專業素養的起點。本研究借鑒國內外研究成果,采用德爾菲法,通過三輪專家征詢,提出了一套包含3個一級指標、6個二級指標及23個三級指標的專業素養指標體系。該專業素養指標體系既反映了不同被評領域評估人員專業素養的共同成分,也體現了中國背景下對學前教育評估人員專業素養的特殊要求。
(一)學前教育評估人員專業素養具有跨領域的共同成分
本研究中,被訪專家提出的指標修改建議充分證實了國內外對于評估人員專業素養的期待具有某些共性。評估理念與道德、評估知識與技術以及組織實施能力都被視為評估人員專業素養的重要組成部分。評估人員應當具備怎樣的專業素養首先取決于評估活動的本質。評估活動本質上是在事實判斷基礎上做出的價值判斷。信息采集與分析、組織與實施是揭示被評對象是什么樣的事實判斷過程,而評估理念與道德則是影響價值標準的關鍵。這三個維度成分是不同文化、不同模式和內容領域的評估都必須涉及的過程和特征。因此,我們可以看到,針對不同國家的政府評估人員、教育項目評估人員等不同領域的評估人員提出的專業能力框架都包含了這三個維度成分。同理,學前教育評估人員專業素養也應該包含這三個成分。
(二)我國學前教育評估人員專業素養同樣具有文化特殊性
在本研究的三輪意見征詢中,來自各層面的學前教育評估相關專家最重視評估理念與道德,而對反思實踐能力、管理能力、情境分析能力作為獨立的評估素養維度的認可程度較低。這與李(Lee)等人的研究結果有較高的一致性。可以說,這種差異在一定程度上反映了我國社會文化價值觀念以及學前教育評估制度和實踐的特點。首先,我國社會文化中的差序格局、高權力距離、人情關系為重等特征容易影響評估過程和結果的公正客觀,降低評估質量和被評對象的評估滿意度。[40][41]因此,評估人員的職業道德操守在中國背景下的學前教育評估中尤顯重要。其次,我國20世紀80年代末90年代初建立實施的學前教育評估制度一直重視由政府主導的、以問責為導向的外部評估,評估人員只是既定評估方案和標準的執行者,無需考慮評估模式的選擇和方案設計,因此,我國學前教育評估實踐較少強調評估人員的管理能力。再次,以問責為導向的外部評估重在被評對象之間的橫向比較和排序,強調要確保評估標準的統一、信息的客觀、結果的公正,要求評估人員盡量避免因被評對象及其所處情境的差異和多樣性造成評估的相對性與主觀性。因此,我國學前教育評估實踐較少關注評估人員的情境分析能力。最后,在我國當前學前教育評估制度安排中,評估人員主要由督學、學前教育行政人員、教研人員、幼兒園園長、骨干教師、高校專家等兼職擔任,具有較強的臨時性和流動性,導致對這些兼職評估人員的管理較少,也較難從評估人員專業成長發展的角度進行長遠規劃,因而對評估人員的反思實踐能力重視不足。
五、建議
基于上述研究結果,本部分嘗試提出如下提高學前教育評估人員專業素養的對策及建議。
(一)出臺學前教育評估人員專業素養指標框架,完善評估人員遴選和考核制度
目前,我國學前教育評估人員主要是由教研員、幼兒園園長組成的兼職隊伍。而以兼職人員為評估人員主力是當前許多國家學前教育評估的普遍做法。英國學校督導政策自2012年開始,要求增加學校校長和教師作為兼職評估人員,以提升評估人員對被評學校的反饋指導能力。[42]就已有研究結果來看,無論評估人員是兼職還是專職,其專業素養都是影響評估活動質量的關鍵。因此,依據學前教育評估人員專業素養框架加強對評估人員的遴選和考核是當前我國提高學前教育評估人員隊伍專業水平的一條可行路徑。首先,教育行政部門或學前教育評估專業組織可以根據我國社會文化和學前教育評估制度實踐厘清評估人員角色職責,出臺學前教育評估人員指標框架,為學前教育評估隊伍專業化建設提供依據。其次,地方教育行政部門應完善學前教育評估人員遴選標準和方法,全面涵蓋、精準把握評估人員專業素養的核心要素和特征,而非僅僅從管理經驗、學歷和榮譽等方面進行遴選。最后,地方教育行政部門應制定學前教育評估人員考核辦法,充分發揮專業素養指標體系的導向功能,激勵評估人員持續提升專業素養,約束評估人員的評估實踐行為。
(二)依據專業素養指標框架,加強學前教育評估人員的培訓和指導
本研究的結果表明,學前教育評估人員專業素養是一個多維度、多層次的復雜結構。兼職學前教育評估人員面臨從管理者、教育者、研究者等角色向評估者的轉變,其評估專業素養并不會伴隨角色的轉變而自然提高,因此評估人員需要得到有效的培訓和指導。第一,地方教育行政部門應依據專業素養指標框架,完善學前教育評估人員教育培訓制度,明確對評估人員任職期間的培訓要求。評估人員的培訓輸送來源可以是多樣的,但是都應遵循統一的專業素養指標框架,以確保評估人員的專業資質。例如,英國教育標準局(Ofsted)僅直接聘用少量的全職皇家督學,學校評估工作主要由大量的獨立督學完成。這些獨立督學由三家第三方機構提供和培訓,由Ofsted雇用和管理。Ofsted要求獨立督學在任職期間接受一定時間長度的培訓。[43]第二,專業組織應依據專業素養指標框架,構建系統、完備的培訓內容體系,控制培訓的隨意性和片面性,切實提升評估人員的評價知識與技術、組織與實施方面的專業素養。
總體上,本研究對學前教育評估人員素養做出的系統構想雖不成熟,但為后續研究和實踐繼續改進完善提供了初步藍本,是推動學前教育評估人員專業化發展的有益嘗試。未來研究一方面可以進一步探討學前教育評估人員專業素養各構成要素之間的關系及其對評估活動質量的影響程度和作用機制,為建設高素質學前教育評估隊伍提供更科學有力的研究證據;另一方面,可以改進研究方法,進一步完善本土化的指標體系。本研究采用德爾菲法按照預設框架請受訪專家進行判斷,這給受訪專家的思考方向造成了一定的局限。
參考文獻:
[1]COOKSEY L J, MARK M M. Influences on evaluation quality[J]. American Journal of Evaluation, 2012,33(1):79-87.
[2]BERNARDIN H J, THOMASON S, BUCKLEY M R, et al. Rater rating?level bias and accuracy in performance appraisals: the impact of rater personality, performance management competence, and rater accountability[J]. Human Resource Management,2016,55(2):321-340.
[3]STEENSMA H, VISSER E. Procedural justice and supervisors personal power bases: effects on employees perceptions of performance appraisal sessions, commitment, and motivation[J]. Journal of Collective Negotiations,2007,31(2):101-118.
[4]秦旭芳,丁春宇.學前教育督導評估問題審視、問責與逾越[J].現代教育管理,2017(01):74-78.
[5]張彩云,武向榮,燕新.我國督學隊伍現狀及發展策略——基于16個省的實證分析[J].教育科學研究,2020(11):37-43.
[6]李雁冰.論教育評價專業化[J].教育研究,2013,34(10):121-126.
[7][36]馮暉,王奇.試析教育評估專業化[J].教育發展研究,2015,35(11):5-9.
[8]談松華.關于教育評價制度改革的幾點思考[J].中國教育學刊,2017(04):7-11.
[9]潘月娟.我國幼兒園教育質量評估制度的演化變遷與優化建議[J].中國教育學刊,2022(11):60-64.
[10]梁慧娟.過程導向:幼兒園教育質量評價政策的國際趨勢與本土實踐[J].學前教育研究,2023, 338(2):21-30.
[11]秦旭芳,丁春宇.學前教育督導評估問題審視、問責與逾越[J].現代教育管理,2017(01):74-78.
[12]郭寶仙.教育評價專業化:加拿大評價人員資格認證方案及其啟示[J].外國教育研究,2015,42(1):64-71.
[13]梁紅梅,李廣平,楊士镕.美國田納西州TEAM質性評價體系:構成、實施與啟示[J].外國教育研究,2022,49(8):57-70.
[14]鮑傳友,楊玉春.我國基礎教育評估主體的現狀、問題與對策[J].當代教育科學,2009(15):14-17.
[15]AYOO S, WILCOX Y, LAVELLE J M, et al. Grounding the 2018 AEA Evaluator Competencies in the broader context of professionalization[J]. New Directions for Evaluation,2020(168):13-30.
[16]STEVAHN L, BERGER D E, TUCKER S A, et al. Using the 2018 AEA Evaluator Competencies for effective program evaluation practice[J]. New Directions for Evaluation,2020(168):75-97.
[17][22]DIAZ J, CHAUDHARY A K, JAYARATNE K S U, et al. Expanding evaluator competency research: exploring competencies for program evaluation using the context of non?formal education[J]. Evaluation and Program Planning,2020,79:101790.
[18]WEHIPEIHANA N, BAILEY R, DAVIDSON E J, et al. Evaluator competencies: the Aotearoa New Zealand experience[J]. Canadian Journal of Program Evaluation,2014,28(3):49-69.
[19][21]LEE Y?F, ALTSCHULD J W, LEE L?S. Essential competencies for program evaluators in a diverse cultural context[J]. Evaluation and Program Planning,2012,35(4):439-444.
[20]LEE Y?F, ALTSCHULD J W, LEE L?S. Further considerations of evaluation competencies in Taiwan[J]. Evaluation and Program Planning,2014,41:12-18.
[23]徐國祥.統計預測和決策[M].上海:上海財經大學出版社,2005:149.
[24]CUSTER R L, SCARCELLA J A, STEWART B R. The modified delphi technique: a rotational modification[J]. Journal of Vocational and Technical Education,1999,15(2):1-10.
[25]王春枝,斯琴.德爾菲法中的數據統計處理方法及其應用研究[J].內蒙古財經學院學報(綜合版),2011,9(4):92-96.
[26]宋嫻,羅躒,胡芳.高質量校外教育的助推器:專業化科技研學教育人員的評價指標[J].全球教育展望,2021,50(12):90-101.
[27]陳德枝,秦金亮,李克建.托幼機構教育質量評價中評委偏差的多側面Rasch分析[J].心理科學,2016,39(3):628-636.
[28][37]PATTERSON F, ZIBARRAS L, KERRIN M, et al. Development of competency models for assessors and simulators in high?stakes selection processes[J]. Medical Teacher,2014,36(12):1082-1085.
[29]劉悅.港臺地區學前教育督導評估的比較及啟示——基于學前教育免費政策的實行[J].早期教育,2021(04):16-19.
[30]深圳市教育局. 深圳市人民政府教育督導委員會辦公室關于開展第六屆市督學及第二屆市教育督導評估專家庫成員推選工作的通知[EB/OL].(2020-06-10)[2023-08-15]. http://szeb.sz.gov.cn/home/jyfw/jydd/zcwj/content/post_8729411.html.
[31]STEVAHN L, KING J A, GHERE G, et al. Establishing essential competencies for program evaluators[J]. American Journal of Evaluation,2005,26(1):43-59.
[32]GALPORT N, AZZAM T. Evaluator training needs and competencies: a gap analysis[J]. The American Journal of Evaluation,2017,38(1):80-100.
[33]衡陽市教育局.關于推薦市教育督導評估專家和督學工作室成員的通知[EB/OL].(2021-08-04)[2023-08-15]. http://szeb.sz.gov.cn/home/jyfw/jydd/zcwj/content/post_8729411.html.
[34]KIRBY G, CARONONGAN P, MALONE L M, et al. What do quality rating levels mean? Examining the implementation of QRIS ratings to inform validation[J]. Early Childhood Research Quarterly,2015,30:291-305.
[35]LI J Y. What do we know about the implementation of the quality rating and improvement system: a cross?cultural comparison in three countries[D]. Greensboro: The University of North Carolina,2015:6-12.
[38]北京市教委督學處.北京市人民政府教育督導委員會辦公室關于選聘北京市第十二屆督學的公告[EB/OL].(2022-08-26)[2023-08-15]. http://jw.beijing.gov.cn/jyzx/ztzl/bjjydd/dddt/202208/t20220829_2802449.html.
[39]MURRY J W, HAMMONS J O. Delphi: a versatile methodology for conducting qualitative research[J]. Review of Higher Education,1995,18(4):423-436.
[40]潘月娟,王玉欣,楊曉麗.當前幼兒園教師績效評價的特征與效果——基于教師知覺的視角[J].學前教育研究,2018(05):3-11.
[41]趙君,張光進,趙書松.績效考核政治研究述評與展望[J].經濟管理,2015(06):177-187.
[42]JACQUELINE A B. Professional inspector or inspecting professional? Teachers as inspectors in a new regulatory regime for education in England[J]. Cambridge Journal of Education,2013,43(4):467-485.
[43]JACQUELINE A B. An independent inspectorate? Addressing the paradoxes of educational inspection in 2013[J]. School Leadership & Management: Formerly School Organisation,2014,34(1):21-38.
The Construction of Professional Literacy Index System for Early Childhood Education Evaluators: Based on Delphi Method
PAN Yuejuan, HUANG Jing
(Faculty of Education, Beijing Normal University, Beijing 100875 China)
Abstract: Identifying early childhood education evaluators professional literacy index system is the first step to improve their professional literacy and to improve their professionalization. This study adopts Delphi method to construct a professional literacy index system for early childhood education evaluators, which comprises of three dimensions of evaluation principles and ethics, evaluation knowledge and skills, organization and implementation, and 6 subdomains which are evaluation philosophy, professional ethics, evaluation knowledge, evaluation technology, organization and coordination, and interpersonal communication, and 23 indicators. This system would provide a reference for selecting, training, coaching and appraising evaluators, and for evaluators self?reflection and professional development.
Key words: early childhood education evaluation; evaluators; professional literacy; delphi method
(責任編輯:熊燦燦)
* 基金項目:國家社會科學基金“十三五”規劃2020年度教育學一般課題“農村普惠性學前教育質量與貧困兒童早期發展的追蹤研究”(編號:BHA200122)
** 通信作者:潘月娟,北京師范大學教育學部副教授,碩士生導師