基于有效性驗證經(jīng)驗的美國早期教育質(zhì)量評價的元評價研究

(天津師范大學(xué) 教育科學(xué)學(xué)院，天津 300387)

當前在國際上，如何才能讓全部兒童接受高質(zhì)量的早期教育仍是一個熱點話題，備受關(guān)注。各國政府都在積極探索嘗試建立兒童早期教育質(zhì)量的監(jiān)督與保障體系，針對兒童早期教育質(zhì)量現(xiàn)狀而開展系列研究、編訂教育質(zhì)量評估量表、構(gòu)建教育質(zhì)量評估模型并出臺一系列政策措施等以幫助提升早教質(zhì)量。其中，美國的早期教育質(zhì)量評級與提升系統(tǒng)(Quality Rating and Improvement Systems，以下簡稱QRIS)已經(jīng)實施了十幾年，自1998年俄克拉荷馬州首個實施QRIS，到2015年2月美國除了密蘇里州沒有推行QRIS，以及包含阿拉斯加州、夏威夷州在內(nèi)的6個州正在計劃推行QRIS之外，其余各州均實施了QRIS[1]。它是在世界范圍內(nèi)發(fā)展比較成熟且具有代表性的早期教育質(zhì)量監(jiān)督與保障政策機制之一。盡管如此，還是有研究指出，QRIS對早教機構(gòu)進行評級的準確性已經(jīng)遭到質(zhì)疑，這將影響到整個QRIS系統(tǒng)的公眾信服度，包括家長的信任程度以及早教機構(gòu)的參與積極性[1]。因此，對QRIS進行有效性驗證，已經(jīng)成為一個亟須開展的工作。另外，在這十幾年里，QRIS在美國各州蓬勃發(fā)展的同時，也越來越受到聯(lián)邦政府的重視。如今QRIS已經(jīng)成為聯(lián)邦政府為提升全美早期教育質(zhì)量而資助的競爭性項目“力爭上游——早期學(xué)習(xí)的挑戰(zhàn)”(Race to the Top-Early Learning Challenge，以下簡稱RTT-ELC)的核心考核部分，具體說來，就是各州政府是否能順利申請到聯(lián)邦政府的RTT-ELC項目基金，很大程度上取決于QRIS的實施情況。這樣一來，各州政府在申請RTT-ELC項目基金時，需要將QRIS有效性驗證報告作為一份重要的申請材料遞交聯(lián)邦政府。這也成為最近各州政府積極關(guān)注并進行QRIS的有效性驗證活動的原因。

美國各州對QRIS進行有效性驗證的核心工作是對其等級評定系統(tǒng)進行評價。因為QRIS的核心工作就是對早教機構(gòu)進行質(zhì)量評級，其他活動都要圍繞評級結(jié)果來進行。具體來說，QRIS是一個比較復(fù)雜的政策機制。實施運行的基本邏輯是：通過建立等級評定系統(tǒng)對早教機構(gòu)進行質(zhì)量評級，與此同時，會根據(jù)QRIS的評級結(jié)果，為早教機構(gòu)提供專業(yè)支持和財政激勵，以幫助其繼續(xù)提升質(zhì)量等級。之后，將早教機構(gòu)的質(zhì)量等級信息公開發(fā)布，有計劃地提供給家長，家庭會選擇高質(zhì)量等級的早教機構(gòu)，從而保證兒童能夠接受高質(zhì)量的早期教育，在認知與情感發(fā)展以及入學(xué)準備等方面都收獲更好的結(jié)果。而另一方面，QRIS的質(zhì)量等級也為早教機構(gòu)提供了一個基準，早教機構(gòu)為吸引更多生源，也會參照QRIS的“質(zhì)量等級坐標系”來積極提升質(zhì)量，各早教機構(gòu)之間的質(zhì)量等級差距縮小，早期教育質(zhì)量的整體水平提高。因此，對評級系統(tǒng)的評價，即早期教育機構(gòu)質(zhì)量評價的元評價，成為驗證QRIS有效性工作的重中之重。

一 美國早期教育質(zhì)量評價元評價的意義

元評價(Meta-evaluation)是指按照一定的理論框架和價值標準對教育評價本身所做的評價與研究[2]。簡而言之，元評價就是對評價本身的評價。當前，美國各州開始著手進行的QRIS有效性驗證中，對評級系統(tǒng)的評價就是早期教育質(zhì)量評價元評價。QRIS評級系統(tǒng)評價是一個復(fù)雜的過程，需要長期持續(xù)、反復(fù)進行，面臨著諸多困難與挑戰(zhàn)，但這是美國近年來急需向前推進的一項工作[1]。從QRIS的評級系統(tǒng)評價的經(jīng)驗中，可獲知早期教育質(zhì)量評價元評價的意義。

(一)從評價系統(tǒng)外部看，元評價可以解決問責(zé)需要與贏得支持

教育政策的制定與實施需要監(jiān)督評價，第三方評價是評判教育政策設(shè)計是否科學(xué)合理、實施是否高效有序的重要手段，也是對政策制定者和實施者進行問責(zé)的依據(jù)。質(zhì)量評級系統(tǒng)是QRIS這一政策機制的核心組成部分，對其進行評價可以解決對QRIS進行問責(zé)的需要。美國各州政府已經(jīng)在努力地推行QRIS，并且給予很多的外部支持，但所有的這些努力都是基于QRIS質(zhì)量等級評定是非常準確的理論假設(shè)之上。如此一來，對QRIS評級系統(tǒng)的評價成為對整個政策進行問責(zé)的關(guān)鍵。對QRIS評級系統(tǒng)的評價可以回答這樣的問題：其是否達成了對早教機構(gòu)準確質(zhì)量定級的目標？如果沒能達成問題出在哪里？原因又是什么？導(dǎo)致理想政策或制度在現(xiàn)實中陷入困境的原因很復(fù)雜，不同問題背后的責(zé)任主體也不盡相同。而回答上述問題的過程，正是尋找原因和進行“追責(zé)”的過程。當然，“追責(zé)”并不是要對相關(guān)責(zé)任主體進行獎懲，而是希望不同的責(zé)任主體能夠發(fā)揮各自的能動性來解決問題，保證QRIS評價系統(tǒng)能夠準確對早教質(zhì)量進行評價。

與此同時，對QRIS評級系統(tǒng)進行評價，有利于贏得政府、家長、早教機構(gòu)及其他相關(guān)利益者對這一政策機制的支持。各州政府如果能夠證明QRIS評級系統(tǒng)的準確性，并進一步說明其在提升教育質(zhì)量過程中所發(fā)揮的效用，那么將更有可能獲得聯(lián)邦政府的財政資助。另一方面，QRIS評級系統(tǒng)質(zhì)量評級的準確性將直接影響到家長和早教機構(gòu)對其的認可程度和參與的積極性。在QRIS理想的邏輯假設(shè)模型中，家長之所以會選擇質(zhì)量等級高的早教機構(gòu)，是因為在這里兒童能享受更優(yōu)質(zhì)的保教，并且獲得更好的發(fā)展；而早教機構(gòu)會積極自愿申請加入QRIS的前提之一，也必須是其對等級評定非常信服，能夠感受到評級過程和結(jié)果的科學(xué)與公正。總之，如果質(zhì)量定級的結(jié)果與家長、早教機構(gòu)負責(zé)人和教師們的親身經(jīng)驗有著較高的匹配度，他們會更相信評級結(jié)果，進而提高QRIS的整體信譽，這一政策機制會得到更多的支持，走上良性運行的軌道，更好地發(fā)揮出應(yīng)有的功效。

(二)從評價系統(tǒng)內(nèi)部看，元評價有利于評價系統(tǒng)的改進與優(yōu)化

元評價不是對評價進行簡單的價值判斷，它遠遠超越了“成功”或者“失敗”的評判。元評價能找到一個評價系統(tǒng)在設(shè)計和實施等方面存在的問題，并為改進與優(yōu)化評價系統(tǒng)提出對策和建議。一方面，目前“循證決策”尚未在教育領(lǐng)域廣泛應(yīng)用，QRIS的設(shè)計決策很大程度上依靠專家的判斷[3]10，QRIS評級系統(tǒng)可以說更多是建立在理論推演的基礎(chǔ)上。另一方面，理想的評價體系設(shè)計落實到實踐之中時，不可避免地會出現(xiàn)各種問題，QRIS評級系統(tǒng)在運行的過程中往往由于評價實施者和其他相關(guān)利益者的原因而出現(xiàn)不同程度失誤或偏差。而QRIS質(zhì)量等級的評定是建立在這樣的假設(shè)基礎(chǔ)上：早期教育機構(gòu)的質(zhì)量可以被準確地測量，不同早教機構(gòu)之間的質(zhì)量差異可以依靠一整套質(zhì)量指標來辨別。那么，在實踐中是否真的能夠準確地對早教機構(gòu)進行質(zhì)量評級，對QRIS來說至關(guān)重要。因此，美國各州對QRIS評級系統(tǒng)進行有效性驗證活動是非常有意義的。

基于實證研究的元評價可以獲得大量數(shù)據(jù)，支持我們?nèi)ヲ炞C一系列問題：質(zhì)量要素的劃分是否合理？質(zhì)量標準體系是否能夠正確反映各質(zhì)量要素的本質(zhì)，進而準確地衡量質(zhì)量？測量工具是否具有良好的信效度？測量過程是否高效、精準？質(zhì)量等級計算形式是否合理？建構(gòu)的質(zhì)量等級體系是否具有良好的質(zhì)量區(qū)分度？早教機構(gòu)的質(zhì)量等級與兒童的發(fā)展結(jié)果是否呈積極相關(guān)？通過實證研究去驗證回答上述問題的同時，也是發(fā)現(xiàn)并矯正評價系統(tǒng)內(nèi)部問題的過程。政策制定者將依據(jù)元評價提供的證據(jù)對評價系統(tǒng)進行改進優(yōu)化，使其能夠更準確地對質(zhì)量進行測量，能夠更有目標和針對性地幫助早教機構(gòu)去提升質(zhì)量。例如，在對QRIS評級系統(tǒng)進行有效性驗證過程中，有研究者發(fā)現(xiàn)QRIS質(zhì)量標準體系中所包含的“家庭參與”這一質(zhì)量要素(quality component)對質(zhì)量評級沒有貢獻。因為加入QRIS的所有早教機構(gòu)在“家庭參與”這項質(zhì)量要素測評中都獲得了很高的分數(shù)，且“家庭參與”測評分數(shù)不存在統(tǒng)計學(xué)意義上的顯著差異，所以其對于區(qū)分早教機構(gòu)之間的質(zhì)量差異就沒有發(fā)揮作用[4][5]。QRIS評級系統(tǒng)對各質(zhì)量要素進行測評是需要資源投入的，如果某一質(zhì)量要素對整體的質(zhì)量評級沒有貢獻或者不能很準確地對其進行測量，可以刪除這一質(zhì)量要素或者修改測量標準、方式或工具。事實上，通過對評價系統(tǒng)進行有效性驗證研究，可以提高測量的效率，降低測量的成本。QRIS的有效性驗證還能表明政策制定者對質(zhì)量評級與促進系統(tǒng)改革是持開放的態(tài)度，愿意積極改進，并致力于提高其達到目標的可能性。所以說，元評價可以幫助評價系統(tǒng)變得更完善。

二 美國早期教育質(zhì)量評價元評價的實施現(xiàn)狀

元評價是一個非常復(fù)雜的過程，實質(zhì)上元評價是對評價的準確性和可靠性進行考察。一般來說，原評價中的所有環(huán)節(jié)(包括評價目的、評價指標體系、評價過程與方法、評價結(jié)果等)都是元評價要研究和評價的對象。美國各州對QRIS評價系統(tǒng)元評價工作也是各自為政、分頭進行，聯(lián)邦政府并沒有做統(tǒng)一部署與規(guī)劃。總體來看，各州元評價工作主要涉及對以下四方面進行檢驗。

(一)質(zhì)量要素劃分的合理性檢驗

對教育質(zhì)量進行測量，要有明確的可操作對象，這需要對其進行因素列舉式理解，即將與提升教育質(zhì)量密切相關(guān)的要素羅列出來，稱之為質(zhì)量要素(quality component)。美國大部分州(20個州以上)的QRIS都包含有六大質(zhì)量要素：許可證的合規(guī)性、員工資質(zhì)、課堂環(huán)境、家長伙伴關(guān)系、行政和管理、資格認證。另外，有一半左右的州還涉及其他三個質(zhì)量要素：課程、師幼比例與班級規(guī)模、兒童評價[1][3]10。對QRIS的質(zhì)量要素劃分的合理性進行檢驗，是非常重要的驗證活動，因為這是對早教機構(gòu)進行質(zhì)量水平定級最初的基礎(chǔ)。

當前，美國各州對QRIS所含質(zhì)量要素進行驗證的主要方式是通過專家討論和收集相關(guān)實證研究文獻。一方面，一些州(包括特拉華州、羅得島州、明尼蘇達州和維吉尼亞州)已經(jīng)啟用了專家評審系統(tǒng)，通過征求專家們的意見來確定QRIS的質(zhì)量評級系統(tǒng)中應(yīng)該包括哪些質(zhì)量要素。專家們也比較重視早教機構(gòu)和家長對質(zhì)量要素的看法，會讓他們對與教育質(zhì)量相關(guān)的因素進行排序，根據(jù)其選擇的順序判斷他們優(yōu)先關(guān)注的內(nèi)容，并將此作為提出意見的依據(jù)之一。例如，明尼蘇達州為了開發(fā)針對QRIS的評價工具，組織家長進行了焦點小組式的訪談[3]10。另一方面，各州通過收集關(guān)于現(xiàn)有的質(zhì)量要素是如何為提高早教機構(gòu)質(zhì)量和促進兒童發(fā)展做出貢獻方面的實證研究文獻，來驗證QRIS的各質(zhì)量要素在何種程度上與早教機構(gòu)以及兒童發(fā)展的結(jié)果聯(lián)系起來。通過對文獻進行深入分析，確定每個質(zhì)量要素的實證支持水平，這被專家視為對質(zhì)量要素進行評估的有效方法。文獻分析法是當前QRIS對質(zhì)量要素劃分是否合理的科學(xué)有效的外部評價，其實施的具體過程是對現(xiàn)有質(zhì)量要素進行“證據(jù)審查”。例如，在針對印第安納州QRIS的研究中，若某一質(zhì)量要素有1或2個精心設(shè)計的實證研究支持其對兒童發(fā)展有積極的促進所用，這一要素將被歸類為“有一些證據(jù)支持”；若有超過5個類似的實證研究支持的質(zhì)量要素則會被歸類為“有實質(zhì)性證據(jù)支持”。目前絕大部分(大約75%)的質(zhì)量要素都被認為“有實質(zhì)性證據(jù)支持”[6]5。文獻分析法通過分析現(xiàn)有的證據(jù)為QRIS的質(zhì)量要素劃分提供合理性解釋，即說明為什么QRIS包括某些質(zhì)量要素而排除了另外的質(zhì)量要素。文獻分析工作也會反復(fù)進行，來判斷QRIS的質(zhì)量要素劃分是否應(yīng)該根據(jù)最新的研究結(jié)果進行修改。

(二)質(zhì)量指標體系構(gòu)建的科學(xué)性檢驗

質(zhì)量指標體系的構(gòu)建，要建立在對各質(zhì)量要素進一步分析的基礎(chǔ)上。QRIS中的早期教育質(zhì)量評價指標體系是指早教機構(gòu)為了促進早教教育質(zhì)量提高和兒童獲得更好的發(fā)展而應(yīng)該達到的目標集合。通常來說，完整的指標體系至少應(yīng)包含三層次或三級，QRIS的質(zhì)量指標系統(tǒng)也不例外，是由要素(component)、標準(standard)、指標(indicators)三層次組成。其中，作為一級指標的“要素”，是對質(zhì)量進行廣泛的分類；“標準”則是指是二級指標，是對各個要素要達成的目標方向做出精煉的描述；“指標”在此是指三級指標，對二級指標作出了量的規(guī)定，也是對其的進一步細化，比較方便被測量或校驗。在QRIS中，一個質(zhì)量標準可能有一個或多個質(zhì)量指標。例如，在員工資質(zhì)這一質(zhì)量要素中，標準可能是“教學(xué)人員須經(jīng)過專門培訓(xùn)和資格評定”，與此標準相關(guān)的一個指標可能是“師資隊伍中至少有50%已完成全州指定的兩門課程的培訓(xùn)并通過考核”[3]7。質(zhì)量指標體系的制定是教育質(zhì)量從理論走向?qū)嵺`的重要一環(huán)，這是將“教育質(zhì)量”這一抽象概念轉(zhuǎn)為可操作對象的關(guān)鍵步驟，科學(xué)的評價指標體系是保證對早教機構(gòu)準確質(zhì)量定級的前提。因此，對質(zhì)量指標體系科學(xué)性進行檢驗，也是元評價的關(guān)鍵步驟。

美國各州質(zhì)量指標體系的科學(xué)性檢驗工作主要從以下方面進行。首先，為檢驗QRIS的質(zhì)量評價標準體系中各項目的區(qū)分度，用統(tǒng)計學(xué)的方法考查參與評級的早教機構(gòu)各質(zhì)量要素分數(shù)的分布情況。例如，澤爾曼等人在2008年對科羅拉多州早教機構(gòu)的QRIS評級分數(shù)進行了評價研究。最初的研究表明，早教機構(gòu)在“家庭參與”這一項的得分的離散性很低，幾乎所有的早教機構(gòu)都能在這項測評中得到最高的分數(shù)，這項要素的測量結(jié)果對早教機構(gòu)的質(zhì)量等級幾乎不會產(chǎn)生影響[7]。這或者意味著QRIS正在花費大量的精力與資源來測評一項在早教機構(gòu)之間并沒有什么差別的項目，或者說明了“家庭參與”這一質(zhì)量要素的測評指標和測評方式存在著問題。總之，盡管導(dǎo)致出現(xiàn)上述結(jié)果的原因有待于進一步探究，但當前QRIS的質(zhì)量體系的確存在一定問題。

其次，為檢驗QRIS質(zhì)量評價指標的相互獨立性，采用相關(guān)系數(shù)分析法對其進行了相關(guān)分析。在這樣的研究中，相關(guān)系數(shù)是非常重要的參考值。理想的假設(shè)是：由于QRIS質(zhì)量等級評定屬于綜合評價，其指標體系包含不同性質(zhì)、不同項目的評價，各項目測評結(jié)果之間呈較低相關(guān)，這將保證每一項測評都為早教機構(gòu)最終等級的評定提供了有意義的質(zhì)量信息。例如，當前有研究顯示師生比與互動質(zhì)量之間存在著較高的正相關(guān)，這表明同時測評這兩項并不能為QRIS質(zhì)量定級提供更多的信息，因此有人建議減掉對其中一項的測評[3]11；但也有專家指出，QRIS質(zhì)量評級系統(tǒng)包含的某些質(zhì)量要素從測量學(xué)的角度來看并不是理想的測評對象，保留其主要目的是引起早教機構(gòu)和家長對這方面的重視[3]11。

(三)質(zhì)量評級結(jié)果的準確性檢驗

質(zhì)量評級結(jié)果準確性檢驗也是美國各州對QRIS質(zhì)量等級評價系統(tǒng)的有效性驗證工作中比較重要的一環(huán)。這一部分工作涉及到對單項質(zhì)量要素所得分數(shù)以及早教機構(gòu)質(zhì)量等級評定是否準確的驗證，檢驗過程是通過考察計分方法與等級計算形式是否科學(xué)，進而判斷QRIS所評定的等級是否能夠準確區(qū)分不同早教機構(gòu)質(zhì)量水平。具體說來，這部分研究主要回答如下問題：采用不同的計分方法與等級計算形式會導(dǎo)致早教機構(gòu)的質(zhì)量等級發(fā)生很大的變化嗎？如果是這樣，那么到底哪一種計分方法與等級計算形式更為合理呢？

目前專門針對QRIS的計分方法以及等級計算形式(即采用適宜的方法將各單項質(zhì)量要素的測評結(jié)果合并在一起綜合判定早教機構(gòu)的等級)進行的深入探討有限，但實際上科學(xué)合理的等級計算形式對保證質(zhì)量等級準確評定非常關(guān)鍵，甚至可以說是對早教機構(gòu)準確定級的最關(guān)鍵步驟。關(guān)于QRIS的多項研究發(fā)現(xiàn)，等級計算形式是影響QRIS系統(tǒng)中各個早教機構(gòu)的等級分布的重要變量[8]。當前美國各州在為早期教育機構(gòu)進行定級時會采用三種等級計算方式：分級制、打分制和兩者綜合制。分級制是指評級對象在達成某一級別的所有的標準后才能晉升下一級別；打分制則是依據(jù)質(zhì)量標準對各單項質(zhì)量要素進行打分，然后對各項要素得分加權(quán)之后相加算出總分，再根據(jù)總分確定評級對象的最終級別[1]。例如，托特等人研究發(fā)現(xiàn)，采用分級制的等級計算形式，大多數(shù)早教機構(gòu)的質(zhì)量評級都很低；而采用綜合打分制更多的早教機構(gòu)被評為中等或高質(zhì)量[8]。由此可知，計分方法和等級計算形式的變化確實會影響早教機構(gòu)在QRIS中的等級。鑒于此，各州在對QRIS進行有效性驗證的過程中已經(jīng)開始收集和統(tǒng)計相關(guān)原始數(shù)據(jù)，探索改變計分方式以及合并規(guī)則對早教機構(gòu)的質(zhì)量等級產(chǎn)生什么樣的影響。例如，卡洛里和澤爾曼對加利福尼亞州的QRIS進行了研究，目的在于確定QRIS對早教機構(gòu)各項質(zhì)量要素(尤其是課堂環(huán)境質(zhì)量)進行測評時所使用的具體分數(shù)分割點是否合理，為修改評分方法提供建議[9]45。與此同時，還有研究關(guān)注了不同項目的質(zhì)量要素與兒童發(fā)展之間的相關(guān)性，指出計算總分的時候要考慮到不同項目內(nèi)容的重要性不同，重要項目的權(quán)重要增加。例如，越來越多的研究表明，高質(zhì)量師幼互動與兒童良好發(fā)展以及學(xué)業(yè)準備密切相關(guān)[10]。因此，各州QRIS都非常重視“師幼互動”，將其作為單獨的評價要素，并增加其在整個標準體系中的權(quán)重。

另外，為了檢驗評級結(jié)果的準確性，同時也是對質(zhì)量評價方案本身進行評定，一些州對QRIS的質(zhì)量評價結(jié)果進行了等值性驗證。即出于相同的評價目的，采用不同的評價方案對同一群體進行評價，將得出的結(jié)果進行相關(guān)分析，研究和判斷兩種方案的異同。在兩種方案具有高度相關(guān)的情況下，如果有資料說明其中的一個方案是高質(zhì)量的，那么可據(jù)此推斷另一個方案的質(zhì)量高低[2]。例如，南緬因大學(xué)的研究者使用當前認可度較高、最為流行的環(huán)境等級量表(Environment Rating Scales)對緬因州早教機構(gòu)的課堂環(huán)境進行了測評，緬因州的QRIS中并沒有將這一量表作為測評工具，研究者主要目的是看不同質(zhì)量等級的早教機構(gòu)之間的ERS得分是否存在著統(tǒng)計學(xué)意義上的差異，從而了解QRIS質(zhì)量評價方案與ERS之間的相關(guān)性，在此基礎(chǔ)上對QRIS質(zhì)量評價方案的科學(xué)性作出判斷[11]6。

(四)質(zhì)量等級與兒童發(fā)展結(jié)果的相關(guān)性檢驗

對于QRIS來說，它的邏輯假設(shè)為高質(zhì)量的保教會使兒童獲得更好的發(fā)展。因此，非常重要的有效性驗證工作就是：高質(zhì)量等級的早教機構(gòu)中的兒童比低質(zhì)量等級早教機構(gòu)中的兒童獲得了更好的發(fā)展。當前，美國各州圍繞這方面的研究工作主要是驗證早教機構(gòu)的質(zhì)量等級以及各質(zhì)量要素的等級是否與兒童的發(fā)展水平成正相關(guān)。佛羅里達州的研究者做了系列研究，認為早期教育機構(gòu)的質(zhì)量等級與兒童入學(xué)準備之間是顯著的正相關(guān)[12]7。密蘇里州的索恩伯格等人研究表明，參加了高質(zhì)量等級早教機構(gòu)的兒童在社會性和情感方面比參加低質(zhì)量等級早教機構(gòu)的兒童獲得了更好的發(fā)展，這樣的影響對低收入家庭的兒童更加明顯[13]7。弗吉尼亞州的研究則表明，比起在低質(zhì)量等級早教機構(gòu)就讀的兒童來說，接受了高質(zhì)量等級早期教育的兒童在幼兒園里的前閱讀能力發(fā)展得更好[1]。然而，科羅拉多州的澤爾曼等人的研究發(fā)現(xiàn)，質(zhì)量等級與兒童發(fā)展結(jié)果之間沒有相關(guān)[7]；印第安納州的埃利克(Elicker)和明尼蘇達州的托特(Tout)等也都發(fā)現(xiàn)質(zhì)量等級與兒童發(fā)展結(jié)果之間沒有一致性關(guān)系[14]33。總而言之，當前并沒有足夠多的證據(jù)支持QRIS所評定的質(zhì)量等級與兒童發(fā)展的結(jié)果呈積極相關(guān)這一假設(shè)。盡管也有一些州得出了QRIS的質(zhì)量等級與兒童發(fā)展呈正相關(guān)的研究結(jié)論，但這些州的驗證性研究設(shè)計并不嚴謹，例如佛羅里達州對兒童發(fā)展水平進行評價的是教師而不是第三方評價者。而印第安納州的研究則是對兒童發(fā)展水平數(shù)據(jù)的收集由獨立的第三方來完成，并對兒童的家庭背景進行了嚴格的控制，其得出的結(jié)論是不同質(zhì)量等級早教機構(gòu)中的兒童發(fā)展水平?jīng)]有統(tǒng)計學(xué)上的差異。針對這一現(xiàn)象，有人認為，這是出現(xiàn)了數(shù)理統(tǒng)計中的門檻效應(yīng)，因為越來越多的低質(zhì)量早教機構(gòu)加入QRIS，它們所得分數(shù)也許還沒能到達必要的值域來驗證質(zhì)量等級與兒童發(fā)展之間的關(guān)系；也有人指出，這或許是因為研究設(shè)計中缺少家庭與早教機構(gòu)之間的中介變量[3]13。無論做出何種解釋，QRIS評級結(jié)果的有效性遭到質(zhì)疑，必然會影響公眾對QRIS的信服度，進而影響其參與QRIS的積極性。

三 美國早期教育質(zhì)量評價元評價面臨的挑戰(zhàn)

盡管美國各州都已啟動了QRIS有效性驗證工作，特別是針對QRIS的評級系統(tǒng)開展了一系列研究，但在元評價實施的過程中面臨著諸多困難與挑戰(zhàn)。QRIS作為美國早期教育質(zhì)量監(jiān)督與保障的政策機制，其有效運行離不開政府、市場、學(xué)術(shù)團體三方力量的共同作用。而當對QRIS的有效性進行驗證時，政府、市場和學(xué)術(shù)團體三方面均暴露出了一定的問題，給元評價工作的開展帶來了一定的困難。

(一)來自政府力量方面的阻力：為維護政府權(quán)威諱疾忌醫(yī)

政府方面作為政策制定者與執(zhí)行者，其代表的是社會公共利益。政府參與到早期教育質(zhì)量監(jiān)督與保障工作中，其主要目的是希望通過一些政策措施使所有兒童都享受優(yōu)質(zhì)的早期教育。政策制定者為了贏得政治支持，必須對其所制定政策的價值做出有力論證，并要拿出確鑿的證據(jù)來證明這一政策完全實現(xiàn)了它的目標。政策在贏得支持的過程中，容不得任何的懷疑和不確定。正如美國各州大力推行的QRIS，這一政策機制運行需要大量的資源，如不對其進行績效評估，繼續(xù)的政策支持和財政支持就沒有可靠的依據(jù)。但任何評價總是帶著一定的風(fēng)險，在評估進行前，沒有人能保證一定會得到一個積極結(jié)果，甚至有時得到的結(jié)論是某項政策使局面變得更糟糕了。針對QRIS的有效性驗證也是如此，有可能得到這樣的結(jié)論：QRIS的成效并不明顯，早教機構(gòu)的保教質(zhì)量并未得到提升，兒童也未能獲得更好的發(fā)展。如此一來，政府之前付出的全部努力都處于付諸東流的危險之中。在某種意義上說，每一項政策后面都隱含著政策制定者的威望與權(quán)力，出于對自己權(quán)威的維護，政策制定者并不想獲得“此項政策低效或者無效”的負面信息。即使政策評價能夠幫助他們了解哪些地方需要改進，進而對政策進行修正，最終促使目標更好地實現(xiàn)。以QRIS的有效性驗證為例，假如對QRIS的評價表明這一政策機制包含的某些方法和措施沒有很好的發(fā)揮作用，那么政府可以重新審視這個政策某些方面，努力嘗試改進，使其更加有效地實施運轉(zhuǎn)，而不至于發(fā)展到無法控制的局面，使政策被全面否定。但美國各州政府中負責(zé)QRIS的部分官員們并不想獲得關(guān)于此項政策措施的任何負面反饋，在這種情況下，“即刻宣布勝利”的氣場是強大的，在其位者為了維護自己的權(quán)威甚至不惜“掩耳盜鈴”[15]6。當下一個比較明顯的趨勢是某些州政府在對QRIS的評級系統(tǒng)進行評估時僅限于收集既得利益者的看法與意見，沒有設(shè)計出一整套科學(xué)嚴謹?shù)脑u價方案。這樣的元評價通常會產(chǎn)生贊美的結(jié)果，對問責(zé)或政策措施的改進沒有任何作用。

(二)來自市場既得利益者的阻力：為維護既得利益不予合作

市場力量的主體是早期教育的提供者，即各類早教機構(gòu)，市場力量作用的發(fā)揮遵循資本邏輯，以逐利性為基本特性，它對早期教育質(zhì)量的訴求就是追求收益的最大化[16]。對QRIS的評級系統(tǒng)進行評價可能遭到既得利益者的反對，因為評價的結(jié)果可能會動搖或破壞現(xiàn)狀。早教機構(gòu)的負責(zé)人已經(jīng)熟悉了現(xiàn)有的資源分配標準和方式，他們并不太關(guān)心當前政策是否有效地解決了問題。各州對QRIS評級系統(tǒng)進行元評價，如果評價結(jié)果表明當前的物質(zhì)激勵和專業(yè)支持不足以使早教機構(gòu)和兒童產(chǎn)生預(yù)期的變化，那么這就會給QRIS繼續(xù)按原有程式推行帶來壓力。這可能意味著政府會對資源進行重新配置，設(shè)計新方案，對早教機構(gòu)進行重新定級的過程也將被啟動。因此，在QRIS運行比較成熟的州，既得利益者們不愿意就QRIS評級系統(tǒng)有效性驗證這一問題進行探討。在實踐中，他們的具體表現(xiàn)為對有效性驗證活動并不支持。例如，當想要了解資金獎勵對早教機構(gòu)質(zhì)量提升的影響，需要早教機構(gòu)提供財務(wù)數(shù)據(jù)，這恐怕是非常困難的[15]7。另外，由于QRIS的有效性驗證工作是一項大工程，要有一定資金投入。精心設(shè)計評價方案并完美實施評價活動的花費是相當大的，早教機構(gòu)在利益驅(qū)使下傾向于將預(yù)算高估，政策制定者往往會被早教機構(gòu)提供的評估預(yù)算金額所震驚[15]7。一些早教機構(gòu)如此的立場和舉動，對于元評價工作的推行是一種阻力。

(三)來自學(xué)術(shù)研究過程的諸多限制：對象不穩(wěn)定、條件不可控、工具受質(zhì)疑、數(shù)據(jù)難搜集

對QRIS有效性驗證離不開學(xué)術(shù)力量的支持，學(xué)術(shù)研究結(jié)果是對QRIS進行評價的客觀依據(jù)。美國諸多學(xué)者對QRIS評價系統(tǒng)進行了相關(guān)研究，例如在質(zhì)量標準體系的科學(xué)性、質(zhì)量測評工具的有效性、質(zhì)量評級結(jié)果的準確性等方面都進行了探索，但在實際研究的過程中仍面臨著許多困境。首先，針對兒童的縱向追蹤研究難以為繼。例如，為了研究早教機構(gòu)的質(zhì)量等級對兒童閱讀準備的影響，必須對兒童進行長時間的追蹤。一旦兒童在研究的過程中離開了這家早教機構(gòu)，那么對其未來發(fā)展結(jié)果的追蹤就是無效的。事實上，由于搬家或父母換工作，兒童在早教機構(gòu)中中途離開是十分常見的，這就讓兒童縱向追蹤研究難以為繼。其次，針對質(zhì)量要素與兒童發(fā)展結(jié)果的相關(guān)性研究挑戰(zhàn)性很大。問題一是不能控制所有的無關(guān)變量。兒童自身發(fā)展具有較強的個體差異性，不同家庭又會為兒童選擇不同類型與質(zhì)量等級的早教機構(gòu)，選取的樣本具有較強異質(zhì)性，無關(guān)變量的控制較為困難。問題二就是測量兒童發(fā)展的量表是否具有普適性。美國早教機構(gòu)中的兒童來自不同的種族，他們成長的文化背景和語言背景具有較大的差異，用一套指標去測量不同種族兒童在認知、情感、動作、社會性等多方面的發(fā)展結(jié)果并不科學(xué)。再次，基礎(chǔ)數(shù)據(jù)的收集存在著困難。在QRIS已經(jīng)比較成熟的州，一些早教機構(gòu)出于對自己既得利益的保護，并不情愿如實提供相關(guān)數(shù)據(jù)；而在新建立QRIS的州，尚需要進行一定時間的積累，才能獲得能夠用于評價的數(shù)據(jù)。總之，基礎(chǔ)數(shù)據(jù)的收集工作并不是很好開展。

四 啟示

(一)在構(gòu)建我國的早期教育質(zhì)量評價體系的同時，即須考慮元評價工作

當前我國并沒有類似美國QRIS這樣的系統(tǒng)性早教教育質(zhì)量評級與提升政策機制，也沒有國家層面制定的早期教育質(zhì)量評價系統(tǒng)的評價標準，早期教育質(zhì)量監(jiān)督和保障工作處于探索期。目前情況是，各省和直轄市教育行政部門基本都制定了本土化的幼兒園質(zhì)量評價標準，但各省市的評價標準差異較大，而且標準大都是只針對幼兒園，不涉及招收0-3歲兒童的早教機構(gòu)。各省市教育行政部門負責(zé)組織對幼兒園進行等級評定，但均未對幼兒園教育質(zhì)量評價進行元評價。從美國QRIS建設(shè)以及對其有效性驗證的經(jīng)驗中，可以知道從國家層面推行系統(tǒng)性的早期教育質(zhì)量監(jiān)督與保障政策措施意義非常重大，這是保證所有兒童接受高質(zhì)量早教的必要條件。國家性政策推行的首要步驟就是構(gòu)建統(tǒng)一的早期教育質(zhì)量評價體系，其中質(zhì)量標準是質(zhì)量保障機制運行的起點。對早教機構(gòu)的教育質(zhì)量進行測量與評級，必須首先具備一套標準，其次就是制定適宜質(zhì)量測評工具。因此，構(gòu)建國家性早期教育質(zhì)量評價標準與開發(fā)普適性的測評工具，應(yīng)該成為政府工作亟須考慮的問題。在建構(gòu)國家性早期教育質(zhì)量評價標準時，可借鑒美國的一些經(jīng)驗。在質(zhì)量要素劃分和指標體系建構(gòu)時，可參照美國現(xiàn)有的標準體系，對國外相關(guān)文獻進行分析，同時結(jié)合我國的實際情況，注重收集學(xué)前教育領(lǐng)域?qū)＜覍W(xué)者、早期教育工作者以及家長等相關(guān)利益者的意見。而且在評價體系建立之初，應(yīng)該選擇小部分省市作為試點開展評價工作，根據(jù)評價結(jié)果對評價指標與工具進行調(diào)整修改，保證合理性與科學(xué)性。

另外，通過美國QRIS的推行及對其有效性驗證活動的開展考察，可以更加明確地意識到對教育質(zhì)量評價工作進行元評價的重要性。尤其是當教育質(zhì)量評價作為一個質(zhì)量保障政策機制的重要一環(huán)時，探索其是否發(fā)揮了效用是非常重要的。因為政策的實施往往會涉及政府財政支持，政府與公眾都需要確定這些財政支持是否有所收益。持續(xù)一個無效政策的成本是巨大的，只要不對政策進行評估，那就沒有機會去改進政策或者用一個更有效的措施來代替它。但開展元評價并不是輕而易舉的事情，需要資金支持，同時數(shù)據(jù)的收集也面臨著諸多挑戰(zhàn)。這說明元評價的進行需要更加完善的組織與監(jiān)管機制，需要頂層設(shè)計。如果在建構(gòu)早期教育質(zhì)量評價體系的同時就能考慮到元評價工作的開展，將為后繼工作帶來極大的方便。就像QRIS的設(shè)計者如能在實施之前就為后面有效性驗證做好安排，為質(zhì)量評級收集的基礎(chǔ)數(shù)據(jù)也可以為元評價所用，避免額外的數(shù)據(jù)收集，那將會大大降低元評價成本。例如，在QRIS對早教機構(gòu)提供支持與專業(yè)援助的過程中，可以收集關(guān)于早教機構(gòu)和兒童發(fā)展狀況的相關(guān)數(shù)據(jù)。總之，建議我國政府部門應(yīng)將元評價工作的開展與質(zhì)量評價工作同時進行考慮。

(二)協(xié)調(diào)政府、市場、學(xué)術(shù)三方力量開展元評價，以保證政策效能

國家制定并實施早期教育質(zhì)量監(jiān)督與保障政策，根本目的是為了使所有兒童均能夠享受到高質(zhì)量的早教，促進兒童更好的發(fā)展。為了保證政策的有效性，應(yīng)該對早期教育質(zhì)量評價開展元評價。但從美國QRIS有效性驗證的過程中，可以看到元評價開展在諸多方面都面臨著困境。

面對各種阻力，必須強調(diào)把兒童的需要與利益放在第一位，而不是優(yōu)先考慮政策制定者和早教機構(gòu)的管理者等其他利益相關(guān)者自利性訴求。如能將政府行政部門、早教機構(gòu)以及學(xué)術(shù)研究團隊三方面力量合理協(xié)調(diào)配合起來，可以使元評價順利開展，使政策效能得到保證，實現(xiàn)制定與推行政策的根本目的。

首先，元評價工作應(yīng)該由專業(yè)人員組成的第三方學(xué)術(shù)團體來負責(zé)。元評價工作專業(yè)性非常強，其所涉及的利益相關(guān)者關(guān)系又較為復(fù)雜，政府行政人員與早期教育機構(gòu)管理者都具有自利性，而專家學(xué)者遠離利益糾紛而又具有高水平的專業(yè)知識與能力，因此是承擔這一工作的最佳人選。但政府作為公共利益的代表，其依然要發(fā)揮主導(dǎo)力量，負責(zé)協(xié)助第三方評價機構(gòu)的組建，并賦予其專業(yè)自主權(quán)，重視元評價的結(jié)果。

其次，專家學(xué)者在元評價的過程中應(yīng)考慮到政府、家長和早教機構(gòu)等相關(guān)利益者的主觀感受和利益訴求。教育政策不同于經(jīng)濟政策、科技政策等其他公共政策，正如之前所述，其制定和實施的根本目的是為了促進兒童的更好發(fā)展。評價指向“人”的政策并不能全部依靠數(shù)字標準，元評價實施者要帶著人文關(guān)懷去傾聽相關(guān)利益的主觀福祉感受與利益訴求。原因之一是兒童的發(fā)展結(jié)果具有隱效性和長期性，不是全部都能即時量化，還有一些諸如態(tài)度、品質(zhì)等方面的發(fā)展并不是很容易測量。這樣，當我們?nèi)z驗早教機構(gòu)的質(zhì)量等級與兒童發(fā)展的相關(guān)性時，結(jié)合定性描述，會使元評價的結(jié)果更加客觀。原因之二是政府政策制定者與早教機構(gòu)管理者作為早期教育事業(yè)的主要建設(shè)者與推動者，他們的主觀感受和合理利益訴求是在元評價的過程中應(yīng)該給予考慮的。元評價目的是為了提高政策效能，而絕不是為了打消有關(guān)工作者的工作積極性。專家學(xué)者通過訪談、實地調(diào)研等方式，傾聽政府行政人員、早教機構(gòu)管理者們的心聲，能夠?qū)χ暗脑u價工作有更深入的了解，也能與他們建立起良好的情感聯(lián)結(jié)。而良好人際情感關(guān)系的建立，則有助于相關(guān)利益者理解并接受元評價的結(jié)果，順利接受政策的重新調(diào)整，從而保證不至于因為政策調(diào)整而影響到早教機構(gòu)的精神環(huán)境并最終影響兒童發(fā)展。

最后，學(xué)術(shù)團體為開展元評價而進行的數(shù)據(jù)收集以及后繼的研究工作都離不開政府部門的大力支持，政府部門應(yīng)該投入更多的人力、財力，確保專業(yè)評價團隊力量的壯大和元評價工作的資金支持。

參考文獻：

[1]劉昆，郭力平，鐘晨焰.美國學(xué)前教育質(zhì)量評級與提升系統(tǒng)：實施現(xiàn)狀及面臨的挑戰(zhàn)[J].外國教育研究，2016，(5)：110-128.

[2]侯光文.試論教育評價元評價[J].教育理論與實踐，1998，(4)：23-26.

[3]ZELLMAN G L， FIENE R. Validation of quality rating and improvement systems for early care and education and school-age care[EB/OL]. [2016-10-10]. https://www.acf.hhs.gov/sites/default/files/opre/val_qual_early.pdf.

[4]ZELLMAN G L, PERLMAN M. Parent involvement in child care settings: Conceptual and measurement issues[J].EarlyChildDevelopmentandCare, 2006,(5):521-538.

[5]MCGRATH W H. Ambivalent partners: Power, trust, and partnerships in relationships between mothers and teachers in a full-time child care center[J].TeachersCollegeRecord,2007,(6):1401-1422.

[6]ELICKER J, LANGILL C, RUPRECHT K, et al. Paths to quality, A child care quality rating system for Indiana: What is its scientific base[EB/OL]. (2007-10-23)[2016-10-10]. https://www.researchconnections.org/childcare/resources/13236/pdf.

[7]ZELLMAN G L, PERLMAN M, LE V, et al. Assessing the validity of the qualistar early learning quality rating and improvement system as a tool for improving child-care quality[EB/OL].[2016-10-20].http://www.rand.org/content/dam/rand/pubs/monographs/2008/RAND_MG650.sum.pdf.

[8]TOUT K，CHIEN N，ROTHENBERG L，et al. Implications of QRIS design for the distribution of program ratings and linkages between ratings and observed quality[EB/OL].[2016-10-05]. https://www.researchconnections.org/childcare/resources/27349/pdf.

[9]KAROLY L A, ZELLMAN G L. How would programs rate under California’s proposed quality rating and improvement system? Evidence from statewide and county data on early care and education program quality[EB/OL]. [2016-10-05]. https://www.rand.org/pubs/documented_briefings/DB647.html.

[10]KAROLY L A. Validation studies for early learning and care quality rating and improvement systems: a Review of the Literature[EB/OL]. [2016-10-18]. https://www.rand.org/content/dam/rand/pubs/working_papers/WR1000/WR1051/RAND_WR1051.pdf.

[11]LAHTI M C, SABOL T, STARR R， et al. Validation of quality rating and improvement systems(qris): examples from four states[EB/OL]. [2016-10-18].http://www.childtrends.org/wp-content/uploads/2015/08/2013-61Validation-of-Quality-Rating-and-Improvement-Systems-QRIS-Examples-from-Four-States.pdf.

[12]SHEN J P, TACKETT W, MA X. Second evaluation report for Palm Beach County quality improvement system[EB/OL]. [2016-10-18].http://cache.trustedpartner.com/docs/library/000238/ECEQISEvaluation2008.pdf.

[13]THORNBURG K R, MAYFIELD W A，HAWKS J S. The Missouri quality rating system school readiness study[EB/OL]. [2016-10-18].http://www.elcmdm.org/Knowledge%20Center/reports/MOQRSreport.pdf.

[14]ELICKER J G, LANGILL, C C, RUPRECHT K M， et al. Evaluation of “Paths to QUALITY”, Indiana’s child care quality rating and improvement system: final report[EB/OL]. [2016-10-18]. http://www.state.in.us/fssa/files/PTQFinalReportRev11012.pdf.

[15]ZELLMAN G L, BRANDON R N, BOLLER K, et al. Effective evaluation of quality rating and improvement systems for early care and education and school-age care[EB/OL]. [2016-10-18].https://www.researchconnections.org/childcare/resources/21555/pdf.

[16]劉昊，夏婧.美國學(xué)前教育質(zhì)量保障體系的演變及啟示——基于國家、學(xué)術(shù)、市場“三角協(xié)調(diào)模型”的分析[J].上海教育科研，2015，(3)：31-35.