科學設定職業資格考試合格標準

汪存友

科學設定職業資格考試合格標準

汪存友

設定合格標準是實施職業資格考試制度的重要環節。本文首先從合格標準與行業最低基本要求間的對應關系著手，闡明了設定合格標準的基本原理；隨后探討了基于Angoff法設定職業資格考試合格標準的核心思想，指出實施Angoff法必須把握好的幾個關鍵要素；最后結合職業資格考試合格標準設定實踐，提出了“最低基本要求對照策略”、“兩輪設定策略”和“綜合決策策略”等三種設定合格標準的策略。

職業資格考試；合格標準；標準設定；Angoff法

1 設定合格標準的內涵

職業資格考試（occupational qualification exami?nation）屬行業準入考試，旨在評價職業申請者是否具備從事相關職業所必需的專業知識、技能與能力（Knowledge、Skills&Abilities，KSA），也即執業者應達到的“最低基本要求”（Minimally Basic Require?ments，MBR）。所謂“設定合格標準”，又稱標準設定（Standard Setting），通常指確定考生的測驗得分達到何種程度（How much to be enough）方被裁定為達到“最低基本要求”（也即“合格”）的方法和過程。

如果將所有考生按照KSA的水平由低到高排序、形成一條KSA連續譜（如圖1所示），那么，在KSA連續譜上存在一個“最低基本要求”分界線，位于該分界線左端的考生的KSA水平較弱，屬于不合格者；位于其右端的考生的KSA則較強，屬于合格者。進一步，如果將所有考生的考試得分由低到高排序、形成一條測驗分數連續譜，位于KSA連續譜最左端的考生，其考試得分也位于分數連續譜的左端；而位于KSA連續譜最右端的考生，其考試得分也位于分數連續譜的右端。顯然，對于KSA恰好處于“最低基本要求”分界線的考生，他們的考試得分將會在分數連續譜上也形成一個分界線，得分位于分界線左端的考生，可以推斷其KSA未達到“最低基本要求”，故將被裁定為不合格，而位于分界線右端的考生，可以推斷其KSA已達到“最低基本要求”，故將被裁定合格。設定合格標準的目標，就是要將KSA連續譜上的“最低基本要求”轉換為分數連續譜上的“考試合格標準”。

圖1 設定合格標準原理

理論上，由于人的主觀界定存在模糊性，“最低基本要求”常常是一個區間；同時，由于考試存在測量誤差，考試合格標準也存在一個區間（如圖1所示）；但實際操作中，出于考試權威性的考慮，考試合格標準總是一個確定的分界分數。如果此時所設定的合格標準明顯高于“最低基本要求”，則導致的結果是：部分實際上已合格的考生將被拒絕在行業之外，造成對部分有能力的考生不公平；如果此時所設定的合格標準明顯低于“最低基本要求”，則導致的結果是：部分實際上不合格的考生也能通過考試并獲得資格，影響整個行業的服務質量等?？梢姡茖W合理設定合格標準，對于實施職業資格考試、提高行業服務水平至關重要。

2 設定合格標準的基本方法

設定合格標準通常被形容為“做翻譯”，即怎樣順利、準確地將抽象的“最低基本要求”翻譯為具體的測驗分數[1]。迄今為止，設定合格標準的方法已達數百種，而在職業資格考試中應用最為廣泛的是Angoff法[2]。該方法要求：遴選一批行業或學科領域的專家（judge），組織他們共同界定一組知識、技能或能力狀態恰好位于掌握/未掌握、合格/不合格邊緣的考生（恰好合格考生），并估計這些考生在每道試題上的表現，據此設定分數線[3]。其核心思想如圖2所示。

首先，要事先根據試題所屬的考試內容范圍，明確該題所對應的“最低基本要求”，也即執業者在這個點上應該“至少知道什么、會做什么；還不知道什么、不會做什么”；其次，組織專家參照該“最低基本要求”，回想自己工作中接觸的某些典型人員的業務表現，并在頭腦中構造一個“恰好合格考生”形象，他們的業務表現恰好稱得上合格；最后，專家需審閱試題的題干、選項和難度，并估計“恰好合格考生”在該題上的可能作答表現。由圖2可見，執行Angoff法的關鍵有三：一是必須明確界定好“最低基本要求”，二是必須幫助專家構造出“恰好合格考生”的清晰形象，三是專家怎樣估計“恰好合格考生”的作答表現。

圖2 Angoff法的核心思想

對于第一個關鍵點，需要在設定合格標準之前，組織行業專家采用工作分析法或關鍵事件法分析行業對執業者的知識、技能或能力素質的要求，制定一份關于執業“最低基本要求”清單，明確合格的執業者所必須掌握的知識、技能或能力。美國注冊護士職業資格考試、新一代TOEFL考試的合格標準設定即采用了此策略。

對于第二個關鍵點，需要引導專家根據試題所考查的內容或知識點，對照“最低基本要求”清單中關于此內容或知識點的知識、技能或能力描述，從其所熟悉的考生群中鎖定一個或若干個典型人員，構造“恰好合格考生”的形象。例如：Impara&Plake教授主持的加拿大Nebraska省學業水平測試的合格標準設定即采用此策略[4]。

對于第三個關鍵點，應該適當向專家提供一些關于試題難度的信息，比如：不同測驗分數段的考生在該題上的實際作答表現、全體考生在該題上的答對比例等；此外，應該引導專家將其對試題難度的理解轉化為“恰好合格考生”的作答表現。一般地，專家有四種估計方式，一是估計“恰好合格考生”答對還是答錯，二是估計“恰好合格考生”答對的可能性（概率），三是給定若干個概率選項（10%、20%，30%……），專家從中選擇一個最能反映“恰好合格考生”答對可能性的值，四是采用區間概率估計法。關于上述四種估計形式，都有相關的實證研究進行論證。目前，應用最為廣泛的有兩種：對錯估計和概率估計。

3 基于Angoff法設定職業資格考試合格標準的若干策略

Angoff法的思想雖然簡單，但設定合格標準卻是一項系統工程，除了引導專家合理地判斷“恰好合格考生”在試題上的作答表現外，還需要精心安排、組織、實施一系列的配套活動，如界定“最低基本要求”、“遴選學科專家”、“專家培訓”、“結果反饋”、“事后調查”、“統計分析”、“效度評估”等。美國的教育服務社（ETS）、大學入學考試（ACT）、醫師考試委員會（NBME）、國家教育進步評估（NAEP）等大型考試服務機構或項目，都十分重視合格標準設定的整個過程的科學性、組織性和完整性。Cizek（2001）認為合格標準雖然具有自然科學的專業性質，但由于融入了較多的藝術、政治和文化成分，因而更接近社會科學[5]。

3.1 “最低基本要求”對照策略

該策略在前面已提到，即首先，在合格標準設定會議之前，組織行業專家對行業的知識、技能或能力（KSA）的最低基本要求（MBR）進行分析；其次，要組織學科專家明確界定每道試題所屬的內容范圍；最后，組織專家建立起“內容范圍”與“最低基本要求”間的對應關系。這樣，對于所有的試題，將形成一張對照表：“試題——所屬內容范圍——最低基本要求”。由于“最低基本要求”界定的合格考生“知道什么、會做什么，以及還不知道什么、還不會做什么”，因此專家在對每道試題進行Angoff估計時，都能實時查找到該題對應的“最低基本要求”，從而有助于專家合理界定“恰好合格考生”，提高估計的準確性。美國教育進展評估項目（NAEP）目前正在推廣的Bookmark法就使用了該策略。

3.2 多輪設定策略

關于合格標準設定中進行多輪設定的實證研究相當多。Hambleton(1998)[6]認為，在第一輪設定完畢時，應給予專家相互討論的機會?！啊ǔ?，試題的統計信息、以及合格標準所對應的分數通過率情況等對專家的評判是很有參考價值的。那么，第二輪的估計相對而言更為充分，可以消除誤差源（誤解、粗心、不已知、錯誤）。”兩輪設定雖然會花費較多的人力、物力、財力等，但這對于提高合格標準的可靠性和準確性是至關重要的。NBME早期的實證研究也表明，專家對采用兩輪設定且在此期間提供試題難度信息的做法最為認同[7]。

Angoff法自提出時就存在兩種估計形式：對錯估計和概率估計[8]。Plake&Impara（1997）[9]、Chinn&Hurtz(2002)[10]的研究表明，“對錯”估計方式相對于“概率”估計方式更為簡單。筆者的研究表明，“對錯”估計方式與“概率”估計方式具有較強的互補性，而且“概率”估計方式更加穩定。因此，可采用“對錯”估計與“概率”估計相結合的專家判斷策略，即組織專家先初步估計“恰好合格考生”能否答對試題，再采用“概率”估計慎重估計。

此外，大量早期實證研究表明，提供試題實測信息，如難度、正確答案等，對于提高專家估計的可靠性和準確性是很有幫助的[11]。因此，對于第一輪的對錯估計，可采用頻數分布圖的形式向專家提供不同得分段上的考生答對試題的比例，對于第二輪的概率估計，可提供全體考生實際答對試題的比例以及試題的正確答案。

3.3 綜合決策策略

采用多種方法設定合格標準，是大規模、高風險職業資格考試的基本策略，這樣可以避免單一方法因執行力度不夠而導致合格標準偏離實際。由于執行Angoff法時，專家通常關注單一的試題，因此，Angoff法也被稱為“基于單一試題的專家判斷法”。許多學者指出，Angoff法使專家忽略了試題的整體關系，易造成合格標準設定過高。Plake（1998）主張將Angoff法與以整體判斷為特色的合格標準設定方法相結合，如Beuk法和Hofstee法等，她認為這樣有助于將專家從關注單一的試題轉移到測驗全局上，若此時提供了所設定合格標準對應的通過率，還能及時對專家的期望通過率進行驗證[12]。

以Hofstee法為例，其操作十分簡單，只需要專家根據自己對考試內容和考生群體的大致了解，預估此次考試的合格標準的可能區間（最低分數、最高分數）和考生的通過率情況（最高通過率、最低通過率）[13]。采用Hofstee法，一方面能夠將專家的注意力轉移到對整個測驗、全體考生的期望上來，另一方面通過建立合格標準與通過率的對照圖，從而能將合格標準對通過率的影響直觀地顯示出來。因此，將Angoff法與Hofstee法相結合設定合格標準，在美國注冊護士職業資格考試、美國醫師資格考試以及其他的資格認證考試中有著廣泛的應用。

4 總結

職業資格考試是我國職業證書制度的重要組成部分，而設定合格標準又是實施職業資格考試的重點和難點。自20世紀90年代我國開展職業資格考試以來，越來越多的機構和群體開始關注合格標準的確定辦法，這其中也包括非心理與教育測量背景的專家學者。雖然職業資格考試合格標準的設定在國外早已是研究熱點，相繼提出了許多方法，但在國內，無論是研究的數量還是水平都處于較低的層次。隨著我國大規模、高風險考試科學化的推進，科學合理設定合格標準已成為衡量考試水平的重要依據。

[1]Reckase M D.Innovative methods for helping standard-setting par?ticipants to perform their task:the role of feedback regarding con?sistency,accuracy,and impact[M].Setting Performance Stan?dards:Concepts,Methods,and Perspectives,Cizek G J,Mahwah,N.J.:Lawrence Erlbaum Associates,Inc.,2001,159-173.

[2]Hess B,Subhiyah R G,Giordano C.Convergence Between Cluster Analysis and the Angoff Method for Setting Minimum Passing Scores on Credentialing Examinations.[J].Evaluation&the Health Professions.2007,30(4):362-375.

[3][8]Angoff W H.Scales,norms and equivalent scores[M].Education?al Measurement,2nd ed.ed;Thorndike R L,Washington,DC:American Council on Education,1971,508-600.

[4][9]Impara J C,Plake B S.Standard Setting:An Alternative Aproach[J].Journal of Educational Measurement.1997,34(4):353-366.

[5]Cizek G J.Conjectures on the rise and call of standard setting:An introduction to context and practic[M].Setting Performance Stan?dards:Concepts,Methods,and Perspectives,Cizek G J,Mahwah,N.J.:Lawrence Erlbaum Associates,Inc.,2001,3-17.

[6]Hambleton R K.Setting performance standards on achievement tests:Meeting the requirements of Title I[M].Handbook for the de?velopment of performancee standards:Meeting the requirements of Title I,hansche L N,Washington,DC:Council of Chief State School Officers,1998,97-104.

[7]Swanson D B,Dillon G F,Ross L E.Setting content-based stan?dards for national board exams:initial research for the Comprehen?sive Part I Examination[J].Academic Medicine.1990,65(9):17-18.

[10]Chinn R N,Hertz N R.Alternative Approaches to Standard Setting for Licensing and Certification Examinations.[J].Applied Measure?ment in Education.2002,15(1):1-14.

[11]Brandon P R.Conclusions About Frequently Studied Modified An?goff Standard-Setting Topics[J].Applied Measurement in Educa?tion.2004,17(1):59-88.

[12]Plake B S.Setting Performance Standards for Professional Licen?sure and Certification[J].Applied Measurement in Education.1998,11(1):65-80.

[13]Bower J J,Shindoll R R.A comparison of the Angoff,Beuk,and Hofstee Methods for Setting a Passing Score[R].ACT,1989.

Setting Performance Standard Scientifically for Occupational Qualification Examination

WANG Cunyou

Standard setting is the key step of conducting occupational qualification examination.The principle and meaning of standard setting were explained Firstly,by focusing on the correspondent relationship between the standard and minimally basic requirements.Secondly,the kernel of Angoff method,which was used to set the standard of occupational qualification examination,was explored,as well as the key points during carrying out it.And at last,in terms of occupational qualification examination practice,several standard setting strategies were proposed here.

Occupational Qualification Examination;Performance Standard;Standard Setting;Angoff Method

G405

A

1005-8427(2012)04-0043-5

本文系山西省教育科學“十二五”規劃立項課題（批準號：GH-11056）的階段性成果。

山西師范大學