謝穎怡 張逸詩 徐煜俊
[摘要]基于測試使用論證框架(AUA),對劍橋職業英語考試(OET)用于護士職業資格注冊這一決策進行效度分析,參考分析結果對中國醫護英語水平考試(METS)用于護士招聘和調配這一決策提出以下建議:(1)公開測試記錄相關信息;(2)提供真實性醫療場景需求;(3)測試結果與其他等級系統對接;(4)提供詳細測試結果報告;(5)公布測試開發和使用信息。
[關鍵詞]劍橋職業英語考試(OET);測試使用論證(AUA);醫護英語水平考試(METS)
[中圖分類號]G424.74[文獻標識碼]A
[文章編號]1673—1654(2023)03—033—009
基金項目2018廣東省高職教育教學改革項目“基于SPOC的產出導向型護理職業英語聽說課程混合式教學改革和實踐”(GDJG2019349);惠州衛生職業技術學院創新強校工程課題:基于AI人工智能與SPOC的護理職業英語聽說課程混合式教學研究(3.72)。
一、引言
《國家職業教育改革實施方案》[1]和《職業教育提質培優行動計劃(2020—2023年)》[2],是我國最新發布的職業教育重要政策文件,其中提到“職業教育培訓評價應對接職業標準,與國際先進標準接軌”“培養適應合作國經濟社會發展急需的高素質技術技能人才”。當前我國唯一面向醫藥衛生人才的全國性專業英語考試項目為醫護英語水平考試(Medical English Test System,以下簡稱METS)[3],而國際普遍認可的考試則是職業英語考試(Occupational English Test,以下簡稱OET)。OET由劍橋博士山語言測評中心(Cambridge Boxhill Language Assessment,CBLA)主辦,主要評估考生在醫療職業場景下的英語技能水平。有些醫務工作者畢業于不以英語為教學語言的學校(或其他技能培訓單位),他們在英國、澳大利亞、新西蘭等9個國家進行職業注冊、求職、求學時,必須以OET或雅思成績作為英語工作水平的佐證。在部分國家,OET甚至可以用于簽證和移民[4]。可以說,OET代表了英語環境下對醫療人員的語言能力要求。分析OET有利于了解英語醫療職業交流環境下對醫學人員的語言能力要求,促進對接護理國際人才語言能力標準的建設。
但是當前對于兩個測試的研究非常有限,中國知網收錄的核心期刊論文中,針對METS的研究僅為一篇[5],主要關注該考試對教學資源建設的影響,暫無針對劍橋職業英語考試的研究。因此,本文基于測試使用論證框架(AUA),對劍橋職業英語考試(OET)用于護士職業資格注冊這一決策進行效度分析,以期為METS的發展提供參考。
二、測試使用論證框架(AUA)
AUA(Assessment Use Argument)是國際著名語言測試專家Bachman教授在2003年針對現實需求提出的概念框架,用于指導測試開發與使用[6]。從測試使用的角度來看,AUA自上而下分為作答表現(performance)、測試記錄(assessment record)、結果解讀(interpretation)、決策(decision)和預期影響(consequence)五個環節。論證分為2個步驟:首先構建4個具體的主張(claim),以說明上述五個環節間的聯系;然后列舉4個具體主張的理由(warrant)、證據(backing),也可能有對應的反駁(rebuttal)和證據(見圖1)。其論證形式以英國哲學家Stephen Toulmin的實用推理模型為理論依據,認為主張應有事實理由作為支撐,而理由也需要證據證明。主張的可靠性在于理由是否成立以及反駁是否充分,即理由的證據和反駁的證據是否確鑿。Bachman和Palmer強調測試開發者和使用者應就每一具體的測試使用目的進行論證。很多因素對論證過程有影響,如利益相關者(包括考生、考生家長、考試組織方、資格注冊中心、移民管理局等)、當地教育管理政策規則等。
因此,本文基于AUA對OET進行評價及對比,主要分為三部分:第一部分總體介紹OET和METS;第二部分基于AUA分析OET用于護士資格注冊的效度,選擇OET用于護士資格注冊,是因為基于2013年劍橋英語語言測試中心的調研,大部分OET考生的考試目的是為了獲得職業注冊資格(78%)和在醫療行業求職(18%)[7],最后一部分對提高METS用于護士求職這一決策的效度提出建議(4%)。
三、OET和METS簡介
(一)考試歷史
20世紀80年代末期,澳大利亞政府委托墨爾本大學的Tim McNamara教授主導設計及實施OET。為將考試從澳大利亞推廣到英國、歐洲和北美等國家,2013年,原負責該考試的澳大利亞成人教育中心(Centre for Adult Education)將70%的股權出讓給劍橋大學英語考評部(Cambridge English Language Assessment);同時,其下屬機構墨爾本博士山學院(Box Hill Institute)與劍橋大學英語考評部合辦了劍橋博士山語言測評中心,成為OET的主考機構。墨爾本博士山學院是澳洲最大的技術與繼續教育(Technical and Further Education,TAFE)學校之一。這項合作被認為是澳大利亞資格考試走向世界的一個典型例子。
根據《國務院關于大力發展職業教育的決定》(國發〔2005〕35號)的文件精神,教育部考試中心及中國國際人才交流協會在2005年創辦了METS。2019年METS主辦方變更為國家衛生健康委人才交流服務中心和中國教育國際交流協會。
(二)考試目的
OET主要用于移民、職業注冊資格、求職、求學申請,證明申請人具備在醫療環境中有效溝通的能力。OET針對12類不同醫務職業的考生設定了不同的考試內容,覆蓋的職業包括:牙醫、營養師、醫生、護士、職業治療師、驗光師、藥劑師、物理治療師、足部病醫生、放射科醫生、言語治療師和獸醫。據2008~2013年的官方數據顯示,考生人數中占比最高的為護理人員(47%),其次是醫生(23%)、牙醫(20%)和藥劑師(6%)。到了2017、2018年,護士的報考人數分別增加到83%和73%[8]。
METS致力于成為醫藥衛生部門招聘員工時評估其英語能力的標準,以及單位人力資源部門提升或調配員工及制定人力資源解決方案的依據。
(三)考試時長及內容
OET共165分鐘,分為4個子測試項目:聽力、口語、閱讀及寫作(以下簡稱聽說讀寫)。其中,所有考生的閱讀和聽力考試內容一樣,主題均與醫務工作相關;而不同醫學崗位的口語和寫作考試內容不同[9]。
METS共分為4個級別,1—4級分別對應中專、高職高專、本科及碩博醫學生的英語難度水平。1—3級考試時長為120分鐘,4級為150分鐘。考試包括3個子測試項目:聽力、閱讀及寫作,所有醫學崗位的考試內容相同[10]。
(四)考試形式
當前OET有三種考試途徑,一是過往30年一直使用的方法,即在官方指定的考點范圍中自由選擇考點,參加面對面線下紙質考試;二是在官方指定的考點范圍中自由選擇考點,在考點中使用電腦進行在線考試;三是遠程居家電腦在線考試(簡稱居家考試),僅支持醫生和護士崗位考試,且并非所有機構和國家都認可OET居家考試成績[11]。
METS考試為指定考點現場考試,使用紙質試卷。
(五)考試評分及流程
OET評分分值范圍為0-500分,其分值與雅思[12]、歐洲語言共同參考框架[13](其中與CEFR的對照是選取了醫生、藥學、護理和牙科的考試內容)對接情況如下:
根據OET官網介紹,聽力、閱讀的B和C部分為選擇題,由電腦自動評分;而聽力和閱讀的A部分(為填空題)、寫作和口語部分至少由2名評分員評分,分值差異過大的,將由第三名資深評分員重新評分。試卷將隨機分配給評分員,評分員依照清晰的打分規則進行評分,口語考官不擔任評分員[14]。
METS四個級別的題型和分值大致相同。試卷原始分為80,采用分數加權的方法,對各部分題目的原始分數分別給予不同的權重。經加權處理,考試成績60分以上為合格,60以下為不合格,除此以外不做其他評分等級。在METS考試大綱中,詳細介紹了寫作部分的評分原則和評分標準,分為14分檔(13—15分)、11分檔(10—12)、8分檔(7—9分)、5分檔(4—6分)和2分檔(1—3分)。每檔有對應的評分標準,但未找到評分流程的介紹[15]。
(六)價格
OET考試費為587澳元(約合2760人民幣),三種考試方式價格相同。依據不同等級,METS考務費為125-185元人民幣不等。
四、基于AUA的OET決策評價
由于OET的主要考試群體是護理人員,他們以獲取護理資格注冊為主要考試目的[15],因此本文主要論證使用OET進行護理資格注冊中語言能力證據這一決策的效度。針對四個聲明的論證分為三個部分:主張和支持該使用目的的理由;支撐理由的證據;部分理由可能會有潛在的反駁,需要進一步的調研。本文的證據來源于官方公開信息和文獻。
論證過程中,有些主張和理由未能找到可靠的證據。這可能是由于OET的開發者在開發過程中,未將這個因素考慮在內,也有可能是未考慮AUA的論證范式,因此沒有披露相關的信息。
(一)測試記錄(Assessment Records)
測試記錄的一致性(Consistency)要求測試記錄在不同的測試任務、不同施策環節、不同評分員、不同考生間保持一致性,共有10條理由。其中OET有7條理由有證據,3條理由沒有找到證據,1條理由有反駁。
(二)解釋(Interpretations)
作為醫療環境下的英語水平證據,要求通過OET或METS能了解考生在醫療環境下的溝通能力(有意義性),平等解讀所有考生的測評記錄(平等性),測評任務、標準和程序符合真實醫療場景(可概括性),并且與“判斷考生能否在英語的醫療環境工作或學習”緊密聯系(關聯性),能充分解釋考生的語言能力(充分性)。以下詳細展示兩個考試在有意義性(理由A1-A7)、公平性(B1-B5)、可概括性(C1-C2)、關聯性(理由D)和充分性(理由E)方面的具體體現。其中OET有14條理由有證據,2條理由未找到證據,1條理由有反駁。

(三)決策(Decisions)
主張:基于考試成績的解讀所做的護士資格注冊或護士招聘決策,符合現有的教育和社會價值以及法律法規,同時對所有受決策影響的相關人員都是公平的。以下A1-A3論證符合價值觀,B1-B2闡明其公平性。其中OET有4點理由有證據,1條理由未找到證據,1條理由有反駁。
(四)影響(Consequences)
主張:測試的使用以及基于OET做的決策為測試的利益相關者帶來有益影響。OET的全部理由都有證據。
以上對使用OET作為注冊護理資格的語言能力證據這一決策的效度進行了基于AUA框架的論證。每個環節的論證包括主張、每個主張相應的理由、每個理由的用于支撐理由的證據以及對于部分理由提出了反駁。
分析證據主要源自OET官方信息和公開的論文及調查報告。論證發現,在測試記錄、解釋、決策和影響四個環節中,影響的證據最為充分。在解釋和決策環節中,除了平等性(測試任務不含任何話題或文化等方面可能冒犯任何考生的內容)和符合價值觀(在確認錯誤肯定和錯誤否定的決策錯誤嚴重性時,嚴格謹慎地將現有的教育和社會價值以及法律法規考慮在內)兩個主張證據不足,其他主張均有充分的證據。而在測試記錄中,有6條理由沒有找到任何相關資料,而其余的4條理由的相關證據也都為OET官方的簡略陳述,缺少詳細的佐證或第三方文獻證據。
五、對METS開發與使用的建議
基于OET的實踐和公開途徑獲取的METS測試信息,以及AUA的四個主張:測試記錄、解釋、決策和影響,從METS用于護士招聘和調配這一決策出發,對METS的開發和使用提出以下建議。
(一)在測試記錄方面:公開測試記錄的相關信息
暫時在公開途徑沒有查詢到METS的測試記錄相關信息,因此測試的利益相關者難以了解測試記錄一致性。基于OET的實踐,可以嘗試在測試設計階段,由METS開發團隊與醫務一線專家、語言測試專家一起研究及論證,然后通過系統的培訓,實現不同測試任務、不同施策環節、不同評分員、不同考生間條件下,測試記錄的一致性;同時在施考后,開發團隊要通過收集數據,論證這些設計是否確實實現一致性。最后建議對考生、醫療用人單位等利益相關者提供相關的論證數據和結論,為利益相關者解讀測試、依據測試做決策和發揮測試對社會的有利影響奠定基礎。
(二)提高測試解釋的有意義性和概括性:考試內容、題型和評價方式要符合真實醫療場景需求
醫護英語考試作為專門用途英語測試,應通過系統的需求分析,確保考試任務的真實性。OET的開發者McNamara也是基于需求分析研究后,決定依據12個專業特色,單獨設立了口語和寫作測試任務。
當前METS的需求調研范圍主要是北京協和醫院、四川華西醫院和北京朝陽醫院等醫院相關崗位[47],覆蓋面較小,建議可以聯合更多有需求的醫療單位,展開需求調研,了解國內不同衛生醫療崗位的英語使用需求,考慮增設以醫療環境下口語交流為考試內容的口語考試任務,并對是否需要分崗位提供不同版本試卷展開調研。
(三)提高測試解釋的充分性:測試結果與其他英語能力等級系統對接
OET提供了與雅思、歐框等語言能力標準的對標。目前,中國英語能力等級量表的頒布為我國英語能力測評提供了統一的標準參照框架[48],同時也已經有學者開展了職業英語能力等級考試的研究[49,50]。建議METS將測試結果與國內權威能力量表進行對接,使得決策者能基于測試結果充分了解考生的能力。
(四)提高測試解釋的充分性:提供詳盡的測試結果報告
OET測試結果提供聽說讀寫四個子測試項目的分值,而目前METS分數報告中僅顯示“合格”,沒有其他分數信息。建議提供詳細的分值報告,這既有利于考生了解自身水平并進行下一步學習;也有利于護士認證機構等測試使用者基于METS成績進行決策。
(五)在測試的有益影響性方面:公布測試的開發和使用信息,提高考試影響力
OET官網的新聞中心欄目會實時更新認可OET成績的政府部門或機構,這有助于考生了解自己是否適合參加該考試,同時也說明OET團隊在不斷擴大考試的使用范圍及影響力。METS也可以參考此做法,通過公布測試的開發和使用信息,讓更多醫療機構認可和使用METS測試結果進行人才篩選,以提高METS的影響力。
本文僅論證了OET在護理資格注冊和METS在護士招聘這2項決策中的有效性,這兩個考試對其他衛生從業者影響的有效性有待于后續研究做進一步論證。
(文章得到重慶大學辜向東教授指導,特此感謝!)
參考文獻:
[1]國務院關于印發國家職業教育改革實施方案的通知[EB/OL].(2019-01-24)[2022-11-04]. http://www.moe.gov.cn/jyb_xxgk/moe_ 1777/moe_1778/201904/t20190404_376701.html.
[2 ]教育部等九部門關于印發《職業教育提質培優行動計劃(2020—2023年)》的通知[EB/OL].(2020-09-23)[2022-11-04]. http:// www.moe.gov.cn/srcsite/A07/zcs_zhgg/202009/t20200929_492299.htm.
[3]醫護英語水平考試介紹[EB/OL]. [2022-11-04].http://www. mets.org.cn/.
[4] Why Choose OET? [EB / OL]. [2022-11-04].https://www. occupationalenglishtest.org/why-choose-oet/.
[5]孫婕,徐娟,呂普,等.基于英語醫護水平考試的高職高專醫藥英語教學資源的構建[J].重慶醫學,2017,46,(22):3156-3158.
[6] Lyle F Bachman & Adrian S Palme. Language Assessment in Practice:Developing Language Assessments and Justifying Their Use in the Real World [M]. Oxford:Ox ford University Press,2010.
[7]VidakovicI,KhalifaH.StakeholdersPerceptionsof Occupational English Test(OET):An Exploratory Study [J]. Research Notes,2013,54:29-32.
[8]TestStatistics[EB / OL].[2022-11-04].https://www. occupationalenglishtest.org/test-information/test-statistics/.
[9] Find Free Sample Tests | OET Preparation Materials [EB/OL].[2022-11-04]. https://www. occupationalenglishtest. org / preparationportal/free-sample-tests/.
[10]醫護英語水平考試辦公室.全國醫護英語水平考試大綱(全新版)[M].北京:高等教育出版社,2017.
[11]Delivery-modes[EB / OL].[2022-11-04].https://www. occupationalenglishtest.org/test-informati7on/delivery-modes.
[12] Lim,G.(2016,updated October 2017)The Occupational English Test and IELTS:A Benchmarking Report[R]. Cambridge Assessment English,UK.
[13] UK NARIC. Relating the Occupational English Test(OET)to the CEFR. [EB/OL]. [2022-11-15]. https://prod-wp-content.occupationalenglishtest.org/resources/uploads/2019/07/28135938/OET-CEFRbenchmarking.pdf.
[14] Result & Assessment [EB/OL]. [2022-11-04]. https://www. occupationalenglishtest.org/test-information/results-assessment.
[15]醫護英語水平考試辦公室.全國醫護英語水平考試應試指南3[M].北京:高等教育出版社,2016.
[16] How Is OET@Home Different To OET On Paper? [EB/OL].[2022-11-15] https://support. occupationalenglishtest. org / hc / en-gb / sections/4403209927055-OET-Home?_ga=2.206746003.1217117857.1 633764005-847230800.1587009438,2021-2-04.
[17] Results-assessment [EB / OL]. [2022-11-15]. https://www. occupationalenglishtest.org/test-information/results-assessment/,2021-2-04.
[18] Elder C,McNamara T,Woodward-Kron R,et al. Towards Improved Healthcare Communication:Development And Validation Of Language Proficiency Standards For Non - Native English Speaking Health Professionals [EB/OL].(2013-8)[2023-03-27].https://prod-wpcontent. occupationalenglishtest. org / resources / uploads / 2018 / 05 / 31235220/Elder-C-et-al-2013-Towards-Improved-Healthcare.pdf.
[19] Knoch,U.,Elder,C.,Woodward-Kron,R.,Flynn,E.,Manias,E.,McNamara,T.,... Huisman,A. Towards Improved Quality Of Written Patient Records [EB/OL].(2017-5)[2023-03-27]. https://arts. unimelb.edu.au/__data/assets/pdf_file/0008/2546585/LP130100171-Final-Report-1-November-2017.pdf.
[20] Candidate Performance 2021 [EB/OL]. [2023-03-27]. https:// cdn-aus.aglty.io/oet/pdf-files/2021-test-stats-Candidate-performance. pdf.
[21] OET Accepted In The US For Both Doctors And Nurses [EB/ OL].(2020-7-9)[2022-11-04]. https://www.occupationalenglishtest.org/ oet-accepted-in-the-us.
[22] Lumley T,Mcnamara T F. Rater Characteristics And Rater Bias:Implications For Training [J]. Language Testing,1995,12(1):54- 71.
[23] Knoch,U. Investigating The Effectiveness Of Individualized Feedback To Rating Behavior:A Longitudinal Study[J]. Language Testing,2011,28(2):179-200.
[24] Why Are Some Of The OET Tests‘Profession Specific?/ Results & Assessment | OET - English Language Test For Healthcare[EB/OL]. [2022-11-04]. https://www.occupationalenglishtest.org/testinformation/results-assessment/.
[25] Speaking Sub-test | OET - The Only English Test for Healthcare [EB/OL]. [2022-11-04]. https://www.occupationalenglishtest. org/test-information/speaking/.
[26] Woodward-Kron R,Elder C. A Comparative Discourse Study OfSimulatedClinicalRoleplaysInTwoAssessmentContexts:Validating A Specific-Purpose Language Test [J]. Language Testing,2016,33(2):251-270.
[27] Macqueen S,Pill J,Knoch U. Language Test As Boundary Object:Perspectives From Test Users In The Healthcare Domain [J]. Language Testing,2016,33(2):209-261.
[28]VidakovicI,KhalifaH.StakeholdersPerceptionsof Occupational English Test(OET):An Exploratory Study [J]. Research Notes,2013,54:29-32.
[29] Knoch U,Macqueen S. Assessing English for Professional Purposes [M]. 1st ed. Britain:Routledge,2019:100-101.
[30] NMBA---Registration-standard---English-language-skills_ final [EB / OL]. [2022-11-15]. https://www. ahpra. gov. au / documents / default.aspx?record=WD19%2f28849&dbid=AP&chksum=iQZigaacCzjnl AMcvGDb7Q%3d%3d.
[31] Cambridge Boxhill Language Assessment. OET Nursing:Official OET Practice Book 1 [M]. Independently Published,2018.
[32] Frost,K. Investigating Test Taker Processes On Two ESP Listening Tasks [D]. Language Testing Research Centre,University of Melbourne,Melbourne,Australia,2013.
[33] Macqueen S,Pill J,Elder C,et al. Investigating The Test Impact Of The OET:A Qualitative Study Of Stakeholder Perceptions Of Test Relevance And Efficacy [EB / OL].(2013-12)[2023-03-27]. https://prod-wp-content.occupationalenglishtest.org/resources/uploads/ 2018 / 05 / 31235220 / Maqueen-S-et - al-2013-Investigating-the-testimpact.pdf.
[34] Pill T J H. What Doctors Value In Consultations And The Implications For Specific-Purpose Language Testing [D]. University of Melbourne,2013.
[35] Elder C,McNamara T,Woodward-Kron R,et al. Developing AndValidating Language Proficiency Standards For Non-Native English Speaking Health Professionals [J]. Papers in Language Testing and Assessment,2013,2(1):66-70.
[36] Pill J. Drawing On Indigenous Criteria For More Authentic Assessment In A Specific-Purpose Language Test:Health Professionals Interacting With Patients [J]. Language Testing,2016,33(2):175-193.
[37] OHagan S,Pill J,Zhang Y. Extending The Scope Of Speaking Assessment Criteria In A Specific-Purpose Language Test:Operationalizing A Health Professional Perspective [J]. Language Testing,2016,33(2):195-216.
[38]ElderC,PillJ,Woodward-KronR,etal.Health ProfessionalsViews Of Communication:Implications For Assessing Performance On A Health-Specific English Language Test [J]. TESOL Quarterly,2012,46(2):409-419.
[39] NMC Amends OET Writing to C+ [EB/OL].(2019-11-28)[2022-11-04]. https://www. occupationalenglishtest. org / nmc-amendsoet-writing.
[40] Manias E,McNamara T. Standard Setting In Specific-Purpose Language Testing:What Can A Qualitative Study Add? [J]. Language Testing,2016,33(2):235-249.
[41] Pill J,McNamara T. How Much Is Enough? Involving Occupational Experts In Setting Standards On A Specific-Purpose Language Test For Health Professionals [J]. Language Testing,2016,33(2):217-234.
[42]REGISTRATIONSTANDARD:ENGLISHLANGUAGE SKILLS,Medical Board of Australia Standard For Registered Medical Practitioners. [EB / OL].(2015-07-01)[2022-11-15]. https://www. ahpra.gov.au/documents/default.aspx?record=WD15%2f16888&dbid= AP&chksum=Qt6fclXbe4YXYTcrrq%2fUjg%3d%3d.
[43] Who-Recognises-Oet [EB/OL]. [2022-11-15]. https://www. occupationalenglishtest.org/test-information/who-recognises-oet.
[44] How Your Organization Can Benefit From OET [EB / OL].[2022-11-15]. https://www.occupationalenglishtest.org/organisations.
[45]Latest-News[EB / OL].[2022-11-15].https://www. occupationalenglishtest.org/latest-news.
[46] Privacy Statement And Policy [EB / OL]. [2020-11-15]. https://registration.myoet.com/documents/id/ggLevMmtza8kNdw4DOnoZ tZa1T8Yc2XsDZlH3tpwOn1heoPK/privacy.html.
[47]關于METS http://www.mets.org.cn/index.php?c=content&a= list&catid=38. [EB/OL]. [2022-11-15].
[48]劉建達.我國英語能力等級量表研制的基本思路[J].中國考試,2015,(1):7-11,15.
[49]曾用強.職業英語能力構念的實證研究[J].外語界,2020,(02):12-19.
[50]王麗,王華.ESP能力等級量表評價體系的構建原則和方法[J].外語學刊,2019,(03):79-85.
Comparison of Occupational English Test and Medical English Test System: Building An Assessment Use Argument
Xie YingyiZhang YishiXu Yujun
Huizhou Health Sciences Polytechnic,Huizhou,Guangdong,516001
Abstract:The article adopts the Assessment Use Argument(AUA)framework of Bachman and Palmer to review the use of Occupational English Test(OET)in making decisions for overseas trained nursesprofessional registration. Based on this analysis,five suggestions are put forwards for Medical English Test System(METS)organizers:open test records to generate information,provide authenticity,connect test results with other level systems,provide detailed test results,and promote test use.
Key words:Occupational English Test(OET),Assessment Use Argument(AUA),Medical English Test System(METS)
(責任編輯:吳茳)