基于表現性評價的計算機模擬病例在教育測評中的研究進展

仝貝貝，康曉鳳，史潤澤，弓 宸

北京協和醫學院護理學院， 北京 100144

表現性評價(performance assessment，PA)是在真實情景下，通過客觀測驗以外的行為表現，來測量和評價學生運用先前獲得的知識解決真實問題能力的一種方法[1]。能力評估已成為醫學領域的一個重要組成部分，結合醫學課程操作性強的實際情況，醫學教育測評中運用表現性評價法是適用的[2]。在醫學教育測評中廣泛應用的計算機模擬病例考試主要是基于表現性評價實施的[3]。計算機模擬病例(compu- ter-based case simulation,CCS)是由計算機對患者診療環境進行復雜的、沒有提示的、動態的和人機交互的模擬[4]。CCS作為一種成績評定的工具，其目的是在逼真的環境下，通過模擬時間的推進和臨床病例情境的逐步展開來測量被試者管理患者的能力。1999年，美國率先將CCS應用于國家執業醫師資格考試(Un- ited States Medical Licensing Examination，USMLE)的第三階段[5]。2001年，中國醫科大學承擔國家醫學考試中心課題，開始國內計算機模擬病例考試系統的建設與應用研究[6]。文章將從基于表現性評價的CCS在教育測評中的實施背景、評價方案的構建和應用前景等幾個方面進行分析,以期為提升計算機模擬病例的信效度提供依據。

1 實施背景

表現性評價有很長的歷史淵源，早期主要以質性評價為主。隨著量性評價的出現，表現性評價步入低潮期。20世紀60年代后期，隨著心理測量評價范式的廣泛流行，使得表現性評價再次出現在人們的視野。在醫學領域，新出現的表現性評價的形式是計算機模擬病例(CCS)[7]。

為了培養21世紀新型創新人才，世界各地都在進行基礎教育課程的改革。隨著改革的不斷深入，在目前的評價改革中，表現性評價的地位越來越突出。表現性評價的目標是通過真實的情景任務來實施和測驗的，表現性任務又具有真實性、情境性和復雜性，因此，在完成學習任務時，學生必須做出建構反應，而不僅僅是選擇反應[8]。表現性評價著重關注學生的綜合能力，以及邏輯思維、態度、情感、價值觀等內在傾向性的評價[9]。與以“點對點”的形式推進的滿堂灌的課程教學和零碎知識點的評價目標不同，將表現性評價統整到CCS中，實現了課程設計和評價設計同時開展的轉變，同時，也可驅動學生進行深度學習[10]。表現性評價的一些基本設計和原則來源于建構主義理論，尤其是建構主義學習理論。在表現性評價的實施過程中，學生要深度參與其中，擔當學習主體的角色，主動構建答案或進行活動。

建構主義學習理論認為，在學習過程中，學習不是被動地接受知識，而是積極地參與到知識構建的過程中，鼓勵學習者進行批判性地思考問題。從建構主義角度來看，當學習者接觸到不符合現有模式的新信息或體驗時，學習者必須重新設計現有的方案或構建新的方案，因此，激活先前的知識對學習過程至關重要[11]。計算機模擬病例通過模擬臨床情景，為醫學生提供了重新構建理論知識的平臺，有助于促進醫學生臨床思維的培養，同時，也有利于對醫學生的知識水平和臨床能力進行測評。表現性評價作為一種評價方法，在醫學教育測評中起著十分重要的作用。

2 評價方案的構建

CCS教學設計的框架部分基于Cook的e-Learn- ing研究模型，該模型的潛在優勢包括靈活性、可控性以及可以收集數據進行評估和反饋[12]。該框架使用4個教學設計級別來描述教育活動：第一個級別是教學媒體，包括教科書、講座、電腦模擬等；第二個級別是教學形式，包括計算機模擬、模擬患者、模擬臨床沉浸和過程模擬；第三個級別是教學方法，包括自我指導的學習和教師指導的學習兩種；第四個級別是展示形式，包括反饋、保真度、模擬器類型、場景和團隊組成。在每個級別上，所做的選擇都取決于活動的實際學習需求和目標。

表現性評價方案的設計一般由三部分構成:確定評價目標、設置表現性任務、制訂評價標準[13]。

2.1 確定評價目標

任何一個評價方案的設計與實施，都必須先回答“評價類型和評價目的是什么”，以及“為什么進行評價”[14]。從理論層面講，評價的目的是實踐與自我反思；從實踐層面講，學生學業表現性評價的目的在于使每個學生的獨特性、復雜性和真實性得到彰顯，運用評價幫助每個學生都能夠認識到自己的獨特意義和自我價值[15]。在臨床教學中，表現性評價目的在于通過評價來促進和支持學習，激發學生的學習動機，提高自信心和滿意度，增強臨床決策能力，并且能通過評價學生的實際操作能力和解決問題能力，提高學生的臨床勝任力；在職業資格認定中，表現性評價旨在有效考察候選人的實踐能力及問題解決能力，為提高資格認定的預測效度提供有力保障。

2.2 設置表現性任務

表現性評價是通過對被評價者在具體情境中完成任務的實際表現進行觀察分析來完成的[9]。表現性任務設置，實質是依據評價目標設計情境和活動，是一個將評價目標情境化的過程。教育家艾斯納指出，評價任務設置應盡量滿足八條原則，其同樣適用于表現性任務設計[16]：①能真正反映情境中遇到的問題和任務，必須要能評定出學生的所知與所能；②要盡量展示出學生對問題的思考、觀察和推理；③要體現其所秉承的共同體的價值觀；④可以是個體或小組合作形式完成的；⑤對于同一個目標，應允許設計多個表現性任務；⑥表現性任務設計應具有課程適應性；⑦表現性評價并不是簡單地體現學生部分感知問題的能力，而是要體現學生在完成任務時所表現出的對事物或問題結構的敏感性及整體的控制能力；⑧表現性評價應重視學生的主體性，必須是對學生有意義的，讓學生參與到問題解決中來，并幫助學生在任務完成過程中表現得更好。表現性任務設置是否科學、清晰、可操作，決定了評價實施的有效性。

2.3 制訂評價標準

評價標準的制訂是順利實施評價的基本保障。表現性評價是用來衡量學生在完成任務過程中的表現及其成果的一套標準，主要包括典型的學習行為語言描述和等級判斷[17]。實質上是依據具體表現性評價目標，分級描述學生在評價活動中或結果上應有的表現過程，需滿足：①明確提供具體、清晰的表現標準，用具體、可測術語陳述表現標準；②可行性是指學生按照既定的標準應該能達到的，應該是可實施、可操作的；③可信是指依據評價標準得出測驗結果的一致性、穩定性及可靠性。好的評價標準的制訂，既要有制訂和修改評分規則所依據的準則，也需要在評分規則設計過程中給出各種事宜的最佳時間順序。對于評價來說，一套有用的評分方法和指導原則，不僅可以用來判斷設計工作的有效性，還可以幫助學生提高自我評價能力。在CCS考試中，考生完成病例會產生一個執行列表，是對考生表現的完整記錄，展示了考生在模擬時間里的每一個執行行為[18]。比如：美國USMLE評分是基于三個類別的整體績效進行評分，即臨床推理、診斷績效和患者管理。雖然，每個類別的得分不同，但是累積的最終得分是加權的：臨床推理50%，診斷性能40%，患者管理10%[19]。

3 應用前景

3.1 教學培訓考核

計算機模擬病例具有時間和地點的便利性，病例中的虛擬患者具有交互性。因此，CCS已廣泛應用于單個病例的程序開發、教學培訓和考核評價。通過積極地調用學生的知識，擴大模擬體驗，加強主動學習過程，彌補學習知識和獲得經驗知識之間的差距，促進其學習特定的疾病或技能[20]。比如：在仿真實驗室中，學生在有限的時間內學習臨床處置時，往往會對分析臨床情況感到有壓力，并且易焦慮[21]，可使用CCS作為學生進入仿真模擬實驗前過渡的準備工作；將CCS與面對面的模擬體驗相結合，可通過回憶所學教材和加強對知識學習來提高學生學習的潛力[22]；借助高仿真模擬器，構建良好的場景，結合多站式評估任務，能可靠地評估參與者的臨床能力。

3.2 職業資格認定

CCS逐漸成為職業資格認定的重要手段。美國醫學考試委員會和聯邦醫學委員會聯合發起了評估中心項目(the assessment center program，ACP)，借助CCS用于幫助州醫學會對那些臨床能力受到質疑的醫師進行能力評價；德克薩斯大學研究者開發CCS，識別急診住院醫師在患者管理中的錯誤[18]。護理專業同樣重視采用CCS和虛擬患者以評價實踐能力。質性研究[22]和臨床研究[23-25]均顯示，CCS在不同的層面上有助于學生能力的提高：①明晰護理照顧的角色和模式；②提供個性化學習體驗；③彌補課堂及臨床教學罕見危重病例缺陷；④學習臨床問題處理優先次序，增進臨床推理能力；⑤降低焦慮水平，提升臨床工作自信心。主管注冊護士考試(NCLEX-RN)的美國國家護士聯合委員會(NCSBN)研究指出，只要實施方案滿足特定的設計條件，模擬可以替代50%的傳統臨床經驗[26]。

4 對我國實施基于表現性評價的CCS教育測評的建議

4.1 職業能力測評中應重視考察真實的臨床實踐能力

我國現行臨床醫師和護士資格考試，在全面考察候選人的專業素質等方面，仍以臨床知識為主，較難考察到候選人在真實情境中的臨床行為[27]。為了能全面、有效地考察候選人的臨床實踐能力，選拔合格的人才進入醫療行業，職業資格認定機構要深刻理解表現性評價的價值與意義，重視候選人員在真實臨床情境中的工作表現和實踐性知識，逐步將表現性評價引入資格認定之中，提高評價的預測效度，甄選出優秀的申請者。

4.2 應加強教師表現性評價技能培訓

虛擬病例設計與真實的臨床醫患互動有一定差距，評價的預測效度有待提升。首先，應確保情境與任務具有挑戰性和真實性[28]。真實性是表現性評價目標的基本特征，挑戰性是評價核心素養的前提。只有確保情境及任務的真實性，才能使評價者有機會測評到學生在真實情境中應用知識和解決問題的能力，才能有效地推論出學生在類似任務中的表現。只有確保情景和任務的挑戰性，才能激發學生的潛力，誘導其體現核心素養行為的發生。其次，應強化情境和任務聯系[29]。情境與任務是表現性評價題目的形式要件，任務是在某個特定情境中進行的，情境為任務的完成提供必要的線索。情境與任務相互依托、相互支持，使表現性評價考查學生在特定情境中解決問題的能力成為可能。如果情境和任務相互脫離，評價形式與評價內容會出現兩張皮的情況，即任務并沒有真正嵌套在情境中，表現性評價的效度勢必會降低。只有健全試題審查與改進機制，確保表現性評價的效度、信度及公平性，才能真正發揮表現性評價的積極作用，促進我國醫學教育教學與評價實踐的深刻變革。

4.3 應重視CCS教育測評質量研究

評估醫學生常用的方法是模塊式的，每一個模塊考核都會給出一個分數，學生通過所有的模塊考核后，即可畢業，但是這種模式存在很多弊端[30]。僅依靠背誦和記憶獲得的考試分數，來評判一個醫學生的臨床資質是無效的。為了更好地評估學生的能力水平，對基于表現性評價的計算機模擬病例評估的研究得到開展和應用[31]。計算機模擬病例的評估方法可以測評被試者安全實踐技能水平和能力，還能區分新手和專家組不同的表現水平[32]。CCS模擬教學策略在醫學教育中應用廣泛，但國內關于這些學習策略使用的實效性研究，尤其是以學生視角為主，關注學生和患者結局的研究仍顯不足[22]。此外，CCS考試中有數百個可供選擇的臨床操作，有超過20%的考生做出過至少一次危險的操作，并且在每個臨床病例的危險操作傾向不同，考試中的危險操作可以潛在地反映被試者在實際臨床工作中做出相似操作的傾向[33]。臨床醫護人員、教育者、模擬專家和研究人員應致力于將計算機模擬朝科學的方向發展，了解模擬科學的認知狀態，是推進模擬科學的關鍵，也將使未來與提高模擬科學相關的研究成為可能[34]。

綜上所述，表現性評價作為一種新興的評價方式，隨著計算機在考試施測、評分等環節中發揮越來越重要的作用，已經在計算機模擬病例考試中開發和試點應用。借鑒表現性評價的研究和應用經驗，有助于推進我國計算機模擬病例的開發和研究進程，提升教育測評的信效度。