程序性評價在全科臨床診療思維課程評價中的應用

【摘要】 背景 全科臨床診療思維是全科醫生為患者提供高質量診療服務的關鍵，但因其屬于無法被直接觀察的抽象能力，所以并不適合用傳統的方法進行評價。目的 本文旨在通過優化課程教學評價方法提高全科醫生臨床診療思維培訓效率，豐富醫學教育評價。方法 于2022年9—12月，以同濟大學醫學院38名全科方向碩士研究生為對象，根據學習與工作經歷分為在職組16名與住培組22名。培訓課程包含核心、案例、結果3個模塊，采取混合式教學方法開展實踐。定量評價的內容為技能評分表、PBL評分表與案例評分表，主觀評價的內容來自多源反饋。結果 兩組學員核心和案例模塊首次課程評分比較，差異無統計學意義（Pgt;0.05）；兩個模塊末次課程得分比較，差異有統計學意義（Plt;0.05）。將總體學員以及兩組學員核心和案例模塊首、末次課程的定量評價得分比較，差異均有統計學意義（Plt;0.001）。主觀評價性質分為肯定性評價與改進性評價，問診能力、體格檢查、輔助檢查、健康管理、慢病管理課程的肯定性評價占比較低，而改進性評價占比較高；醫患溝通、病歷書寫、多病共存、心身疾病、未分化疾病課程的肯定性評價占比較高，而改進性評價占比較低。結論 程序性評價能夠豐富全科思維評價體系、促進學員循序建構全科思維，同時也發現了“翻轉課堂”是程序性評價的呈現形式。

【關鍵詞】 全科醫學；教學；教育，研究生；程序性評價；臨床診療思維；翻轉課堂

【中圖分類號】 R-05 【文獻標識碼】 A DOI：10.12114/j.issn.1007-9572.2023.0743

Effects of Programmatic Assessment in Clinical Reasoning Courses in General Practice

ZHAI Jiayi1，2，3，LU Yuan1，3，4*，SHI Jianjun1，3，4，YU Dehua1，3，4

1.Department of General Practice，Yangpu Hospital of Tongji University，Shanghai 200090，China

2.Community Health Service Center of Jiading Town in Jiading District，Shanghai 201899，China

3.Academic Department of General Practice，Tongji University School of Medicine，Shanghai 200090，China

4.Shanghai General Practice and Community Health Development Research Center，Shanghai 200090，China

*Corresponding author：LU Yuan，Chief physician；E-mail：lussy@126.com

【Abstract】 Background The clinical reasoning of general practitioners is the key to providing quality medical services to patients，but it is not suitable for traditional methods to evaluate this ability because it is an abstract ability that cannot be directly observed. Objective This paper aims to improve the efficiency of general practitioners' clinical reasoning training and enrich the evaluation of medical education by optimizing the evaluation method of curriculum teaching. Methods From September to December 2022，38 master's degree students of the Medical School of Tongji University were divided into the in-service group （16） and residential training group （22）. The course consists of three modules，namely core，case and result，and adopts blended teaching method to carry out teaching. The content of quantitative evaluation is different kinds of rating scale，while the content of subjective evaluation comes from multi-source feedback. Results The final course scores for the core and case modules were statistically significant for both groups（Plt;0.05），but the first course scores were not（Pgt;0.05）. The quantitative evaluation scores of the whole class and the two groups of students in the first and last courses of the above two modules were compared，and there was statistical significance （Plt;0.001）. Subjective evaluation can be divided into positive evaluation and improvement evaluation. The positive evaluation of the courses on consultation skills，physical examination，auxiliary examination，health management，and chronic disease management is relatively low，while the improvement evaluation is relatively high；the positive evaluation of the courses on doctor-patient communication，SOAP，multiple diseases coexirelatively high，while the improvement evaluation is relatively low. Conclusion Programmatic assessment can enrich the evaluation system of general clinical reasoning，promote students' construction of general clinical reasoning in order，and also found that \"flipped classroom\" is a form of procedural evaluation.

【Key words】 General practice；Teaching；Education，graduate；Programmatic assessment；Clinical reasoning；Flipped classroom

全科臨床診療思維（全科思維）是一項復合能力，將全科醫生問診、查體、輔助檢查運用與解讀等專業能力“串連”起來［1-2］，是為患者提供高質量全科臨床診療的關鍵。目前全科思維的培訓形式越發多樣化［3-5］，如以問題為導向的學習（PBL）和以案例為導向的學習（CBL），而全科思維評價作為衡量培訓效果的重要手段，也存在著多種評價形式。但是，單一的評價形式難以全面、客觀地反映出學員的整體全科思維能力［5-7］。根據米勒金字塔理論［8］，全科思維培養分為“knows”“knows how”“shows how”“dose”4個階段，前3個階段的評價被稱為“標準化評價”，其通常采用理論考、技能操作考試等成熟方法進行評價；“dose”階段則需要運用“非標準化評價”［8-9］，由于綜合專業知識技能、人文和協作等復合能力被稱為“獨立于領域的技能”，既往方法難以做到對該能力進行全面性評價，需要在課程全程采用定性與定量相結合的“非標準化評價”。程序性評價（PA）最早由VAN DER VLEUTEN等［7］在2005年提出，其主要遵循“意義建構”“縱向評價”“持續反饋”“學員主體和自我負責”及“評價為了學習且本身也是學習”五大原則，并強調“評價為了學習且本身也是學習”，兼顧了上述兩種評價要求 ［9］。PA結合“形成性評價”促進學員反思和“終結性評價”概括結果的優勢［10］，采用標準化評價和非標準化評價對全科思維進行混合評價。任何一種評價方式均無法全面反映學員整體全科思維，因此只將其作為一個“像素點”，當“像素點”達到一定數量形成清晰“圖像”后，才作出合格與否的決策［11-15］。除了優化教師評價決策，PA更重要的作用是使學員主動建構專業知識，提高培訓效率［11-14］。

《全科臨床診療思維》是同濟大學全科醫生崗位勝任能力提升精品課程，也是同濟大學全科醫學方向兩類研究生的共同必修課程，經過研究者多年實踐與探索，已在課程建設與完善上取得了一定成效［1-2］。本研究通過在同濟大學醫學院全科醫學系的全科醫學方向碩士研究生必修課程《全科臨床診療思維》中引進PA，來探索改善評價方法、提高培訓效率的有效措施，為培養高質量全科醫生提供思路。

1 對象與方法

1.1 教學對象

將2022年參加《全科臨床診療思維》課程的38名學員作為研究對象，包括在職全科醫生、有全科轉崗意愿的專科醫生及全科住院醫師規范化培訓（住培）醫生，并根據學習與工作經歷分為在職組與住培組。在職組包括16名研一學術型碩士研究生（在職學員），住培組包括22名研二“四證合一”專業型碩士研究生（住培學員），學員基本情況見表1。

1.2 課程內容

《全科臨床診療思維》課程總計32學時，分為核心、案例及實踐三大模塊（總論除外）。該課程采用理論課、討論課和實踐課等多種形式開展，具體分配課時數見表2。課程的核心模塊包含病史采集、體格檢查、輔助檢查、醫患溝通和門診病歷（SOAP）書寫等內容；案例模塊包含健康管理、慢病管理、多病共存、心身疾病和未分化疾病5個方面的全科醫學典型案例；結果模塊則通過案例匯報的形式考核學員全科思維，并檢驗學員全科思維完整度。

1.3 PA設計

1.3.1 PA設計理念：PA包含標準化評價、非標準化評價及總體評價3個模塊 ［8-9，12，16］，其中：標準化評價模塊包含“能力特定，并非通用”“客觀性有別于可靠性”“評價中提問的作用大于回答”“有效性‘內置’”4個原則；非標準化評價模塊包含“偏見是專業評判的固有特征”“評價的有效性取決于工具的使用者”“主觀內容的重要性”“有效使用反饋”4條原則［12，16］。" PA具體內容及設計步驟見表3。

1.3.2 標準化評價模塊原則內容闡述及應用。（1）“能力特定，并非通用”原則：指學員在任何一種能力測試中的結果不一定代表其在其他測試中的能力，如理論成績好的學員不一定操作優秀，稱為臨床能力的“內容特異性”［12］。PA結合了形成性評價與終結性評價的特點，將框架設計在縱向評價基礎上、終結性評價設置在學員課程結束后、形成性評價設置在課程運行中。此外評價內容需要考慮全面，在評價問診、查體、輔助檢查、病歷書寫等“全科思維”核心能力的同時，也要考察醫患溝通能力等內容。

（2）“客觀性有別于可靠性”原則：其表明即使像客觀化結構化臨床考試（OSCE）這類具有機構化、客觀性的特點評價，也同樣面臨可靠性的問題，試題的全面性才是關鍵，在該情況下主觀評價同樣也具有可靠性［12］，因此在課程中應設置直接觀察評估和現場點評等主觀評價方式。

（3）“評價中刺激的作用大于回應”原則：其指出決定評價內容的是“刺激”而非“回應”。“刺激”指評價形式，如提問、考核、測試等；“回應”指學員答題的過程和結果［12］。這項原則提示了評價設計中應該重視“刺激”的質量和形式，如采用真實案例和場景。本課程中案例模塊均來自基層診室全科工作案例［1-2］，能夠增強“刺激”的真實體驗。在形式方面，核心與案例模塊采用PBL與CBL等“翻轉課堂”形式開展，過程中再進行課堂表現評價，進一步豐富“刺激”形式。

（4）“有效性‘內置’”原則：該原則強調了評價與課程質量改進措施，包括評價前做好設計、評價中做好指引、評價后最好進行分析總結［12，16］。

1.3.3 非標準化評價模塊原則、總體評價內容闡述及應用。（1）“偏見是專業評判的固有特征”原則：強調了無論是何種評價，偏見是始終存在的，但應該減少偏見對綜合專業評判的影響［12，16］。為減少偏見，課題組在評價中遵循了三角測量原則：一方面，每次均由2名教師進行定量評價，形成小型決策委員會；另一方面，采用“翻轉課堂”理念增加師生互動評價，改變其刻板印象，減少偏見。

（2）“評價的有效性取決于工具的使用者”原則：強調了師資能力應該有持續提升的過程［12］，課題組為此組建了設計團隊與師資團隊：設計團隊由6名副高級以上全科醫學和醫學教育領域的專家組成，在課前了解學員的基本情況和需求，課后收集學員反饋意見，在總體框架不變的情況下對課程與評價進行適當改進，同時邀請同行專家對課程與評價方案進行評議，保證質量；師資團隊由6名具有中級以上職稱、5年以上教學經驗的全科教師組成，并在開課前對其進行統一培訓、試講。

（3）“主觀內容重要性”及“有效使用反饋”原則：其提到了當反饋成為評估的核心時，如果師生互動是有效反饋的中介，那么定量信息就有明顯局限性，而主觀的評價內容則具有優勢［12］。回顧評價內容，核心能力、溝通與課堂表現均可采用定量評價與主觀評價相結合的方法。根據PA中“意義建構”原則，希望學員能夠自己建構全科思維，因此增加學習能力評價。在框架設計階段，核心模塊和案例模塊最后均設置了反饋環節，并且以提高學員下一次表現為目的，因此對于反饋的方式再一次進行改進，集合了學員自評、學員他評、教師評價、SP評價等多源反饋（MSF）。

（4）總體評價：該部分包含了“沒有完美的評價方法”和“評價可驅動學習”原則，其對于評價設計的啟示是課程評價中所有內容盡可能定量與主觀評價相結合，先打分后點評。

1.3.4 基于“像素點”理論的評價內容設計：基于PA的“像素點”理論［11-14］，結合課程核心、案例和結果三大模塊，將全科思維核心能力、溝通能力、課堂表現和自主學習能力等評價內容細化，評價每個課程的內容，最終形成定量評價與主觀評價結合的“像素點”。課程內容及評價內容設計見表4。

定量評價為各模塊百分制量化評分表，定性評價為各模塊MSF中主觀評價，分為肯定性評價與改進性評價［17］。肯定性評價指針對學員表現亮點做出的評價，改進性評價指針對學員表現不足需要改進做出的評價。最終“像素點”集合反映學員完整全科思維的“圖像”。

1.4 教學實踐過程

于2022年9—12月，對38名學員開展教學實踐，課程開始前向全體學員充分告知研究內容并確保其知情同意。首次課程為總論課程，用于和所有學員以及師資團隊成員介紹課程概況，同時也說明了課程的評價形式與師生配合情況，為后續PA開展預設基礎，總論課后對全體學員進行基本情況調查，隨后開展課程學習與

評價。

（1）核心模塊：分為知識鞏固和實踐兩部分。在教師引導學員進行復習知識后，由學員扮演醫生在標準化病人（SP）身上進行實踐，同時設置另一名學員扮演輔助角色，當學員遇到困難時輔助角色可以幫助其共同解決問題。在學員實踐過程中，將由教師、其他學員與SP對其進行打分，并在課程結束后進行MSF。

（2）案例模塊：采用線上授課形式，每個案例分2次進行授課，每次1個課時。首次授課內容為PBL討論，第二次授課內容為學員匯報。授課教師于課前將學員分為6組，每組6～7名，每次PBL案例提前1～2 d下發。教師于首次授課時先讓各組通過“頭腦風暴”提出問題，隨后教師總結并督促小組逐一認領所提出的問題。小組組長組織學員于課后討論所認領的問題并準備匯報材料（教師以線上方式參與討論），每組推選一名學員在下次授課中匯報討論結果，匯報后由教師點評和總結知識點。該模塊由教師和小組組長對學員的討論和課堂表現進行打分，最后通過MSF對學員進行現場反饋。

（3）結果模塊：采用線上案例匯報形式，匯報分三次進行。學員需自行準備一個具有全科特色的病例撰寫材料，并把匯報材料提前一周上交給教師。教師將對材料進行等級評價，根據評價結果決定匯報順序：提交A級材料的學員優先匯報，提交B、C級材料的學員預留時間，參考A級學員匯報情況并結合現場匯報及點評情況后對匯報材料進行修改，待修改通過后再行匯報。現場匯報由2名教師進行打分，匯報結束后進行MSF。

1.5 統計學方法

采用SPSS 22.0軟件對定量評價結果進行統計分析，計數資料以相對數表示，組間比較采用χ2檢驗；符合正態分布的計量資料以（x-±s）表示，組間比較采用t檢驗。以Plt;0.05為差異有統計學意義。

2 結果

2.1 定量評價結果

在職組與住培組末次課的核心模塊、案例模塊得分比較，差異均有統計學意義（Plt;0.05）。結果模塊案例匯報部分總體得分（85.82±4.27）分，其中在職組得分（87.86±4.37）分，住培組得分（84.40±3.68）分，在職組與住培組案例匯報的結果模塊比較，差異有統計學意義（Plt;0.05）。總體、在職組及住培組在首次課、末次課的核心模塊及案例模塊得分比較，差異均有統計學意義（Plt;0.001），見表5。

2.2 主觀評價結果

對轉錄后主觀評價進行分析，結果顯示核心模塊中問診能力、體格檢查、輔助檢查課程的肯定性評價占比較低，改進性評價占比較高，醫患溝通、病歷書寫課程的肯定性評價占比較高、改進性評價占比較低；案例模塊中健康管理、慢病管理課程的肯定性評價占比較低、改進性評價占比較高，多病共存、心身疾病、未分化疾病課程的肯定性評價占比較高、改進性評價占比較低，見表6。

3 討論

3.1 PA能豐富全科思維評價體系

課題組根據本課程的學員定量與主觀評價，發現PA反映學員全科思維較全面。以往對于全科思維的評價常采用病例報告、理論考試、客觀化結構化考試（OSCE）、臨床操作技能評估（DOPS）、迷你臨床演練（Mini-CEX）等評價，教學考核和組織實施形式單一，教學評價手段匱乏，導致評價結果與學員的真實思維水平相差較大［1-5］。本研究所設計課程評價有別于傳統評價，其是在定量評價的基礎上融入了主觀評價，對教學效果開展混合評價，豐富了全科思維評價體系。與人們通常認為主觀評價存在信度不足的“刻板”印象不同，本次評價采用學員自評、教師與學員雙向評價、學員互評、SP對學員的評價組合而成的MSF，符合“三角測量”原則，從而得出了與VAN DER VLEUTEN等［7］一致的結論，即“主觀評價在評價高級抽象能力時同樣可靠”。因此，面對以往單憑理論知識無法衡量學員技能水平，如“插胃管”等臨床操作難以反映學員查體技能水平等問題，混合評價能夠完整地反映學員全科思維，如通過定量評價起到直觀評價的作用，通過主觀評價起到補充與側面評價的作用。

3.2 “翻轉課堂”是PA的呈現形式

有別于傳統教學，“翻轉課堂”是以學員為主體，教師及其他同學作為學習指導和促進者來幫助學習者知識內化，強調了學員對自主學習、交流反思和團隊協作的運用［18］。本次教學對象為全科方向碩士，具備一定的專業基礎，因此教師主要起到引導作用，幫助學員建構自身全科思維，而非傳授基礎理論。核心模塊中問診、查體等均是全科醫生接診能力的“基本功”，為后續全科思維將各項能力“串連”打下基礎。核心模塊主要是技能為主的內容，將之融入實踐內容能讓學員快速提升技能水平，但實踐的重點并不是加強技能的熟練度，而是實踐運用技能的“思維”，因此采用案例的形式進行實踐。同時為避免學員因能力不足無法達到預期效果，設置了其他學員擔任輔助角色協助其處理問題，這既是一種訓練，又能成為評價反饋。

案例模塊均來自具有代表性的全科真實案例，該模塊是提升“串連”能力的主要路徑，從PA理論角度來看，也是“串連”能力建構的主要過程。案例模塊采用PBL形式，但評價形式采用形成性縱向評價，即在每個課程內容結束后進行評價，觀察學員在整個模塊培訓期間的全科思維發展情況。在PA設計中，課程中形成性評價需要對反饋環節進行調整，以促進學員在下一個課程內容中的表現為目標，最后案例匯報反映學員“串連”能力建構的結果。該模塊同樣需要融入反饋，只有通過持續動態評價反饋，才能讓學員逐漸形成主動學習意識，并將現有基礎知識進一步建構形成全科思維。課程在充分遵循“意義建構”“縱向評價”“持續反饋”“學員主體和自我負責”“評價為了學習且本身也是學習”PA五大原則的同時，最終以“翻轉課堂”形式呈現“案例、實踐、討論、反饋”等內容。

3.3 PA推動學員循序建構全科思維

在PA中，任何一種評價結果都無法代表學員的最終結果，因此對于最終合格與否的決策而言，單一的評價結果是“低利害”決策［6-9］，所有定量與主觀評價的集合的結果則是“高利害”決策。生源異質性問題導致的學員定量評分差異在既往研究中已被證實［1-2］，本次研究中，兩組核心與案例模塊首次課程得分未體現差異，而在末次課程中存在差異，這可能與PA決策的“利害性”有關。以往核心與案例模塊的相關研究證明，無論是授課前還是授課后，在職學員的表現均優于住培學員，這種情況主要是因學員實踐經驗的不同所導致［4-5］。但從授課形式、課程適應度等角度出發，兩組學員面對的均是未知的情境，因此導致了本次課程前兩組學員表現無差異，隨后在課程進行過程中，在職學員經驗優勢逐漸占優，最終所有模塊的表現優于住培學員。

在核心與案例模塊首、末次課定量評價比較以及主觀評價中，通過比較歷次課程肯定性評價與改進性評價數量，能夠發現學員表現逐步提升，這在一定程度上體現出PA能夠推動學員將已有知識的逐漸內化，同時在全科理念的灌輸后逐漸建構出全科思維。以往的小組討論、師徒式帶教、理論授課、門診帶教等均是常用的全科思維培訓模式［1-5］，不同的教學模式適用于學員不同能力的培養［5］，但沒有一種教學模式能夠全面提升學員所有能力。全科思維是立足于理論知識與臨床技能的基礎上，將理論與技能“串連”并靈活運用的能力，因此全科思維既抽象，又涉及學員在多方面的能力，需要在實踐中融合多種教學模式。比如在本次PA實踐中，以課前基線調查、課中形成性評價與課后解決性評價相結合的方式保證課程質量；在PBL與CBL的設計，甚至在CBL實踐中，創新加入的輔助角色與幫助學員，則是遵循了PA“評價為了學習且本身也是學習”原則。

雖然反饋是影響課程質量的重要因素，但目前課程中存在“事前”“事中”反饋缺失、學員知識達成度缺失等問題［19］。本課程中的反饋與以往形成性評價的反饋不同，除促進學員反思外，還能利用PA繼續評價學員在后續課程中面對同類問題時的改進情況，從而推動學員進步。例如，課程反饋通過MSF實現課程“事中”反饋，同時也反饋給學員知識達成度，促進了課程質量。因此從主觀評價的數量分析能夠發現，隨著課程的深入，核心模塊與案例模塊的肯定性評價數量與百分比呈持續上升的趨勢，改進性評價數量與百分比則呈持續下降的趨勢。在PA理念下的“翻轉課堂”中，學員能夠通過課程中師生互動、學員實踐與合作得到及時的反饋，進而最終在專業知識和技能基礎上建構出全科思維。

4 小結

本課程遵循了PA與米勒金字塔的理論原則，對同濟大學全科方向碩士必修課《全科臨床診療思維》評價進行優化，在課程中引進PA并開展教學實踐，發現PA能夠豐富全科思維評價體系、推動學員循序建構全科思維，同時也發現了“翻轉課堂”是PA的呈現形式。本研究主觀評價內容限于篇幅未能完全展示，后續將進一步完善，并再次對PA的應用效果進行實證。

作者貢獻：翟佳燚負責文章構思與設計、研究的實施與可行性分析、撰寫論文；陸媛負責文章的英文的修訂、文章的質量控制及審校；石建軍負責研究的實施；于德華負責論文的修訂、監督管理，對文章整體負責。

本文無利益沖突。

翟佳燚https：//orcid.org/0009-0007-3891-435X

陸媛https：//orcid.org/0000-0002-4360-8476

石建軍https：//orcid.org/0009-0003-3117-779X

于德華https：//orcid.org/0000-0001-7652-938X

參考文獻

翟佳燚，陸媛，錢曙蕾，等. 同濟大學全科碩士研究生臨床診療思維課程設計［J］. 中國全科醫學，2023，26（25）：3202-3206. DOI：10.12114/j.issn.1007-9572.2022.0715.

翟佳燚，陸媛，葛許華，等. 基于勝任力的全科臨床診療思維課程設計與實施［J］. 中華醫學教育雜志，2022，42（12）：1079-1082. DOI：10.3760/cma.j.cn115259-20220502-00566.

易江，魏濤，于志淵，等. 全科住院醫師規范化培訓中臨床思維訓練體系建立初探［J］. 中國畢業后醫學教育，2020，4（4）：311-314，324. DOI：10.3969/j.issn.2096-4293.2020.04.006.

陸媛，于德華，張斌，等. PBL教學模式在全科醫師規范化培訓中的實踐應用［J］. 中國全科醫學， 2014， 17（16）：1880-1883. DOI：10.3969/j.issn.1007-9572.2014.16.019.

戰京燕，婁景秋，王少坤，等. 我國全科住院醫師規范化培訓教學模式及應用效果研究［J］. 中國全科醫學，2021，24（19）：2401-2407. DOI：10.12114/j.issn.1007-9572.2021.00.201.

VAN DER VLEUTEN C，VERHOEVEN B. In-training assessment developments in postgraduate education in Europe［J］. ANZ J Surg，2013，83（6）：454-459. DOI：10.1111/ans.12190.

VAN DER VLEUTEN C P M，SCHUWIRTH L W T. Assessing professional competence：from methods to programmes［J］. Med Educ， 2005， 39（3）：309-317.

MILLER G E. The assessment of clinical skills/competence/performance［J］. Acad Med， 1990， 65：S63-67.

VAN DER VLEUTEN C P M，DANNEFER E F. Towards a systems approach to assessment［J］. Med Teach，2012，34（3）：185-186. DOI：10.3109/0142159X.2012.652240.

聞德亮. 醫學教育中的形成性評價方法［J］. 高校醫學教學研究（電子版），2011，1（1）：36-38.

TORRE D M，SCHUWIRTH L W T，VAN DER VLEUTEN C P M. Theoretical considerations on programmatic assessment［J］. Med Teach，2020，42（2）：213-220.

VAN DER VLEUTEN C P，SCHUWIRTH L W，SCHEELE F，et al.

The assessment of professional competence：building blocks for theory development［J］. Best Pract Res Clin Obstet Gynaecol，2010，24（6）：703-719. DOI：10.1016/j.bpobgyn.2010.04.001.

VAN DER VLEUTEN C P，SCHUWIRTH L W，DRIESSEN E W，et al. A model for programmatic assessment fit for purpose［J］. Med Teach，2012，34（3）：205-214.

VAN DER VLEUTEN C P M，SCHUWIRTH L W T，DRIESSEN E W，et al. Twelve Tips for programmatic assessment［J］. Med Teach，2015，37（7）：641-646. DOI：10.3109/0142159X.2014.973388.

SCHUWIRTH L W T， VAN DER VLEUTEN C P M. A history of assessment in medical education［J］. Adv Health Sci Educ Theory Pract，2020，25（5）：1045-1056.

JOHN A DENT，RONALD M HARDEN，DAN HUNT.醫學教師必讀——實用教學指導 （6版） ［M］.王維民，譯.北京：北京大學醫學出版社，2020：282-289.

MONICA VAN DE RIDDER J M，STOKKING K M，MCGAGHIE W C，et al. What is feedback in clinical education？［J］. Med Educ， 2008， 42（2）：189-197.

張金磊，王穎，張寶輝. 翻轉課堂教學模式研究［J］. 遠程教育雜志，2012，30（4）：46-51.

丁才成，陳炳和. 高職院校課程質量診斷與改進策略［J］. 職業技術教育，2017，38（8）：55-58.

（收稿日期：2023-11-14；修回日期：2024-05-14）

（本文編輯：程圣）