醫師考核360度評價法的可靠性、有效性及可行性的系統研究

張健　吳華章

?

醫師考核360度評價法的可靠性、有效性及可行性的系統研究

張健1吳華章2

【摘要】目的 研究醫師績效考核360度評價法的可靠性、普遍性、有效性及可行性。方法 檢索EMBASE、MEDLINE及PubMed數據庫中經同行評議過的、1975～2013年12月發表的英文文獻。檢索標準：使用360度評價法工具考核醫師績效；有關360度評價法可靠性、概化系數和建構效度的報道證據；文獻中涉及收集反饋數據過程可行性的信息。結果 （1）入選43篇同行評議研究，其中家庭醫學、兒科與內科專業各5篇，外科4篇，婦產科3篇，精神病學3篇，麻醉2篇以及急救醫學、實驗病理、組織病理、放射學、運動醫學和康復專業各1篇。（2）38篇（91%）研究由醫生的醫療同行完成360度評價法調查問卷；32篇（74%）研究由醫生的非醫生同事完成，23篇（53%）研究由患者和（或）患者家屬完成，22篇（51%）研究由自我評價完成。（3）自我評價項目4～57條，醫療同行評價項目4～60條，同事評價項目4～60條，患者問卷評價項目3～49條。（4）26篇（62%）報道了360度評價法工具的可靠性，360度評價法工具的α應該≥0．90，醫療同行0．89～0．99，同事0．91～0．96，患者0．93～0．99。17篇（40%）描述了普遍性系數，醫療同行評價工具的普遍性系數為0．61～0．88，同事評價工具為0．56～0．87，患者評價工具為0．65～0．85。（5）至少由8名醫療同行、8名同事和25名患者評價才能達到可靠性系數≥0．90，普遍性系數≥0．80的要求。結論 應用360度評價法考核醫師績效具有較高的可靠性、有效性及可行性。

【關鍵詞】360度評價法；可靠性；可行性；有效性；系統綜述

醫師績效考核評價對于提高患者醫療安全、醫師專業技能及人際溝通技巧具有重要意義。目前，考核醫師績效已經從單一的評價臨床專業技能發展到對于醫師各方面能力的全方位評價。360度評價法是工作機構評價員工專業技能、行為和態度的重要方法。1970年代360度評價法最初是被醫療機構用來考核住院醫師，目前360度評價法已經成為北美和歐洲的醫療機構考核各專業醫療技術人員的重要工具。為了幫助醫療機構考核醫師的臨床實踐和患者醫療安全，1990年代后期，加拿大最先引進了一種可行的360度評價法考核醫師績效。通常，這種評價方法是設計一種調查問卷用來收集各方調查對象對于所調查醫師的評價反應及醫師的自我評價。在360度評價法中，被測評醫師可能要完成一項自我評價項目，并會獲得醫療同事、上級主管、心理醫師、護師、藥師以及他們自己患者等的反饋評價。不同的調查對象對于被測評醫師所關注的焦點是不同的，比如患者不太可能獲知一名醫師的臨床經驗如何，因此，這種評價法方法綜合考慮了多方面的因素影響，避免了單一考核主體測評所帶來的片面性，實現全方位測評[1]。目前，360度評價法主要被用于考核醫師的臨床專業技能、溝通能力、與其他醫療技術人員的合作能力、職業道德能力及患者管理能力[2]。本系統研究的目的是探索不同類型的360度評價法工具在考核醫師績效過程的可靠性、普遍性、有效性及可行性。

1　資料與方法

1.1檢索策略

選擇MEDLINE、PubMed、EMBASE等數據庫中收錄的1975～2013年12月發表的經同行評議過的英文文獻。使用檢索詞“multisource-feedback”、“360 degree evaluation”以限定360度評價法相關研究，并與其他檢索詞（assessment of physician competencies/assessment of physician professionalism/assessment of physician in practice）合并以獲取醫師考核相關的研究，并對所檢索到的文獻中涉及的相關參考文獻進行篩選。

1.2納入與排除標準

納入標準：（1）如果研究中應用了一個或多個360度評價法工具（比如自我評價、單位同事或患者評價反饋）以考核醫生的綜合績效；（2）研究中描述了360度評價法工具或其設計方法；（3）在收集反饋數據過程中報道了有關360度評價法工具可靠性、普遍性和（或）可行性的心理學證據；（4）發表在同行評議的英文期刊。排除標準：（1）應用360度評價法工具考核醫學生或非臨床醫生專業人員（如護士、藥劑師、檢驗科醫師等）；（2）無法提供有關360度評價法心理測驗學證據（可靠性和有效性）的足夠信息。

1.3數據評估方法

嚴格按照文獻檢索策略及納入與排除標準進行篩檢，每篇文獻都要經過兩名人員的獨立評估與編碼，首先，評估文獻全文前，先篩選評估文獻的題目和摘要。文獻篩選完畢后，提取入選文獻信息：360度評價法工具名稱（如無特定名稱，則使用一般名稱“360度評價法”或者“多維度反饋法”），參評醫師專業，參加者數量，評估類型，360度評價法評估的結構或因素，可行性問題，反饋的比例，可靠性/普遍性/組內相關系數，結構和標準相關的有效性分析。

2　結果

2.1入選文獻基本情況

通過數據庫共檢索到1 062篇文獻，然后審核文獻題目，入選970篇，進一步審核文獻摘要，入選383篇，進一步審核文獻全文，入選96篇，排除53篇不合格文獻，最終入選43篇同行評議研究符合本研究標準。

2.2應用360度評價法被考核醫生的專業情況

家庭醫學專業（n=5），兒科專業（n=5），內科專業（n=5），外科專業（n=4），婦產科專業（n=3），精神病學專業（n=3），麻醉專業（n=2），急救醫學專業（n=1），實驗病理專業（n=1），組織病理專業（n=1），放射專業（n=1），運動醫學專業（n=1）及康復專業（n=1）。

2.3調查問卷的評估者及評估項目長度

43篇研究中，38篇（91%）研究由醫生的醫療同行完成360度評價法調查問卷；32篇（74%）研究由醫生的非醫生同事完成，23篇（53%）研究由患者和（或）患者家屬完成，22篇（51%）研究由自我評價完成。360度評價法調查問卷的涉及項目多少隨評估者不同，其中自我評價項目4～57條，醫療同行評價項目4～60條，同事評價項目4～60條，患者問卷評價項目3～49條。醫生評估審查研究對評估者應用了多種360度評價法工具，患者評價項目11～40條，同事評價項目12～22條，醫療同行評價項目22～39條，自我評價項目21～39條。其中2篇研究中醫學生也被納入評估者行列。

2.4評價指標

360度評價法可以評價的項目包括：職業道德、臨床技能、溝通能力、管理能力及人際關系。職業道德又包括一系列社會心理學技能指標，職業責任感，人文素養，同情心，職業態度及職業發展觀等。臨床技能包括臨床護理，良好的臨床實踐能力，患者護理，安全實踐能力，臨床技能，臨床知識，批判性思維，診斷及復雜問題的處理能力。溝通能力、管理能力及人際關系項目同樣也包括一系列評價指標。

2.5評價過程及可行性情況

每篇研究均描述了評價過程的一般情況信息和（或）可行性情況。研究者均認為，當360度評價法工具用于患者、同事及醫療同行并結合醫生自我評價時是有效的。一些研究者認為，當涉及醫生的關鍵績效指標考核時，反饋意見有可能會在實際應用時改變。也有研究認為，應用360度評價法工具考核每名醫生的估計成本是可行的，但是建議每五年對醫生進行一次重估。有一篇研究對家庭醫生進行了考核，并在5年后又進行了一次重評，以此來評估考核指標的穩定性。在一些研究中，應用360度評價法工具考核多專業醫生的過程是可行而易接受的，比如兒科專業、外科專業、急救專業、家庭醫生專業、精神病學專業。

2.6360度評價法工具的可靠性及普遍性

26篇（62%）研究報道了360度評價法工具的可靠性。可靠性系數一般用α表示，反映了各指標條目間的內部一致性。360度評價法工具的α應該≥0.90，醫療同行0.89～0.99，同事0.91～0.96，患者0.93～0.99。只有一篇研究將醫療同行和同事合并，可靠性系統α=0.98。其中5篇研究計算了標準誤差。17篇（40%）研究描述了普遍性系數（Ep2）。醫療同行評價工具的普遍性系數為0.61～0.88，同事評價工具為0.56～0.87，患者評價工具為0.65～0.85。大多數評價工具至少由8名醫療同行、8名同事和25名患者評價才能得出可靠性系數≥0.90，普遍性系數≥0.80的結果。

3　討論

360度評價法是目前廣受國內外企業界高度關注的個人能力和企業績效評價方法,它以心理測量學的真分數理論為基礎,以促進個人發展、重視信息反饋、講求實事求是和全方位、多角度觀察問題為核心理念,有特定的適用范圍和實施程序。一篇系統綜述研究表明，應用360度評價法對各專業醫生進行考核是可行的，尤其應用自我評價、醫療同行評價、同事評價和患者評價時。大多數研究描述了應用360度評價法工具考核醫生績效時的可靠性、普遍性及有效性情況，并且這項評價法已經在加拿大和英國應用了10余年。還有一些來自美國的360度評價法工具應用研究，每項研究均將重點聚焦在一項新的360度評價法工具開發或現存360度評價法工具的修改版及指南評估方面。

一般來說，應用360度評價法工具考核醫生績效至少應招募8名醫療同行、8名同事和25名患者，結果才能達到可靠性系數≥0.90，普遍性系數≥0.80的要求。盡管有一系列的評價項目可以考核醫生，但是360度評價法工具中最關鍵的5項是職業道德、臨床技能、溝通能力、管理能力及人際關系。大多數研究提供了360度評價法工具的建構效度。一般來說，患者評價醫生傾向于更積極的評價，其次為同事，住院醫師和教學顧問，而Lodckyer 等[3]研究發現，在一所國際性醫學院中，自我評價的分數要比其他人評價的分數更高。雖然360度評價法調查問卷的建構效度在一定合理區間內，一些研究指出，醫生考核的評價項目得分在醫生不同專業間存在不同，比如在不同醫生專業間，方差比例與患者管理、臨床評價、溝通能力和（或）職業發展有關[4-7]。Lockyer JM和Violato C[5]研究發現，應用360度評價法在醫療同行間進行問卷調查，在患者管理、臨床評價、溝通能力和職業發展這四項指標得分中，內科專業方差為73.4%，精神病學專業為70%，而兒科專業僅為67.6%。

盡管本系統研究非常嚴格，然而仍存在一些局限性。首先，應用360度評價法工具和評價項目的數量會存在不均質性問題，而且單獨應用一項360度評價法工具考核醫生是困難的，不論這項工具多有效。其次，應用360度評價法考核醫生的可行性主要依賴于所報告的評估反饋率比例，而不是醫生考核所涉及的成本和管理方面的問題。第三，由于不同文獻報告的可靠性和有效性指標的不同，很難將不同報告的指標進行統一。最后，本研究僅限于英文的同行評議研究文獻，并不能全面反映360度評價法的實際應用情況。

綜上所述，應用360度評價法工具對醫生績效進行考核是可靠、有效而可行的，360度評價法將繼續在醫生績效考核中發揮重要作用。而目前有關醫生績效考核的理論、方法很多，所考核內容的側重點各有不同，而盡快制定出科學、實用、適用于各級不同類型醫院的績效評估指標體系，已成為醫院科學化管理的必然趨勢[8]。

參考文獻

[1] Sala F，Dwight S． Predicting executive performance with multi-rater surveys： Whom you ask makes a difference[J]． J Consult Psych Res Pract，2002（54）：166-172．

[2]Fidler H， Lockyer J， Violato C． Changing physicians' practices： The effect of individual feedback[J]． Acad Med，1999，74（6）：702-714．

[3] Lockyer J， Blackmore D， Fidler H， et al． A study of multi-source feedback system for international medical graduates holding defined licences[J]． Med Educ，2006，40（4）：340-347．

[4]Violato C， Lockyer J． Self and peer assessment of pediatricians，psychiatrists and medicine specialists： Implications for self-directed learning[J]． Adv Health Sci Educ Theory Pract，2006，11（3）：235-244．

[5]Lockyer JM， Violato C． An examination of the appropriateness of using a common peer assessment instrument to assess physician skills across specialties[J]． Acad Med，2004，79（10 suppl）：S5-S8．

[6]Archer J， McGraw M， Davies H． Assuring validity of multisource feedback in a national programme[J]． Postgrad Med J，2010，86 （1019）：526-531．

[7]Ramsey PG， Wenrich MD， Carline JD， et al． Use of peer ratings to evaluate physician performance[J]． JAMA，1993，269（13）：1655-1660．

[8]金新政，籍國章． 醫院經營管理績效考核方法的研究[J]． 中國醫院統計，2004，11（3）：258-262．

A Systematic Review of the Reliability, Validity and Feasibility of 360-degree Evaluation Physician Assessment

ZHANG Jian1WU Huazhang2, 1 Stomatology College of Chinese Medical University, Shenyang 110002, China, 2 Chinese Medical University, Shenyang 110122, China

[Abstract]Objective To investigate the reliability, validity, and feasibility of 360-degree evaluation for the assessment of physicians. Methods We searched the EMBASE, MEDLINE and PubMed databases for peerreviewed, English-language articles published from 1975 to December 2013. Studies inclusion criteria was following: used 360-degree evaluation instruments to assess physician performance; reported psychometric evidence of the 360-degree evaluation instruments in the form of reliability, coefficients, and construct or criterion-related validity; and information regarding the feasibility of the feedback data. Results (1) A total of 43 articles were included, the specialties as following: family medicine(n=5), pediatrics(n=5), internal medicine(n=5), surgery(n=4),obstetricsgynecology(n=3), psychiatry(n=3), anesthesia(n=2), and emergency medicine(n=1), pathology(n=1), histopathology(n=1), radiology(n=1). (2) A total of 38(91%) studies were completed by the physicians’peers or medical colleagues, and nonphysician coworkers(n=32,74%), patients(n=23,53%), and self-assessments(n=22,51%). (3) The number of items was 4 to 57 items for self-assessment, 4 to 60 items for peers, 3 to 49 items for patient questionnaires. (4) The reliability of the 360-degree evaluation instruments was reported in 26(62%) of the studies. The instruments should have anα≥0.90, and medical colleague(0.89 to 0.99), coworker (0.91 to 0.96), and patient(0.93 to 0.99). The generalizability coeficients were derived in 17 studies(40%), and the coefficients for the medical colleague instrument ranged from 0.61 to 0.88, 0.56 to 0.87 for the coworker instrument, and 0.65 to 0.85 for patient instrument. (5) The assessment of physician performance was based on the completion of the 360-degree evaluation instruments by 8 medical colleagues, 8 coworkers, and 25 patients to achieve α≥0.90 and coeficients≥0.80, respectively. Conclusion The 360-degree evaluation as a method to assess physicians has been shown to have high reliability, validity, and feasibility.

[Key words]360-degree evaluation, Reliability, Validity, Feasibility, Systematic review

通訊作者：張健，E-mail：99982025@qq．com

doi：10．3969/j．issn．1674-9308．2016．03．001

【文章編號】1674-9308（2016）03-0001-03

【中圖分類號】R197

【文獻標識碼】A

作者單位：1 110002沈陽，中國醫科大學口腔醫學院；2 110122沈陽，中國醫科大學人文社科學院