區域衛生信息化項目績效評估應用研究

焦通，王曉麗

上海市浦東衛生發展研究院 信息中心，上海 200129

引言

近年來，醫院信息化建設投入力度逐漸增強，醫院信息化建設得到了迅猛發展。但同時，很多項目實際并沒有達到預期效果和目標，造成了金錢與人力的浪費[1]。為了規避風險，提高信息化項目投資效益，管理部門迫切需要從已開展的項目中總結經驗教訓，推廣成功經驗和做法，為規劃設計、項目審定、投資決策、項目管理提供參考和依據。

2016年，上海市浦東新區衛健委開創性、探索性地研究構建了一套“區域衛生信息化項目績效評估指標體系”，并連續四年本著持續改進、不斷優化的宗旨，積極推動與開展信息化項目績效評估，希望尋找規律與方法，構建科學、系統、規范的信息化項目績效評估體系以及相應的管理規范化流程，從而進一步加強醫療機構信息化建設的規范化、標準化、科學化水平，引導醫療機構進行合理的信息化建設投資。通過四年的績效評估實踐，已初步形成一套符合區域醫療機構信息化建設水平的評價體系。通過該評價體系，進行橫向、縱向和自身評價，強化醫療機構信息化管理能力，提升工作效率，做好系統化管理[2]，從而發現自身問題，合理利用資金，降低醫院建設成本，增強管理效率，提升醫院的競爭能力和服務水平。

1 績效評估方法

1.1 指標體系的構成與完善

根據文獻調研、問卷調查、實地調研、專家咨詢等方法，浦東衛健委于2016年研究構建了一套區域衛生信息化項目績效評估指標方法，對衛生醫療機構衛生信息化項目績效進行評估[3-4]。該指標包含4項一級指標，17項二級指標，二級指標又包含若干要素，并為每項要素賦以權重。

2019年，在前三年信息化項目績效評估基礎上，從項目績效指標、權重、項目績效內容和所占比重等方面進行了修訂，特別是在項目效果評價的維度下，結合前三年的評價總結，通過對相關分值的優化調整，新增了“響應配合評價”，作為對區所屬醫療機構是否積極參與建設項目評估的考核指標，以起到對于積極參與評審、準備完善的機構的鼓勵作用，并同時督促部分響應有所缺失的機構主動參與、配合。修訂后的指標簡表如表1所示。

表1 衛生信息化項目績效評估主要指標

1.2 評估過程與評估結果分級標準

1.2.1 評估過程

整個項目績效評估過程主要分為四個階段：

（1）評估前基礎準備。包括對本年度績效評估打分表修訂、形成績效評估指標要素點檢查表、召開醫療機構績效評估培訓會等，參評單位開始做好準備工作。

（2）第三方測評。聘請第三方專業測評機構，對本次參評項目進行測評，包括軟件類項目功能、性能及安全測評，機房類項目物理安全測評等[5]，為后續績效評估提供評分依據。

（3）專家現場評審。聘請行業專家對參評項目進行現場評審，給出相應分值及扣分理由等。

（4）結果發布。所有參評單位績效評估最終得分在區內公開發布，并將得分與下一年度信息化項目申報形成聯動機制，對項目建設成效不佳的單位限制申報或不得申報項目。

1.2.2 評估結果分級標準

表1中，四項一級指標權重百分比分別為：項目目標10%，項目管理40%，項目效果40%，項目可持續性10%。由于在項目立項過程中，制定了嚴格的審批流程，項目目標整體定義較為清晰可控，權重百分比過高會導致整體得分偏高；項目管理和項目效果為當前績效評估的核心，故權重百分比較高；項目可持續性為今后發展的方向，可根據項目逐年改進情況做適當的調整。根據專家現場評估得分，將項目建設成效以A、B、C、D四個等級予以展示。具體解釋如下：

（1）A為優，80～100分。在項目管理和應用效果方面完成了預期設定的目標，項目獲得了較大的經濟效益，對社會發展有良好的影響。

（2）B為良，60～79分。在項目產出、成本和事件進度上實現了項目原定的一部分目標，項目獲得了部分經濟效益，項目對社會發展的作用和影響是有積極作用的。

（3）C為中，40～59分。在項目管理和應用效果方面對項目預期設定的目標完成度為一般，項目效益一般，且在社會效益方面有或有少部分的積極作用和影響。

（4）D為差，0～39分。項目原定的各項目標基本沒有實現，在項目管理和項目應用方面沒有達到預期的目標，項目效益很小或難以確定，項目對社會發展有或只有極小的積極作用和影響。

1.3 評估方法的科學性概述

該評估方法在建立過程中，系統查閱了與衛生信息化建設項目評價研究相關的資料信息[6-7]，總結歸納、明確國內外既往研究中用于衛生信息化建設項目評價框架或維度確定的指導性理論與方法，明確既往研究中可以借鑒的框架或維度，借鑒層次結構分析理論[8-9]的思路。首先，將衛生信息化項目評價維度分解為不同的組成類別，即建立四項一級指標；隨后，將一級評價指標體系進一步轉化成可量化的二級指標體系，以此類推，從而實現評價框架的層次化和條理化[10-11]。最終，各不同層次組成要素按照相互關聯度及隸屬關系聚集組合，形成“評價維度—評價類別—評價指標”層次分明的分析系統[12-13]。

在指標內容確定上，依據易于理解、精練準確、有代表性、便于監管，并符合科學性、均衡性、導向性、可比性、可操作性等原則[14]，通過3輪德爾菲專家咨詢[15]與論證完成指標體系的篩選：由浦東新區衛生信息中心及衛健委不同層級、不同專業、具有豐富實踐經驗的20位專家，按照指標篩選原則，經過3輪的咨詢與論證，逐步精選與完善，最終確定指標內容。

2 績效評估結果

2.1 績效評估總體情況

2016年制定該績效評估指標后，首次將其應用于2015年度浦東衛健委直屬機構、醫院和社區衛生服務中心三類衛生機構的信息化項目的績效評估。經過四年的持續改進與不斷優化，醫療機構衛生信息化建設取得一定成效。四年績效評估總體概況如圖1所示。

圖1 2015年度至2018年度績效評估總體概況

由圖1可以看出，2015年度項目中，評估等級為D級的項目達23.64%，但2016年度至2018年度，均未出現D級項目。2015年度至2017年度，A級項目數逐年增長，至2017年度，達到62.22%。2018年度A級項目數有所減少，主要原因是評估指標體系在以往基礎上做了修訂，評分項目和相應權重均有調整，在測評時，加強了對性能、安全方面指標的把控。以上修訂，發現了很多信息化建設項目中存在的新問題，從而影響了得分。通過不斷修訂與完善，有助于參評醫療機構更好地發現問題，完善信息化建設機制，防范系統性的安全風險，使信息化建設項目可以長久、持續地產出。

2.2 一級指標評估情況

績效評估的四項一級指標，分別從項目目標、項目管理、項目效果和項目可持續性四個維度對項目績效進行評估，探索項目全生命周期實施成效，發現問題和解決問題。四個年度一級指標評估情況如圖2所示。

圖2 一級指標評估總體情況

2.2.1 項目目標

該項主要考察項目立項的合規性和項目目標落實的符合度情況。從圖2可以看出，2015年度至2017年度，項目目標得分逐年上升。2018年度項目評估時，增加了項目建設驗收指標的達標率評價，在項目建成后，對項目建設目標與項目實際實施情況的一致性進行評估，2018年度項目目標得分略有降低。

2.2.2 項目管理

該項主要評估項目全過程中的進度、成本、質量、溝通、培訓、記錄等要素的控制情況，并由此評價項目的建設成效和管理能力。結合以往經驗，2018年度評估體系中將“自評與專家評分吻合度”進行了評分規則優化調整，以更好地體現機構對于信息化項目績效評估體系和要素點的理解水平與專家評判的差異。因此，2018年度該項評分也有所降低。

2.2.3 項目效果

該項為整個績效評價指標中較為重要的部分，對項目的實際使用情況進行了量化或按質評價，引入第三方測評報告的評價，彰顯應用效果評價的公平、公正、公開，同時對項目的應用影響力等作前瞻性的評價。2018年度新增了“響應配合度評價”的二級指標，在參評的項目中有三分之一的項目響應配合得到滿分，該部分還有較大提升空間。

2.2.4 項目可持續性

該項主要從項目自身的技術基礎以及外部資源保障和管理基礎進行評價，衡量項目運營保障方面的長期可持續性。同時，對人員培訓和信息化建設的持續投入進行量化并考核，從而達到項目在未來持續保持不斷提升的能力。該項得分逐年略有下降，且總體得分仍有較大空間，這也是今后項目管理的重點。

3 討論

信息化建設是一個不斷發展、持續改進的過程，同樣，信息化績效評估也并非一成不變，而是需結合實際不斷完善，國內外已有各種類型的衛生信息化項目績效評估的研究[16-17]，可供參考。本文進行了2015年度至2018年度的評估結果比對，在2015年度至2017年度信息化項目績效評估中，先后提出了建立立項項目跟蹤機制、信息化人員規范化培訓、使用者滿意調查、完善評估體系等建議，并在后續項目建設中，得到了持續改進。在此期間，績效評估各項指標呈逐年提升，說明對提高項目建設成效起到了一定的促進作用。同時，四項指標也是相輔相成的，項目目標完成度在四個一級指標中得分最高，說明各醫療機構對于項目目標具有比較清晰的認識，從而能更好地促進項目管理成效。在醫改力度不斷加強、智慧醫院建設持續深化的背景下[18-19]，本文對這套績效評估體系進行了改進，調整了部分二級指標的指標名稱和要素項，修訂了部分指標權重和評分規則。同時，由于2018年醫院信息化安全態勢嚴峻，醫療機構安全問題頻發，在此環境下，加強了對性能、安全方面的指標把控。因此，改進后的評估體系在用于2018年度項目評估時，也發現了信息化建設項目新的缺陷與安全漏洞。

可見，不斷完善和持續改進績效評估體系，有助于促使區內各級機構對信息化項目管理形成較為完善的管理概念[20]，切實督促各級醫療機構將項目管理制度落實到項目建設中去，使信息化建設投入得到更加有效、可靠、穩定、安全、持續的產出。

4 結論

歷經四年的信息化項目績效評估，信息化項目建設取得了一定進步，同時也進一步推動了績效評估體系的健全和發展。今后將繼續完善和持續改進該績效評估體系與評估方法，加強信息化項目績效評估的指標內容與評價體系的規范化培訓工作，促使各醫療機構由具有管理意識到形成管理制度，最終落實到項目建設管理中去的過程的轉變和深化，確保相關規范的管理制度可以在項目建設的過程中得到貫徹執行，最終實現信息化項目的有效建設，提高區域衛生信息化整體建設水平。