基于柯氏四級模型對專科聯(lián)盟管理培訓(xùn)項目實效性的評價分析

王敏 劉爽

(首都醫(yī)科大學(xué)附屬北京地壇醫(yī)院院辦,北京 100015)

構(gòu)建醫(yī)療聯(lián)合體(簡稱“醫(yī)聯(lián)體”)是深化醫(yī)療衛(wèi)生體制改革的重要步驟和制度創(chuàng)新,是優(yōu)化醫(yī)療資源、提升基層服務(wù)能力、更好實施分級診療、滿足群眾健康需求的有效途徑[1]。傳染病醫(yī)院作為一類比較特殊的醫(yī)療機構(gòu),肩負著應(yīng)對傳染病突發(fā)公共衛(wèi)生事件的使命,鑒于傳染病屬地管理的原則,醫(yī)聯(lián)體建設(shè)對于傳染病醫(yī)療體系具有更為重大的意義。專科聯(lián)盟是以一家三級醫(yī)院為龍頭,以某專科疾病為紐帶,跨區(qū)域組成的一種醫(yī)聯(lián)體模式[2]。在當(dāng)前新醫(yī)改形勢下,以傳染病學(xué)科為特色的首都醫(yī)科大學(xué)附屬北京地壇醫(yī)院作為牽頭單位聯(lián)合全國31 個省市自治區(qū)的91 家醫(yī)療機構(gòu)(以下稱“成員單位”)成立了感染性疾病專科聯(lián)盟(簡稱“地壇感染聯(lián)盟”),以有效促進分級診療,構(gòu)建完善的感染性疾病醫(yī)療服務(wù)體系。

地壇感染聯(lián)盟在運行中發(fā)現(xiàn),各成員單位間的管理水平和醫(yī)療水平存在很大差距,已然成為進一步緊密合作的障礙。為了實現(xiàn)成員單位間“醫(yī)教研管”同質(zhì)化的目標,地壇醫(yī)院作為聯(lián)盟牽頭單位舉辦了系列管理培訓(xùn)項目。目前,各醫(yī)療機構(gòu)都在逐步重視對醫(yī)院管理者的培訓(xùn),但對培訓(xùn)效果評估的認知還不夠,對評估方法掌握也不到位,評估多為滿意度或知識技能的評價,使評估流于形式[3]。培訓(xùn)評價體系還不夠完善,更多關(guān)注培訓(xùn)后評價,缺乏對培訓(xùn)前、培訓(xùn)中、培訓(xùn)后全過程的評價[4]。地壇感染聯(lián)盟舉辦的系列管理培訓(xùn)項目也存在這個問題,培訓(xùn)后達到了怎樣的效果,是否實現(xiàn)了培訓(xùn)目標,從未進行過評估。為了持續(xù)提高地壇感染聯(lián)盟管理培訓(xùn)項目的實效性,現(xiàn)以2019 年地壇感染聯(lián)盟開展的完整的一期管理培訓(xùn)班為實例,對其實效性開展評價研究。同時,也為探索一種培訓(xùn)實效性的科學(xué)評估方法提供借鑒意義。

1 數(shù)據(jù)來源

2019 年5 月31 日-6 月2 日,地壇感染聯(lián)盟舉行第三期醫(yī)院管理培訓(xùn)班,持續(xù)2.5 d,課程設(shè)置包括:14 項面授課程、2 次答疑座談會、1 次實地參觀。為了保證授課效果,地壇醫(yī)院配備了有經(jīng)驗的師資力量,14 位講師均為院領(lǐng)導(dǎo)和中層干部,內(nèi)容是以地壇醫(yī)院的管理實踐經(jīng)驗為主線。本次培訓(xùn)共計招募74 人,來自于31 家醫(yī)療機構(gòu)。這74 名學(xué)員中包含院級領(lǐng)導(dǎo)16 人、中層干部49 人、科室骨干9 人,均為各單位的領(lǐng)導(dǎo)和管理干部骨干,為重點培養(yǎng)對象,符合本次培訓(xùn)班招募的標準。本研究以參訓(xùn)學(xué)員的調(diào)查問卷、跟蹤問卷、訪談討論等數(shù)據(jù)資料為基礎(chǔ)。

2 研究方法

國內(nèi)外關(guān)于培訓(xùn)效果評估的模型有很多,主要集中在柯氏四級評估模型、Phillips 五層次投資回報率模型(ROI 模型)和CIPP 模型等。其中,以參照柯氏四級評估模型進行培訓(xùn)效果評估的文獻居多,主要應(yīng)用于醫(yī)學(xué)臨床護理人員、高校工作人員的培訓(xùn)效果評估等方面[5-6]。鑒于此,本研究以柯氏四級模型為理論指導(dǎo),從反應(yīng)層、學(xué)習(xí)層、行為層、結(jié)果層四個層次對管理培訓(xùn)班的實效性予以客觀評估(表1),以期為進一步高效地開展專科聯(lián)盟的建設(shè)工作,切實提高成員單位的管理能力、醫(yī)療服務(wù)水平提供科學(xué)合理的借鑒作用。其中,反應(yīng)層和學(xué)習(xí)層主要以問卷調(diào)查的方法了解學(xué)員對于培訓(xùn)課程的滿意度評價和培訓(xùn)初步產(chǎn)生的效果;行為層和結(jié)果層主要通過電話回訪、專家訪談等方式了解培訓(xùn)產(chǎn)生的實質(zhì)效果。

表1 柯氏四級模型的四個層次[7-8]

3 評估過程及結(jié)果

3.1 學(xué)員滿意度評估——反應(yīng)層

培訓(xùn)期間,進行了關(guān)于培訓(xùn)課程的滿意度問卷調(diào)查,請學(xué)員從內(nèi)容專業(yè)實用性、講師培訓(xùn)技巧、課件內(nèi)容設(shè)計、課程組織形式4 個維度對14項課程進行評估[9],每個維度的滿意度為1～5分,每項課程的滿意度評分滿分為20 分。74 名參訓(xùn)學(xué)員中回收了71 份問卷,有3 名學(xué)員未提交。分別統(tǒng)計71 名學(xué)員對每項課程的4 個維度和總體滿意度評價的平均分值,14 項課程總分均值最高為19.832 分,最低為19.257 分(表2),均為非常滿意(研究設(shè)計時已設(shè)定17～20 分為非常滿意)。

表2 學(xué)員滿意度評估

3.2 培訓(xùn)初效評估——學(xué)習(xí)層

培訓(xùn)期間,同時還進行了培訓(xùn)效果的初步調(diào)查。通過問卷調(diào)查學(xué)員在培訓(xùn)中所學(xué)并初步認為會應(yīng)用到實際工作的內(nèi)容,并描述出培訓(xùn)過后將會應(yīng)用的具體管理措施。74 名參訓(xùn)學(xué)員中有70 人參與了此調(diào)查,有4 名學(xué)員未反饋問卷。具體分析學(xué)員對每項課程的培訓(xùn)初效評估情況,按照認為該課程對實際工作有用的學(xué)員人數(shù)進行排序(表3)。經(jīng)統(tǒng)計可見,每項課程都有一定數(shù)量的學(xué)員表示通過培訓(xùn)學(xué)到了有用的管理知識并將會應(yīng)用到實際工作中,實用性最好的課程有46 人認為培訓(xùn)內(nèi)容很好并會在具體工作中落實,地壇感染聯(lián)盟舉辦的管理培訓(xùn)項目產(chǎn)生了初步的效果。

表3 每項課程的培訓(xùn)初效評估分析

3.3 培訓(xùn)項目被學(xué)員采納應(yīng)用的情況追蹤——行為層

分析學(xué)員在培訓(xùn)過程中的初效評價情況,選取學(xué)員評價較好、實用性較強的課程繼續(xù)進行跟蹤。對這14 項課程中比較特殊的課程予以剔除,原因如下:課程2 是戰(zhàn)略性管理課題,受屬地政策影響較大,而且是醫(yī)院整體班子頂層設(shè)計的主題,很難因為一次培訓(xùn)而改變原有的策略;課程8 是智慧醫(yī)院管理的一部分,實現(xiàn)的前提是需要大額資金的支持,具體落實受客觀因素的影響較大;課程10～14 的內(nèi)容較專項,包括院感管理、門急診管理、應(yīng)急管理、醫(yī)療質(zhì)量管理、護理管理等,培訓(xùn)效果同學(xué)員來源科室有很大關(guān)系。最終確定繼續(xù)跟蹤隨訪的課程共計7 項(表2 中的課程1、3、4、5、6、7、9),將內(nèi)容相近的課程1和課程4 進行合并,最終進一步跟蹤的課程共計包括6 類:黨建工作、宣傳工作、運行管理、績效管理、全面預(yù)算管理、學(xué)科建設(shè)。

參與初效評價調(diào)查的70 名學(xué)員中,認為上述6 類課程可能會應(yīng)用到實際工作中的學(xué)員共計66 人,但有16 人在問卷調(diào)查時只是表示課程很好,但沒有具體描述將會采納哪些管理舉措,將這種情況的問卷予以剔除,最終對50 名學(xué)員繼續(xù)追蹤調(diào)查。確定研究對象后,課題組通過問卷、微信、電話等方式分別在培訓(xùn)結(jié)束后的第1、6、12 個月時對這50 名學(xué)員進行回訪,以培訓(xùn)時每人列出的擬采納的管理舉措為基礎(chǔ),進一步了解這些學(xué)員在培訓(xùn)后回到各自單位,在實際工作中關(guān)于上述6 類課程所包含的管理措施的具體采納和應(yīng)用情況。采納的管理舉措是指:在參加完管理培訓(xùn)后因受到培訓(xùn)內(nèi)容的啟發(fā),成員單位及其學(xué)員與培訓(xùn)之前相比新開展的管理措施。采納情況的數(shù)量統(tǒng)計方法:按照具體管理措施匯總資料,按照培訓(xùn)的每項課程統(tǒng)計數(shù)據(jù),即:若一項課程中有多項管理舉措被同一學(xué)員采納并應(yīng)用,在統(tǒng)計該課題被采納的人數(shù)時只計為1。經(jīng)過為期一年的追蹤回訪,據(jù)統(tǒng)計,最終共有38 名學(xué)員在參加此次地壇感染聯(lián)盟管理培訓(xùn)項目后采納并真正實施了所研究的6 類課程涉及的醫(yī)院管理措施,可以說本次培訓(xùn)對38 名學(xué)員的工作行為產(chǎn)生了實質(zhì)性影響和改變,本研究還具體統(tǒng)計了每項課程涉及的管理舉措被學(xué)員采納并應(yīng)用的情況,數(shù)據(jù)見表4。

表4 每項課程的管理舉措被學(xué)員采納的情況

3.4 培訓(xùn)項目對參訓(xùn)醫(yī)院產(chǎn)生的影響——結(jié)果層

北京地壇醫(yī)院舉行醫(yī)院管理培訓(xùn)項目的最終目的是實現(xiàn)地壇感染聯(lián)盟成員單位間“醫(yī)教研管”的同質(zhì)化,為提高傳染病防治體系的整體管理水平、實現(xiàn)進一步的密切合作奠定基礎(chǔ)。本次管理培訓(xùn)項目共有31 家醫(yī)院參與,最終采納并實施了培訓(xùn)內(nèi)容的38 名學(xué)員來自于23 家醫(yī)療機構(gòu),由此可見,最終此次培訓(xùn)對74.19%的參訓(xùn)醫(yī)院的具體管理行為產(chǎn)生了實質(zhì)性影響,較好實現(xiàn)了本次管理培訓(xùn)項目的目標。本研究還具體統(tǒng)計了每項課程涉及的管理舉措被參訓(xùn)醫(yī)院實際采納并應(yīng)用的情況,數(shù)據(jù)見表5。

表5 每項課程的管理舉措被參訓(xùn)醫(yī)院采納的情況

對于這23 家醫(yī)院,此次管理培訓(xùn)項目是給予了醫(yī)院管理方面的理論指導(dǎo),起到“拋磚引玉”的作用。最終培訓(xùn)內(nèi)容在這些參訓(xùn)單位得以順利實施,是因為在培訓(xùn)項目的基礎(chǔ)上,計劃實施管理舉措的醫(yī)院會主動同地壇醫(yī)院建立長期的對接聯(lián)絡(luò)機制,地壇醫(yī)院的講師團隊持續(xù)性地依參訓(xùn)方需求提供技術(shù)支持,協(xié)助其實施管理項目,包括:針對性一對一解讀、管理方案設(shè)計、遠程指導(dǎo)培訓(xùn)、原因分析、現(xiàn)場督導(dǎo)等。因此,這23 家醫(yī)院是以培訓(xùn)內(nèi)容為指導(dǎo),結(jié)合自身的實際情況,因地制宜地將管理培訓(xùn)項目涉及的醫(yī)院管理舉措真正落地生根,對各醫(yī)院建立科學(xué)有效的管理體系起到了積極作用和重要意義。

4 討論

本次研究是將31 家醫(yī)院的74 名學(xué)員作為整體展開的分析,但醫(yī)院的等級、科室的現(xiàn)狀、學(xué)員的職級,甚至于醫(yī)院所處的地域等因素可能都會對培訓(xùn)的實效性產(chǎn)生影響。但因為此次管理培訓(xùn)項目的入組人數(shù)較少,沒有進行分層研究,下一步有必要繼續(xù)以地壇感染聯(lián)盟的系列管理培訓(xùn)項目的數(shù)據(jù)為基礎(chǔ)再擴大樣本量,按不同要素分組分析學(xué)員之間的差異,探究各類醫(yī)院、學(xué)員對聯(lián)盟管理培訓(xùn)項目的適應(yīng)性,以達到精準施策、優(yōu)化培訓(xùn)的目的。

通過研究發(fā)現(xiàn),在培訓(xùn)過程中調(diào)查每項課程的初步培訓(xùn)效果時,會有較多的學(xué)員認為這些管理舉措可以應(yīng)用到實際工作中,但最終真正采納并應(yīng)用到本醫(yī)院實際工作中的項目數(shù)量較少,均低于50%(表4、表5)。表明學(xué)員認為較好的管理措施最終只有一小部分能在實際工作中落實應(yīng)用,接下來,有必要進一步深入分析影響培訓(xùn)效果的具體原因,從培訓(xùn)項目的必要性、可行性等各方面再次進行評估,以此有效提高管理培訓(xùn)項目的效率和效果。

在反應(yīng)層的滿意度調(diào)查問卷中,項目組還設(shè)立了開放式的調(diào)查內(nèi)容,以此了解了不同培訓(xùn)對象的需求,包括:中層干部及科室骨干希望培訓(xùn)盡量聚焦于某項專題,培訓(xùn)時長在3～5 天,除了面授講課,還希望安排有互動交流的環(huán)節(jié),以此交流某專項工作的具體經(jīng)驗。院級領(lǐng)導(dǎo)則希望開設(shè)有關(guān)醫(yī)院管理頂層設(shè)計和現(xiàn)代化管理的課程,內(nèi)容盡可能涵蓋醫(yī)院管理的所有領(lǐng)域,交流醫(yī)院管理的思路和理念,時長2～3 d 為宜。提示,在接下來的培訓(xùn)項目中,有必要針對不同的參與對象和需求設(shè)計不同的培訓(xùn)體系,包括內(nèi)容、時長、培訓(xùn)方式方法等進行調(diào)整。

目前,首都醫(yī)科大學(xué)附屬北京地壇醫(yī)院已經(jīng)被授予國家傳染病醫(yī)學(xué)中心的主體醫(yī)院,站在國家層面,地壇醫(yī)院有責(zé)任也有義務(wù)引領(lǐng)傳染病防控救治體系建設(shè)。地壇醫(yī)院牽頭發(fā)起的地壇感染聯(lián)盟現(xiàn)在已經(jīng)涵蓋了全國91 家傳染病醫(yī)療機構(gòu),聯(lián)盟也將是地壇醫(yī)院落實國家傳染病醫(yī)學(xué)中心職責(zé)的重要抓手。管理培訓(xùn)項目作為一種重要的知識交流傳播方式,再配套有科學(xué)合理的培訓(xùn)效果評價體系,有助于地壇醫(yī)院在“醫(yī)教研管”等方面將成熟的管理經(jīng)驗在聯(lián)盟成員單位中全面推廣,實現(xiàn)聯(lián)盟單位之間管理水平趨于同質(zhì)化,為各醫(yī)院之間進一步全方位地開展深入合作奠定基礎(chǔ),從而提升傳染病領(lǐng)域的整體醫(yī)療管理水平,推動傳染病防治事業(yè)實現(xiàn)高質(zhì)量發(fā)展。

利益沖突所有作者均聲明不存在利益沖突

作者貢獻聲明王敏:提出研究思路,設(shè)計研究方案,開展調(diào)研,分析數(shù)據(jù),撰寫、修改、審訂論文;劉爽:共同探討研究思路,設(shè)計研究方案,調(diào)研,收集清洗數(shù)據(jù),對數(shù)據(jù)展開分析,修改論文