基于德爾菲法的全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系構(gòu)建研究

張立威，黃婉霞，徐慶鋒，蘇慧萍，涂正杰，王心旺，王家驥

全科醫(yī)生轉(zhuǎn)崗培訓(xùn)是緩解當(dāng)前我國基層衛(wèi)生人才嚴(yán)重匱乏的重要措施，2010年國家發(fā)改委等六部委下發(fā)的《以全科醫(yī)生為重點(diǎn)的基層醫(yī)療衛(wèi)生隊(duì)伍建設(shè)規(guī)劃》提出，到2012年，以1～2年的轉(zhuǎn)崗培訓(xùn)為主要培養(yǎng)途徑，在全國培養(yǎng)6萬名全科醫(yī)生，基本實(shí)現(xiàn)城市每萬名居民有1～2名全科醫(yī)生，農(nóng)村每個(gè)鄉(xiāng)鎮(zhèn)衛(wèi)生院有1名全科醫(yī)生［1］。培訓(xùn)效果評(píng)估是培訓(xùn)項(xiàng)目的重要組成部分，通過培訓(xùn)效果評(píng)估獲得的培訓(xùn)項(xiàng)目有效性的信息，有助于提高培訓(xùn)工作的質(zhì)量并為改善培訓(xùn)決策提供科學(xué)依據(jù)。在培訓(xùn)效果評(píng)估工作中，建立科學(xué)的評(píng)估指標(biāo)體系是關(guān)鍵環(huán)節(jié)。目前國內(nèi)對(duì)全科醫(yī)生培訓(xùn)效果評(píng)估方面的研究較少，一些學(xué)者對(duì)全科醫(yī)生培訓(xùn)效果進(jìn)行了定性闡述，但多注重培訓(xùn)滿意度方面，且多屬于培訓(xùn)后評(píng)估，缺乏培訓(xùn)前后的比較［2］，尚未建立有效的評(píng)估指標(biāo)體系。本研究以柯氏評(píng)估模型［3］為基礎(chǔ)，結(jié)合全科醫(yī)生轉(zhuǎn)崗培訓(xùn)的特點(diǎn)，采用德爾菲法構(gòu)建全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系，為客觀評(píng)價(jià)全科醫(yī)生轉(zhuǎn)崗培訓(xùn)的效果，不斷改善培訓(xùn)質(zhì)量和效益奠定良好基礎(chǔ)。

1 方法

1.1 研究方法 本研究采用德爾菲專家咨詢法建立全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系。

1.2 研究步驟

1.2.1 成立項(xiàng)目協(xié)調(diào)小組 項(xiàng)目協(xié)調(diào)小組共有7人組成，其中高級(jí)職稱2人、中級(jí)職稱2人、衛(wèi)生行政部門2人、碩士研究生1人。其主要任務(wù)是:遴選咨詢專家、初步擬定評(píng)估指標(biāo)群、編制專家咨詢表、組織咨詢活動(dòng)并對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)分析。

1.2.2 確定咨詢專家 根據(jù)本課題的研究目的，邀請(qǐng)25名全科醫(yī)學(xué)教育和全科醫(yī)療實(shí)踐領(lǐng)域的專家參與本研究的咨詢。所有專家均具有中高級(jí)職稱，工作10年以上。

1.2.3 初步擬定評(píng)估指標(biāo)體系 在廣泛查閱相關(guān)政策、文獻(xiàn)的基礎(chǔ)上，項(xiàng)目協(xié)調(diào)小組根據(jù)柯氏評(píng)估模型，初步擬定評(píng)估指標(biāo)體系。柯氏評(píng)估模型是由美國學(xué)者柯克帕特里克在1959年提出的。該模型將培訓(xùn)效果分為反應(yīng)層、學(xué)習(xí)層、行為層、結(jié)果層四個(gè)遞進(jìn)的層次，反應(yīng)層指標(biāo)反映了學(xué)員對(duì)培訓(xùn)的反應(yīng)和滿意度;學(xué)習(xí)層指標(biāo)反映了學(xué)員對(duì)所學(xué)知識(shí)的掌握程度;行為層指標(biāo)反映了學(xué)員將所學(xué)內(nèi)容應(yīng)用到實(shí)際工作中的情況;結(jié)果層指標(biāo)反映了培訓(xùn)的個(gè)人績效以及對(duì)組織發(fā)展的影響和作用。

1.2.4 開展專家咨詢活動(dòng) 按照德爾菲法的實(shí)施程序，通過電子郵件的方式進(jìn)行兩輪專家咨詢。根據(jù)初步擬定的全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系，設(shè)計(jì)第一輪專家咨詢表。表格內(nèi)容包括專家基本情況、專家打分表格等。為提高咨詢表的回收率，在發(fā)放第一輪咨詢表的同時(shí)，附上專家邀請(qǐng)函，介紹本研究的目的和意義、德爾菲法、咨詢時(shí)間安排等。第二輪咨詢時(shí)，附上第一輪專家咨詢的統(tǒng)計(jì)結(jié)果，供專家打分時(shí)參考。兩輪專家咨詢表中均要求專家對(duì)每項(xiàng)指標(biāo)的“重要性”進(jìn)行打分，同時(shí)請(qǐng)專家對(duì)初步擬定的指標(biāo)體系提出意見和修改建議。“重要性”程度分為“很不重要”、“不重要”、“一般”、“重要”、“很重要”5個(gè)等級(jí)，依次賦值為:1、3、5、7、9。此外，為了解專家對(duì)咨詢內(nèi)容的權(quán)威程度，請(qǐng)專家同時(shí)填寫熟悉程度評(píng)價(jià)表、判斷依據(jù)及其影響程度量化表，其量化值見表1。

表1 熟悉程度、判斷依據(jù)及其影響程度量化表Table1 Quantitative value of the degree of familiarity，judgment basis and its influence degree

1.2.5 篩選指標(biāo)及確定權(quán)重 主要通過界值法［4］進(jìn)行評(píng)估指標(biāo)的篩選。根據(jù)每項(xiàng)指標(biāo)重要性得分的算術(shù)均數(shù)、滿分比、變異系數(shù)計(jì)算參考界值。算術(shù)均數(shù)和滿分比為正向指標(biāo)，其參考界值為“算術(shù)均數(shù)－標(biāo)準(zhǔn)差”，數(shù)值大于界值入選。變異系數(shù)為負(fù)性指標(biāo)，其參考界值為“算術(shù)均數(shù)+標(biāo)準(zhǔn)差”，數(shù)值小于界值入選。規(guī)定必須同時(shí)不符合兩個(gè)及兩個(gè)以上尺度的指標(biāo)才被刪除。此外，針對(duì)咨詢專家提出的指標(biāo)體系修訂意見，在經(jīng)過項(xiàng)目協(xié)調(diào)小組討論之后對(duì)指標(biāo)體系進(jìn)行篩選。采用專家咨詢權(quán)數(shù)法［5］確定指標(biāo)權(quán)重，以第二輪專家咨詢結(jié)果為準(zhǔn)。根據(jù)每項(xiàng)指標(biāo)的平均得分，經(jīng)過歸一化處理得到每項(xiàng)指標(biāo)的權(quán)重系數(shù)。

1.3 統(tǒng)計(jì)學(xué)方法 采用SPSS 13.0統(tǒng)計(jì)軟件進(jìn)行數(shù)據(jù)錄入及統(tǒng)計(jì)分析，計(jì)算各項(xiàng)指標(biāo)的算術(shù)均數(shù)、滿分比、變異系數(shù)、專家積極系數(shù) (E)、專家權(quán)威程度、專家意見協(xié)調(diào)系數(shù) (W)。對(duì)數(shù)據(jù)進(jìn)行描述性統(tǒng)計(jì)分析和χ2檢驗(yàn)，以P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。幾種主要統(tǒng)計(jì)指標(biāo)計(jì)算方法如下:(1)E即咨詢表的回收率，計(jì)算方法是實(shí)際接受咨詢的專家人數(shù) (m)與邀請(qǐng)的全部專家人數(shù) (M)之比，公式為:E=m/M。(2)專家權(quán)威程度的決定因素包括專家做出判斷的依據(jù) (Ca)和專家對(duì)問題的熟悉程度 (Cs)，權(quán)威程度 (Cr)為判斷依據(jù)和熟悉程度的算術(shù)均值，計(jì)算公式為:Cr=(Ca+Cs)/2。數(shù)值越大表明專家對(duì)咨詢內(nèi)容的權(quán)威程度越高。(3)W用于表示所有咨詢專家對(duì)全部指標(biāo)的評(píng)價(jià)結(jié)果的協(xié)調(diào)程度，該系數(shù)反映了不同專家意見的一致性，也是咨詢結(jié)果的可信程度的指標(biāo)［6］。W及其顯著性檢驗(yàn)的計(jì)算公式如下:

其中，m表示專家總數(shù)，n表示指標(biāo)個(gè)數(shù)，d表示各個(gè)指標(biāo)等級(jí)和與n個(gè)指標(biāo)等級(jí)和均值之差。Sj表示相同等級(jí)指標(biāo);其中L表示i專家在評(píng)價(jià)中相同的評(píng)價(jià)組數(shù);ti表示在L組中的相同等級(jí)數(shù)。W取值為0～1，其值越大，表示全部專家的協(xié)調(diào)程度越好，如果χ2檢驗(yàn)有統(tǒng)計(jì)學(xué)意義，則說明專家評(píng)估或預(yù)測(cè)的可信度好，結(jié)果可取。

2 結(jié)果

2.1 專家的基本情況 本研究最終參與咨詢的專家有19人，平均年齡為51.4歲。年齡分布:＜45歲2人 (占2/19)，45～歲5人 (占5/19)，50～歲8人 (占8/19)，≥55歲4人(占4/19)。專業(yè)分布:臨床醫(yī)學(xué)4人 (占4/19)，全科醫(yī)學(xué)10人 (占10/19)，公共衛(wèi)生5人 (占5/19)。學(xué)歷分布:本科及以下9人 (占9/19);研究生及以上10人 (占10/19)。職稱分布:副高級(jí)7人 (占7/19)，正高級(jí)12人 (占12/19)。工齡分布:＜20年1人 (占1/19)，20～年7人 (占7/19)，≥30年11人 (占11/19)。工作單位:高等院校12人(占12/19)，社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)及醫(yī)院7人 (占7/19)。

2.2 專家積極程度 本研究第一輪發(fā)放專家咨詢表25份，收回有效問卷21份，E為84.0%;第二輪發(fā)放專家咨詢表21份，收回有效問卷19份，E為90.5%。

2.3 專家權(quán)威程度 本研究兩輪咨詢一級(jí)指標(biāo)的權(quán)威程度見表2。

2.4 專家協(xié)調(diào)程度 第一輪W為0.314(χ2=39.027，P＞0.05)，表明所有專家之間的分歧較大，協(xié)調(diào)程度不好，結(jié)論可信度差。第二輪W為0.754(χ2=89.205，P＜0.05)，表明所有專家評(píng)價(jià)意見的協(xié)調(diào)性較好。

2.5 全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系及指標(biāo)權(quán)重 在對(duì)兩輪專家咨詢結(jié)果統(tǒng)計(jì)的基礎(chǔ)上，按照確定的指標(biāo)篩選原則，并經(jīng)項(xiàng)目協(xié)調(diào)小組討論，最終確定了由4項(xiàng)一級(jí)指標(biāo)、10項(xiàng)二級(jí)指標(biāo)、18項(xiàng)三級(jí)指標(biāo)、31項(xiàng)四級(jí)指標(biāo)組成的全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系。1～3級(jí)評(píng)估指標(biāo)及指標(biāo)權(quán)重見表3。

表2 兩輪咨詢專家的權(quán)威程度Table2 The degree of specialist authority in two rounds consultation

表3 1～3級(jí)評(píng)估指標(biāo)及指標(biāo)權(quán)重Table3 Indexes and their weights of first grade，second grade and third grade

3 討論

德爾菲法也稱為專家調(diào)查法，美國蘭德公司于1946年首次用這種方法來進(jìn)行預(yù)測(cè)，其核心是采用匿名的方式進(jìn)行幾輪函詢征求專家的意見，評(píng)價(jià)領(lǐng)導(dǎo)小組對(duì)每一輪的專家意見均進(jìn)行匯總整理，作為參考資料再寄發(fā)給每位專家，供專家們分析判斷，提出新的意見，如此反復(fù)，意見逐步趨于一致，最終得到一個(gè)比較一致的可靠性較大的結(jié)論和方案［6］。我國全科醫(yī)學(xué)教育和培訓(xùn)尚處于探索階段，本研究采用德爾菲法構(gòu)建全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系，充分發(fā)揮專家的作用，且避免了個(gè)別專家意見的片面性。此外，本研究根據(jù)《衛(wèi)生部辦公廳關(guān)于印發(fā)＜基層醫(yī)療衛(wèi)生機(jī)構(gòu)全科醫(yī)生轉(zhuǎn)崗培訓(xùn)大綱(試行)＞的通知》等最新政策文件確定專家咨詢內(nèi)容，使指標(biāo)體系具備良好的科學(xué)性、導(dǎo)向性和時(shí)效性。

選擇有代表性的專家是德爾菲法應(yīng)用成敗的關(guān)鍵［4］。本研究兩輪專家咨詢遴選的專家包括來自高等醫(yī)學(xué)院校的研究學(xué)者，也包括來自社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)或醫(yī)院的一線工作者，地理范圍分布于北京、上海、廣東等8個(gè)省市，涵蓋了臨床醫(yī)學(xué)、全科醫(yī)學(xué)、公共衛(wèi)生等多個(gè)專業(yè)。此外，專家均具有副高級(jí)及以上職稱，從事全科醫(yī)學(xué)相關(guān)研究或工作的時(shí)間均在10年以上，具有較好的代表性。兩輪德爾菲咨詢的專家平均權(quán)威程度均為0.85(一般認(rèn)為專家權(quán)威程度大于0.7即可以接受［7］)，表明本研究的咨詢結(jié)果可信。

E大小反映了專家對(duì)該研究的關(guān)心程度。有文獻(xiàn)指出，60%的回收率是好的，70%的回收率是非常好［8］。本研究兩輪E分別為84.0%和90.5%，說明專家對(duì)本研究的關(guān)心程度很高。所有咨詢專家的意見一致性越高，W越大。國內(nèi)幾項(xiàng)大型德爾菲法在衛(wèi)生系統(tǒng)的應(yīng)用研究結(jié)果顯示，經(jīng)過2～3輪專家咨詢后，W一般在0.5左右波動(dòng)［6］。本研究第二輪咨詢后的W為0.754，經(jīng)統(tǒng)計(jì)學(xué)檢驗(yàn)，表明兩輪咨詢過后所有專家的意見已經(jīng)趨于一致，專家的協(xié)調(diào)程度較好，結(jié)果可信度較高。

本研究以柯氏四級(jí)評(píng)估模型為基礎(chǔ)，采用德爾菲法構(gòu)建的全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估指標(biāo)體系兼顧理論和實(shí)踐兩方面，涵蓋了學(xué)員對(duì)培訓(xùn)項(xiàng)目的滿意度、知識(shí)技能改善情況、培訓(xùn)后行為和績效改變等多個(gè)維度指標(biāo)，體現(xiàn)了培訓(xùn)效果評(píng)估的全面性原則。在此指標(biāo)體系的指導(dǎo)下，全科醫(yī)生轉(zhuǎn)崗培訓(xùn)效果評(píng)估是一個(gè)長期、連續(xù)的過程，如在培訓(xùn)前對(duì)學(xué)員進(jìn)行摸底調(diào)研，培訓(xùn)剛結(jié)束時(shí)進(jìn)行學(xué)習(xí)層評(píng)估，培訓(xùn)結(jié)束一段時(shí)間之后再進(jìn)行行為層及結(jié)果層的評(píng)估。該指標(biāo)體系的應(yīng)用將有利于客觀評(píng)估全科醫(yī)生轉(zhuǎn)崗培訓(xùn)的效果以及進(jìn)一步改善培訓(xùn)質(zhì)量。

1 國家發(fā)展改革委，衛(wèi)生部，中央編辦，等.關(guān)于印發(fā)以全科醫(yī)生為重點(diǎn)的基層醫(yī)療衛(wèi)生隊(duì)伍建設(shè)規(guī)劃的通知［EB/OL］.http://www.sdpc.gov.cn/shfz/yywstzgg/ygzc/t20100430_359849.htm.2012－10－6.

2 徐慶鋒，蘇慧萍，涂正杰，等.全科醫(yī)師骨干理論培訓(xùn)的效果評(píng)價(jià)及其影響因素分析［J］.中國全科醫(yī)學(xué)，2011，14(12):3950－3952.

3 唐納德L.柯克帕特里克，詹姆斯D.柯克帕特里克 (著).奚衛(wèi)華，林祝君 (譯).如何做好培訓(xùn)評(píng)估:柯氏四級(jí)評(píng)估法［M］.3版.北京:機(jī)械工業(yè)出版社，2007:21－39.

4 曾光.現(xiàn)代流行病學(xué)方法與應(yīng)用［M］.北京:北京醫(yī)科大學(xué)中國協(xié)和醫(yī)科大學(xué)聯(lián)合出版社，1994:250－259.

5 張立威.城市社區(qū)公共衛(wèi)生服務(wù)評(píng)價(jià)指標(biāo)體系研究 ［D］.大連:大連醫(yī)科大學(xué)，2007:10－24.

6 賀佳，高爾生，樓超華.綜合評(píng)價(jià)中權(quán)重系數(shù)及標(biāo)準(zhǔn)化方法的研究 ［J］.中國公共衛(wèi)生，2001，17(11):1048－1050.

7 宋俐，羊海濤.應(yīng)用德爾菲法建立農(nóng)村基本公共衛(wèi)生服務(wù)評(píng)價(jià)指標(biāo)體系［J］.江蘇預(yù)防醫(yī)學(xué)，2011，22(2):10－11.

8 易靜，胡代玉，楊德香，等.德爾菲法在肺結(jié)核發(fā)病影響因素篩選中的作用［J］.中國全科醫(yī)學(xué)，2012，15(5):1492－1494.