醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系的實(shí)證研究

楊存霞，孫瑞華，顧澤龍，黃 傲，王雨萌，李 歡

（1.北京中醫(yī)藥大學(xué) 管理學(xué)院，北京 100029；2.中日友好醫(yī)院 科研和學(xué)科建設(shè)部，北京 100029）

中日友好醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系[1]是結(jié)合院級(jí)課題的特點(diǎn)以及“重立項(xiàng)審批，輕結(jié)題評(píng)估”的現(xiàn)象確定，旨在通過建立指標(biāo)體系加強(qiáng)課題結(jié)題管理。 通過實(shí)際應(yīng)用效果評(píng)價(jià)中日友好醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系，將為指標(biāo)體系進(jìn)一步的完善和應(yīng)用提供依據(jù)。

1 對(duì)象與方法

1.1 研究對(duì)象

本研究以已建立的中日友好醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系[1]為研究對(duì)象，該指標(biāo)體系分為計(jì)劃執(zhí)行情況、項(xiàng)目產(chǎn)出情況、課題產(chǎn)出預(yù)期3 個(gè)部分。滿分100 分，計(jì)劃執(zhí)行情況35 分、項(xiàng)目產(chǎn)出情況40 分、課題產(chǎn)出預(yù)期25 分[1]。

1.2 研究方法

從學(xué)術(shù)委員會(huì)成員中選取課題研究領(lǐng)域與評(píng)價(jià)項(xiàng)目相關(guān)的12 名專家， 除1 名專家缺席外，其余11 名專家在聽取課題負(fù)責(zé)人的總結(jié)報(bào)告之后，應(yīng)用中日友好醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系`，根據(jù)答辯情況，分別對(duì)2010 年中日友好醫(yī)院12 個(gè)院級(jí)科研課題重點(diǎn)項(xiàng)目結(jié)題績效進(jìn)行評(píng)價(jià)。

通過可信度評(píng)價(jià)指標(biāo)獲取數(shù)據(jù)的可靠程度[2]，指標(biāo)的可信度反映指標(biāo)取得所需數(shù)據(jù)的難易程度，表現(xiàn)為不同專家評(píng)價(jià)同一指標(biāo)的一致性程度。一致性程度較大， 專家可以依據(jù)指標(biāo)標(biāo)準(zhǔn)較統(tǒng)一地做出評(píng)價(jià)，評(píng)價(jià)數(shù)據(jù)是可信的。 相反，一致性程度較小，可認(rèn)為專家對(duì)指標(biāo)標(biāo)準(zhǔn)的理解有分歧，指標(biāo)的評(píng)價(jià)數(shù)據(jù)不可信。 通過可區(qū)分度評(píng)價(jià)指標(biāo)區(qū)分項(xiàng)目不同水平的能力， 可區(qū)分度表現(xiàn)為評(píng)價(jià)不同項(xiàng)目時(shí)專家評(píng)分的離散程度， 離散程度越大說明指標(biāo)包含信息越多， 專家區(qū)分項(xiàng)目水平的標(biāo)準(zhǔn)越多，指標(biāo)區(qū)分不同項(xiàng)目水平的能力越強(qiáng)。

通過專家的橫向離散率評(píng)價(jià)指標(biāo)可信度的可靠程度， 橫向離散率反映某專家評(píng)分與其他專家評(píng)分的一致程度， 橫向離散率越小說明專家評(píng)分越接近專家總體評(píng)價(jià)結(jié)果。 可信度反映評(píng)價(jià)過程中專家的總體離散程度， 而無法體現(xiàn)單個(gè)專家評(píng)價(jià)結(jié)果與整體結(jié)果的一致性。 剔除橫向離散率異常的專家，可提高指標(biāo)可信度的可靠性。 同樣，指標(biāo)的可區(qū)分度無法體現(xiàn)個(gè)別專家對(duì)項(xiàng)目的區(qū)分情況， 可通過專家縱向離散率評(píng)價(jià)指標(biāo)可區(qū)分程度的可靠性， 專家的縱向離散率是專家評(píng)價(jià)不同項(xiàng)目時(shí)，評(píng)分的差異大小[3]。 剔除縱向離散率明顯區(qū)別于其他專家的縱向離散率的專家可提高指標(biāo)可區(qū)分度的可靠性。 本研究為保證離散率的單位與原數(shù)據(jù)單位一致，數(shù)據(jù)結(jié)果更具說服力，采用離散率標(biāo)準(zhǔn)差的形式衡量專家評(píng)分的波動(dòng)情況[4]。

2 結(jié)果

指標(biāo)體系的評(píng)價(jià)內(nèi)容包括計(jì)劃執(zhí)行情況、實(shí)際產(chǎn)出情況、產(chǎn)出預(yù)期情況。計(jì)劃執(zhí)行情況對(duì)課題的目標(biāo)、內(nèi)容完成情況評(píng)價(jià)，是課題管理的重要方面，引導(dǎo)課題方向，體現(xiàn)課題管理的功能。 實(shí)際產(chǎn)出情況反映在結(jié)題評(píng)價(jià)時(shí)課題已體現(xiàn)的產(chǎn)出情況，是依據(jù)具體的產(chǎn)出結(jié)果得出，其滯后性將不能使課題的成果在結(jié)題時(shí)充分體現(xiàn)。 產(chǎn)出預(yù)期評(píng)價(jià)是依據(jù)課題完成的工作， 對(duì)課題完成預(yù)期結(jié)果可能性的判斷，可能性越大，項(xiàng)目的績效情況越好，產(chǎn)出預(yù)期情況的評(píng)價(jià)提高了項(xiàng)目績效評(píng)價(jià)的完整性，有利于項(xiàng)目管理。

表1 指標(biāo)體系評(píng)價(jià)結(jié)果（分）

表2 指標(biāo)體系的三部分指標(biāo)兩兩之間的相關(guān)度

表3 專家橫向離散率、縱向離散率結(jié)果

應(yīng)用指標(biāo)體系評(píng)價(jià)12 個(gè)項(xiàng)目， 結(jié)果見表1。各項(xiàng)目績效總分經(jīng)正態(tài)性檢驗(yàn)，W=0.96，P=0.81，服從正態(tài)分布。 各項(xiàng)目90%分位數(shù)為84.06，10%分位數(shù)為64.93，按照評(píng)價(jià)10%的項(xiàng)目績效為優(yōu)，10%的項(xiàng)目績效為差的管理模式，3 號(hào)和5 號(hào)項(xiàng)目績效評(píng)價(jià)等級(jí)為優(yōu)，11 號(hào)和12 號(hào)項(xiàng)目績效評(píng)價(jià)等級(jí)為差，其他項(xiàng)目等級(jí)為中、良，符合科研過程目標(biāo)管理，一定程度上達(dá)到科研管理目的，顯示指標(biāo)體系能夠有效、 合理地評(píng)價(jià)出不同績效水平的課題。

指標(biāo)體系整體可區(qū)分度95.44，結(jié)合各課題績效評(píng)價(jià)結(jié)果，表明指標(biāo)體系指標(biāo)信息充分，能較好地區(qū)分不同績效水平課題。對(duì)指標(biāo)體系整體、計(jì)劃執(zhí)行情況和產(chǎn)出預(yù)期情況做可信度分析， 指標(biāo)體系整體可信度為60.13，計(jì)劃執(zhí)行情況、預(yù)期產(chǎn)出情況的可信度分別為276.55 和221.88。 本研究數(shù)據(jù)與參考文獻(xiàn)[2]數(shù)據(jù)均已經(jīng)過標(biāo)準(zhǔn)化，具有可比性。 文獻(xiàn)中認(rèn)為可信度在300～400 就比較可靠[2]，可信度得分越低，可信度越高，本研究均＜300，說明指標(biāo)體系及計(jì)劃執(zhí)行情況、 預(yù)期產(chǎn)出情況結(jié)果均可信，各指標(biāo)不易使專家產(chǎn)生誤解。分析指標(biāo)體系的計(jì)劃執(zhí)行情況、項(xiàng)目產(chǎn)出情況、課題產(chǎn)出預(yù)期情況間的相關(guān)度，結(jié)果見表2。 結(jié)果顯示，各相關(guān)系數(shù)均無統(tǒng)計(jì)學(xué)差異（均P＞0.05），顯示指標(biāo)間不存在相關(guān)性， 即指標(biāo)體系的三部分指標(biāo)均為獨(dú)立指標(biāo)，評(píng)價(jià)內(nèi)容不重復(fù)，可從不同角度反映課題情況，反映了指標(biāo)體系指標(biāo)設(shè)置的合理性。

專家橫向離散率會(huì)影響指標(biāo)的可信度， 專家縱向離散率會(huì)影響指標(biāo)體系可區(qū)分程度。 分析專家橫向離散率與縱向離散率， 檢驗(yàn)指標(biāo)體系可信度可區(qū)分度的可靠性。計(jì)算離散率時(shí)，認(rèn)為大多數(shù)專家的評(píng)價(jià)結(jié)果可靠[3]，各專家的評(píng)價(jià)結(jié)果與專家平均的整體評(píng)價(jià)結(jié)果趨勢(shì)一致， 說明各專家對(duì)各課題績效的優(yōu)劣認(rèn)知是一致的。

橫向離散率結(jié)果見表3， 經(jīng)正態(tài)性檢驗(yàn)W=0.95，P=0.63，服從正態(tài)分布，均值7.39，95%置信區(qū)間為（5.74，9.05），7 號(hào)、8 號(hào)、9 號(hào)專家的橫向離散率大于總體均數(shù)95%置信區(qū)間上限，顯示這三位專家評(píng)分與平均評(píng)分相差相對(duì)較大， 但三位專家評(píng)價(jià)結(jié)果的取向與總體評(píng)價(jià)一致， 說明原因是三位專家的評(píng)價(jià)尺度與專家平均的評(píng)價(jià)尺度有一定差別，但優(yōu)劣的判斷是相同的。縱向離散率結(jié)果見表3，經(jīng)正態(tài)性檢驗(yàn)W=0.93，P=0.39，服從正態(tài)分布，均值11.22，95%置信區(qū)間為（9.61，12.83），5號(hào)、8 號(hào)、10 號(hào)專家的評(píng)分大于可信區(qū)間上限，提示可能夸大課題間的差別，4 號(hào)、7 號(hào)專家的評(píng)分小于可信區(qū)間下限， 提示可能未能將課題間的差別充分體現(xiàn)。

分別對(duì)各位專家評(píng)價(jià)結(jié)果與專家的平均分進(jìn)行Pearson 相關(guān)檢驗(yàn)， 各相關(guān)系數(shù)的P值均小于0.05， 說明各專家評(píng)分與專家平均分之間均存在良好的相關(guān)性。 綜合各專家的橫向離散率、 縱向離散率及相關(guān)系數(shù)的分析顯示， 盡管評(píng)審專家在使用指標(biāo)體系時(shí)存在個(gè)體差異， 但其屬于合理的系統(tǒng)誤差和隨機(jī)誤差， 沒有導(dǎo)致評(píng)審結(jié)果的取向不同，指標(biāo)體系有較好的可信度可區(qū)分度。

3 討論

中日友好醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系用于評(píng)價(jià)院級(jí)課題結(jié)題績效合理可行，且可以此評(píng)價(jià)加強(qiáng)結(jié)題績效管理。 指標(biāo)體系的可信度、可區(qū)分度結(jié)果較好，說明運(yùn)用該指標(biāo)體系可全面有效地評(píng)價(jià)課題結(jié)題績效， 能夠?qū)崿F(xiàn)對(duì)課題結(jié)題的績效評(píng)價(jià)和管理。

與醫(yī)院戰(zhàn)略實(shí)施相脫節(jié)是很多績效評(píng)價(jià)方法存在的問題，課題結(jié)題績效評(píng)價(jià)，以往大多局限于評(píng)價(jià)課題的單純產(chǎn)出， 但課題產(chǎn)出的滯后性導(dǎo)致結(jié)題時(shí)產(chǎn)出并不全面完整， 且評(píng)價(jià)忽略了課題計(jì)劃的執(zhí)行情況，以及課題的期望產(chǎn)出評(píng)價(jià)。評(píng)價(jià)指標(biāo)體系計(jì)劃執(zhí)行情況既可反映課題計(jì)劃的依從性，又可以引導(dǎo)課題按計(jì)劃方向進(jìn)行；評(píng)價(jià)預(yù)期產(chǎn)出可較好的評(píng)價(jià)課題目標(biāo)完成情況， 體現(xiàn)結(jié)題績效評(píng)價(jià)的合理性和公平性， 能夠?qū)φn題產(chǎn)出的滯后性進(jìn)行一定的提前預(yù)評(píng)， 相對(duì)完善地評(píng)價(jià)課題結(jié)題績效。 中日友好醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系評(píng)價(jià)計(jì)劃執(zhí)行情況、實(shí)際產(chǎn)出情況、產(chǎn)出預(yù)期情況，能夠較好的實(shí)現(xiàn)科研管理功能，結(jié)果更加全面合理。 通過從各個(gè)角度評(píng)估指標(biāo)體系的實(shí)際應(yīng)用情況， 顯示指標(biāo)體系的實(shí)際應(yīng)用效果令人滿意。

根據(jù)赫伯特·西蒙的有限理性理論，“‘管理人’的知識(shí)、信息、經(jīng)驗(yàn)和能力都是有限的，他不可能也不企望達(dá)到絕對(duì)的最優(yōu)解， 而只以找到滿意解為滿足。 ”該指標(biāo)體系旨在成為一個(gè)初步的，現(xiàn)階段合理可行的評(píng)估模型。根據(jù)研究結(jié)果，該指標(biāo)體系的應(yīng)用結(jié)果是令人滿意的， 在實(shí)際應(yīng)用過程中是合理可行的，隨著未來的實(shí)踐應(yīng)用，還將得到進(jìn)一步的完善和改進(jìn)。

[1] 王媛媛，孫瑞華，樊凡，等.醫(yī)院自主科研課題結(jié)題績效評(píng)估指標(biāo)體系的建立與研究[J].中華醫(yī)學(xué)科研管理雜志，2013，26（5）：303-308.

[2] 劉魯寧. 科技項(xiàng)目同行評(píng)議體系反評(píng)估模型分析與設(shè)計(jì)[D].哈爾濱工業(yè)大學(xué)，2007.

[3] 張立軍，羅珍，曹瑋，等.科技成果獎(jiǎng)勵(lì)評(píng)價(jià)中對(duì)專家的反評(píng)估分析[J].統(tǒng)計(jì)與信息論壇，2008，23（10）：14-17，51.

[4] 樊凡，孫瑞華，楊存霞，等.醫(yī)院自主科研課題結(jié)題質(zhì)量評(píng)估研究[J].中華醫(yī)院管理雜志，2013，29（10）：795-798.