首都醫(yī)學(xué)發(fā)展科研基金立項(xiàng)評(píng)估指標(biāo)體系的研究

■ 蘇 亞 關(guān)麗征 孫瑞華 王亞?wèn)| 齊松仁 郭 蕊 袁逸文 高新華

1 引言

北京市衛(wèi)生局設(shè)立的“首都醫(yī)學(xué)發(fā)展科學(xué)研究基金”（簡(jiǎn)稱首發(fā)基金）是北京市衛(wèi)生系統(tǒng)內(nèi)最重要的科研資金來(lái)源，也是十二五期間“首都衛(wèi)生行業(yè)發(fā)展科研專(zhuān)項(xiàng)”的前身和基礎(chǔ)，此基金資助范圍廣，額度大，每年中標(biāo)課題在100項(xiàng)以上。時(shí)至今日，它的宗旨仍然是指導(dǎo)各個(gè)醫(yī)院科研發(fā)展和管理的重要方向標(biāo)。為了進(jìn)一步加強(qiáng)目前“首都衛(wèi)生行業(yè)發(fā)展科研專(zhuān)項(xiàng)”的科學(xué)管理，指導(dǎo)科研項(xiàng)目的立項(xiàng)，經(jīng)過(guò)“十一五”期間的研究和總結(jié)，建立了“首都醫(yī)學(xué)發(fā)展科研基金”立項(xiàng)評(píng)估的指標(biāo)體系。

首發(fā)基金的資助宗旨是注重實(shí)用性，以首都醫(yī)療衛(wèi)生效益為先導(dǎo)。首發(fā)基金的對(duì)象來(lái)源于首都的不同級(jí)別醫(yī)院，科研水平參差不齊，為了促進(jìn)首都臨床醫(yī)學(xué)研究的整體發(fā)展，首發(fā)基金特別強(qiáng)調(diào)的是課題研究結(jié)果應(yīng)用的可推廣性及解決實(shí)際問(wèn)題的有效性。首發(fā)基金成立以來(lái)，對(duì)項(xiàng)目的評(píng)估都采用的是同行評(píng)議法，雖然其具有權(quán)威性強(qiáng)，評(píng)估周期短[1]等優(yōu)點(diǎn)，但同時(shí)同行評(píng)議法又由于個(gè)人利益或?qū)＜抑R(shí)結(jié)構(gòu)等原因，在評(píng)估客觀性、支持創(chuàng)新性以及對(duì)綜合學(xué)科評(píng)估上都有一定的局限性[2]，而且專(zhuān)家評(píng)分表中的指標(biāo)過(guò)于簡(jiǎn)潔，缺少針對(duì)具體績(jī)效的細(xì)分指標(biāo)，指標(biāo)區(qū)分度不高，從而使項(xiàng)目評(píng)估工作量大，且專(zhuān)家主觀性較大，影響到評(píng)估的可比性和可信度。因此，一直以來(lái)，在基金立項(xiàng)評(píng)估過(guò)程中，不能很好地平衡各個(gè)專(zhuān)家的意見(jiàn)，沒(méi)有統(tǒng)一的、公認(rèn)的評(píng)估標(biāo)準(zhǔn)一直是基金管理的難點(diǎn)。

本研究總結(jié)了十一五期間首發(fā)基金各個(gè)階段、十幾名立項(xiàng)評(píng)估專(zhuān)家的意見(jiàn)，把指標(biāo)體系進(jìn)行了初步凝練，繼而采用改良特爾菲法建立了首發(fā)基金項(xiàng)目立項(xiàng)、中期、結(jié)題評(píng)價(jià)指標(biāo)體系。此套科研管理指標(biāo)體系具有科學(xué)、有效、實(shí)際可行的特點(diǎn)，它是北京市衛(wèi)生系統(tǒng)多年來(lái)科研基金管理的創(chuàng)新，也是科學(xué)研究與實(shí)際管理工作結(jié)合的重要結(jié)晶。至今，這套指標(biāo)體系仍然應(yīng)用在“首都衛(wèi)生行業(yè)發(fā)展科研專(zhuān)項(xiàng)”評(píng)估中，不斷促進(jìn)衛(wèi)生系統(tǒng)基金管理的科學(xué)化，為實(shí)現(xiàn)創(chuàng)新的基金管理模式發(fā)揮作用。由于目前一直未有文獻(xiàn)對(duì)評(píng)估指標(biāo)的產(chǎn)生過(guò)程做系統(tǒng)的論述，因此本次論文先從立項(xiàng)評(píng)估指標(biāo)體系的建立著手，予以詳細(xì)說(shuō)明。

2 研究方法

2.1 文獻(xiàn)研究法

利用前期首發(fā)基金專(zhuān)家評(píng)估總結(jié)材料和相關(guān)文獻(xiàn)建立立項(xiàng)評(píng)估指標(biāo)體系的初步框架。針對(duì)首都醫(yī)學(xué)發(fā)展科研基金的實(shí)際情況和特點(diǎn)，通過(guò)查詢國(guó)內(nèi)外評(píng)估指標(biāo)體系的相關(guān)文獻(xiàn)，參照建立評(píng)估指標(biāo)體系遵循的原則，建立了首發(fā)基金項(xiàng)目立項(xiàng)評(píng)估指標(biāo)體系的初步框架。

2.2 訪談法、專(zhuān)家會(huì)議法

采取專(zhuān)家個(gè)人深入訪談法，廣泛征求相關(guān)領(lǐng)域的專(zhuān)家意見(jiàn)，進(jìn)一步完善指標(biāo)體系框架，篩選評(píng)估指標(biāo)，建立初步的評(píng)估指標(biāo)體系。根據(jù)利益相關(guān)者分析，對(duì)首發(fā)基金的利益相關(guān)者進(jìn)行個(gè)人深入訪談和專(zhuān)題小組訪談，以廣泛爭(zhēng)求評(píng)估的目標(biāo)、核心及主要指標(biāo)雛形，并在指標(biāo)最終建立后進(jìn)行效度檢驗(yàn)。包括3類(lèi)人員的訪談：①管理決策者和專(zhuān)家，包括衛(wèi)生局科教處管理人員、設(shè)立基金項(xiàng)目的專(zhuān)家組成員，他們從基金的建立就一直參與其發(fā)展，而且也是將來(lái)評(píng)價(jià)指標(biāo)體系的使用者，他們的意見(jiàn)最具指導(dǎo)意義；②北京市三級(jí)、二級(jí)、一級(jí)醫(yī)院科研管理人員，包括各級(jí)醫(yī)院科教處處長(zhǎng)或主管科研的院長(zhǎng)，他們對(duì)立項(xiàng)的意見(jiàn)與看法,對(duì)實(shí)際科研項(xiàng)目的執(zhí)行與管理將有很大的指導(dǎo)意義；③重點(diǎn)項(xiàng)目和聯(lián)合攻關(guān)項(xiàng)目的項(xiàng)目負(fù)責(zé)人，從被評(píng)審人的角度來(lái)提出適用性較強(qiáng)的指標(biāo)，提高指標(biāo)的認(rèn)同度。

2.3 特爾菲法

特爾菲法是一種向?qū)＜疫M(jìn)行函詢的調(diào)查法，它由組織者就擬定的問(wèn)題設(shè)計(jì)調(diào)查表，通過(guò)函件分別向選定的專(zhuān)家組成員征詢調(diào)查，按照規(guī)定程序，專(zhuān)家組成員通過(guò)組織者的反饋材料匿名地交流意見(jiàn)，通過(guò)幾輪咨詢和反饋，專(zhuān)家們的意見(jiàn)逐漸集中，最后獲得具有統(tǒng)計(jì)意義的專(zhuān)家集體判斷結(jié)果。本研究采用特爾菲法，對(duì)選取的25名北京市相關(guān)專(zhuān)家進(jìn)行兩輪的問(wèn)卷調(diào)查，其中科研管理專(zhuān)家6名、首發(fā)基金管理專(zhuān)家5名、首發(fā)基金項(xiàng)目中標(biāo)專(zhuān)家8名、其他基金項(xiàng)目中標(biāo)專(zhuān)家6名。咨詢中考慮專(zhuān)家的權(quán)威程度，校正咨詢的專(zhuān)家信息。函詢問(wèn)卷設(shè)計(jì)完畢后通過(guò)信函或Email方式向調(diào)查對(duì)象發(fā)送調(diào)查邀請(qǐng)郵件，征詢專(zhuān)家對(duì)指標(biāo)體系構(gòu)成的意見(jiàn)并對(duì)指標(biāo)的相對(duì)重要性給出比例分?jǐn)?shù)，以確定各指標(biāo)權(quán)重。為了保證調(diào)查問(wèn)卷的回收率，對(duì)于因其它原因未回復(fù)調(diào)查問(wèn)卷的專(zhuān)家，必要時(shí)我們及時(shí)予以電話提醒。

2.4 加權(quán)平均法

本研究采用加權(quán)平均法計(jì)算指標(biāo)權(quán)重，將各專(zhuān)家對(duì)每一指標(biāo)的重要性評(píng)分乘以各專(zhuān)家的權(quán)威系數(shù)，得到加權(quán)分?jǐn)?shù)，再計(jì)算各指標(biāo)的加權(quán)平均數(shù)。具體計(jì)算公式參考曾光[3]等人的相關(guān)文獻(xiàn)。對(duì)加權(quán)平均數(shù)歸一化處理后，得到各層指標(biāo)的權(quán)重，最后用乘積法計(jì)算組合權(quán)重。

3 特爾菲法咨詢結(jié)果

3.1 專(zhuān)家情況

3.1.1 專(zhuān)家的積極系數(shù)。 本次調(diào)查第一輪共發(fā)出咨詢表25份，回收22份，回收率為88%。第二輪共發(fā)出咨詢表19份，回收19份，回收率為100%，可見(jiàn)專(zhuān)家的積極系數(shù)很高。

表1 專(zhuān)家一般情況表（n, 單位：人數(shù)）

表2 量值評(píng)分表[3]

表3 首發(fā)基金立項(xiàng)階段第一輪函詢指標(biāo)體系統(tǒng)計(jì)結(jié)果

3.1.2 專(zhuān)家基本情況。 專(zhuān)家基本情況見(jiàn)表1。本次參與首發(fā)課題立項(xiàng)評(píng)估咨詢的專(zhuān)家共19人，性別比例合適。專(zhuān)家職稱副高以上占94.74%，所有專(zhuān)家從事醫(yī)學(xué)科研管理工作年限均在5年以上。

3.1.3 專(zhuān)家的權(quán)威程度。 咨詢專(zhuān)家權(quán)威程度情況，見(jiàn)表2。由表2計(jì)算各位專(zhuān)家的平均熟悉程度為0.753，判斷系數(shù)為0.821，最終兩者平均后計(jì)算得到的權(quán)威程度為0.787。一般認(rèn)為專(zhuān)家權(quán)威程度大于或等于0.70即可以接受[4]，本研究專(zhuān)家權(quán)威程度較高。

3.2 第一輪函詢結(jié)果

3.2.1 指標(biāo)算術(shù)均數(shù)、滿分頻率、變異系數(shù)， 見(jiàn)表3。

3.2.2 專(zhuān)家協(xié)調(diào)程度， 見(jiàn)表4。

3.3 第二輪函詢結(jié)果

3.3.1 指標(biāo)算術(shù)均數(shù)、滿分頻率、變異系數(shù) 見(jiàn)表5。

3.3.2 專(zhuān)家協(xié)調(diào)程度， 見(jiàn)表6。

3.4 指標(biāo)權(quán)重

根據(jù)計(jì)算結(jié)果，得出首發(fā)基金項(xiàng)目立項(xiàng)評(píng)估指標(biāo)體系，結(jié)果見(jiàn)表7。

表4 第一輪函詢專(zhuān)家協(xié)調(diào)程度

表5 首發(fā)基金立項(xiàng)階段第二輪函詢指標(biāo)體系統(tǒng)計(jì)結(jié)果

表6 第二輪函詢專(zhuān)家協(xié)調(diào)程度

4 討論

4.1 第一輪函詢完善了指標(biāo)體系

由第一輪專(zhuān)家評(píng)分結(jié)果可以看出，所有指標(biāo)平均分都在6分以上，但變異系數(shù)在0.3以上的指標(biāo)有10個(gè)，說(shuō)明總體上專(zhuān)家對(duì)這些指標(biāo)的重要性是認(rèn)可的，但在某些指標(biāo)上部分專(zhuān)家的意見(jiàn)存在分歧，由第一輪專(zhuān)家協(xié)調(diào)系數(shù)可以看出，二級(jí)指標(biāo)協(xié)調(diào)系數(shù)較低，有必要進(jìn)行下一輪專(zhuān)家咨詢。經(jīng)評(píng)價(jià)小組討論分析，對(duì)第一輪指標(biāo)進(jìn)行如下修改：由于指標(biāo)“要解決的問(wèn)題”與指標(biāo)“擬解決關(guān)鍵問(wèn)題”重復(fù)，因此刪去前者；醫(yī)學(xué)倫理問(wèn)題是研究的基礎(chǔ)前提，不符合醫(yī)學(xué)倫理原則研究就沒(méi)有意義，因此刪去“醫(yī)學(xué)倫理”，在整個(gè)表后附問(wèn)題“是否符合醫(yī)學(xué)倫理原則”；將“成果或產(chǎn)出的社會(huì)經(jīng)濟(jì)效益”拆分為兩個(gè)指標(biāo)，即“預(yù)期產(chǎn)出社會(huì)效益”、“預(yù)期產(chǎn)出經(jīng)濟(jì)效益”；另外，對(duì)部分指標(biāo)的名稱進(jìn)行了修改。

4.2 第二輪函詢基本確定了指標(biāo)體系

將修改后的立項(xiàng)評(píng)估指標(biāo)發(fā)給專(zhuān)家進(jìn)行第二輪重要性評(píng)分，由結(jié)果可以看出變異系數(shù)在0.3以上的指標(biāo)減少到了5個(gè)，包括2個(gè)一級(jí)指標(biāo)和3個(gè)二級(jí)指標(biāo)。一般來(lái)說(shuō)，科研項(xiàng)目包括以下不可缺少的要素：項(xiàng)目的立項(xiàng)依據(jù)、項(xiàng)目研究方案與方法、完成項(xiàng)目的條件和能力，而一級(jí)指標(biāo)“研究進(jìn)度、考核指標(biāo)、經(jīng)費(fèi)預(yù)算”、“目標(biāo)與產(chǎn)出預(yù)期”正是科研項(xiàng)目要素 “項(xiàng)目的研究計(jì)劃與經(jīng)費(fèi)預(yù)算”和“研究成果的應(yīng)用前景”的運(yùn)用，因此應(yīng)當(dāng)予以保留。根據(jù)首都醫(yī)學(xué)發(fā)展科研基金管理辦法所述，首發(fā)基金的宗旨之一是建立多學(xué)科、多中心的合作研究網(wǎng)絡(luò)及有效地的團(tuán)隊(duì)合作機(jī)制。同時(shí)，在首發(fā)基金資助的課題中，聯(lián)合攻關(guān)課題的資助力度最大，達(dá)到了30～70萬(wàn)，占總資助比例的50%，可見(jiàn)首發(fā)基金對(duì)科研項(xiàng)目中的單位合作是非常重視的，希望通過(guò)多家醫(yī)療衛(wèi)生機(jī)構(gòu)，特別是大型醫(yī)療機(jī)構(gòu)與社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)、醫(yī)療機(jī)構(gòu)與預(yù)防保健機(jī)構(gòu)之間的合作，以及其他多種形式的合作，開(kāi)展多學(xué)科、多中心的科學(xué)研究，帶動(dòng)北京地區(qū)醫(yī)學(xué)衛(wèi)生科研能力和科研水平的整體提高，促進(jìn)預(yù)防、治療、保健和康復(fù)等醫(yī)學(xué)衛(wèi)生的全面發(fā)展，因此指標(biāo)“單位合作”須要保留。指標(biāo)“預(yù)期產(chǎn)出社會(huì)效益”、“預(yù)期產(chǎn)出經(jīng)濟(jì)效益”是由第一輪指標(biāo)“成果或產(chǎn)出的社會(huì)經(jīng)濟(jì)效益”拆分而成，由第一輪結(jié)果可以看出，專(zhuān)家對(duì)指標(biāo)“成果或產(chǎn)出的社會(huì)經(jīng)濟(jì)效益”普遍很重視，意見(jiàn)分歧較小，但在第二輪專(zhuān)家對(duì)拆分后指標(biāo)意見(jiàn)分歧很大，尤其是“預(yù)期產(chǎn)出經(jīng)濟(jì)效益”，重要性得分僅為4.88，變異系數(shù)達(dá)到了0.73，專(zhuān)家更多地是對(duì)指標(biāo)名稱的不認(rèn)同，首發(fā)基金注重研究項(xiàng)目的創(chuàng)新性、科學(xué)性和實(shí)用性，“預(yù)期產(chǎn)出經(jīng)濟(jì)效益”正是實(shí)用性的一個(gè)方面，因此經(jīng)討論決定保留指標(biāo)“預(yù)期產(chǎn)出社會(huì)效益”、“預(yù)期產(chǎn)出經(jīng)濟(jì)效益”，但指標(biāo)名稱仍需進(jìn)一步討論。第二輪專(zhuān)家協(xié)調(diào)系數(shù)較第一輪進(jìn)一步收斂，可認(rèn)為結(jié)果令人滿意，不需要進(jìn)行下一輪咨詢。

4.3 指標(biāo)體系權(quán)重得到了確立

目前確定指標(biāo)體系權(quán)重的方法主要有層次分析法、因子分析法、綜合分析法等，這些權(quán)重計(jì)算方法實(shí)現(xiàn)了定量與定性相結(jié)合，精度高，比完全憑個(gè)人經(jīng)驗(yàn)和知識(shí)來(lái)主觀確定分?jǐn)?shù)分配比例要更科學(xué)、合理，但計(jì)算較為復(fù)雜，專(zhuān)業(yè)性要求和操作成本較高。本文采用加權(quán)平均法計(jì)算權(quán)重，與一般的歸一法相比，加權(quán)平均法在同樣計(jì)算簡(jiǎn)潔的基礎(chǔ)上更考慮了專(zhuān)家權(quán)威性對(duì)指標(biāo)權(quán)重的影響，使得計(jì)算得到的權(quán)重更加科學(xué)、合理、客觀。

4.4 確立的立項(xiàng)評(píng)估指標(biāo)體系是目前科研管理的重要工具

立項(xiàng)評(píng)估是整個(gè)項(xiàng)目評(píng)估的首要環(huán)節(jié)，主要是對(duì)項(xiàng)目立項(xiàng)前的必要性和可行性進(jìn)行評(píng)估，從而確定是否給予資金支持，因此是整個(gè)評(píng)價(jià)階段中最重要的一環(huán)，既實(shí)現(xiàn)了項(xiàng)目擇優(yōu)選擇的原則，使有限的資金準(zhǔn)確地投入，又對(duì)實(shí)施計(jì)劃及預(yù)期效果進(jìn)行了定性定量評(píng)價(jià)，對(duì)其中存在的問(wèn)題，經(jīng)專(zhuān)家評(píng)判后提出修改意見(jiàn)，使項(xiàng)目設(shè)計(jì)方案更加完善[5]。由于基金項(xiàng)目往往具有超前性、探索性、隱含性和不可預(yù)知性，對(duì)其進(jìn)行合理的評(píng)估較之應(yīng)用研究或試驗(yàn)開(kāi)發(fā)項(xiàng)目的評(píng)估要復(fù)雜的多，因此在評(píng)估中盡量考慮了指標(biāo)確立的原則，既要體現(xiàn)基金項(xiàng)目的指導(dǎo)思想，進(jìn)行科學(xué)、公正、合理的立項(xiàng)，同時(shí)要兼顧使用者強(qiáng)調(diào)的指標(biāo)要簡(jiǎn)潔的原則。在這個(gè)思想的指導(dǎo)下，通過(guò)基金管理者和相關(guān)評(píng)審專(zhuān)家的集體智慧，運(yùn)用科學(xué)的方法，確立了首發(fā)基金立項(xiàng)評(píng)估指標(biāo)體系。

表7 立項(xiàng)評(píng)估指標(biāo)體系

本次確立的立項(xiàng)評(píng)估指標(biāo)體系的創(chuàng)新點(diǎn)在于：指標(biāo)簡(jiǎn)潔、導(dǎo)向性強(qiáng)。一方面，它與科技部基金管理指標(biāo)體系相比，把指標(biāo)體系由三級(jí)減少為二級(jí)，減少了十多項(xiàng)指標(biāo)，凝練了科研項(xiàng)目的關(guān)鍵環(huán)節(jié)，便于實(shí)際評(píng)估專(zhuān)家使用；另一方面，在指標(biāo)的產(chǎn)生過(guò)程中，緊緊圍繞基金的主旨來(lái)刪除和保留指標(biāo)，最終產(chǎn)生的指標(biāo)帶有較強(qiáng)的首都衛(wèi)生科研發(fā)展的特點(diǎn)和烙印。在此次研究中，充分利用了特爾菲法的優(yōu)勢(shì)，要求評(píng)估要考慮定量和定性，更要考慮兩者的有機(jī)結(jié)合[6]。本研究把專(zhuān)家不好定量化的意見(jiàn)用改良型特爾菲法進(jìn)行定量評(píng)估，通過(guò)科學(xué)的量化手段減少評(píng)估的主觀性、增加客觀性。因此，基于前期多年的管理經(jīng)驗(yàn)與科學(xué)研究，最終產(chǎn)生的指標(biāo)體系具有很強(qiáng)的應(yīng)用性，必然成為目前科研管理的有力工具。實(shí)踐也證實(shí)了這一點(diǎn)，目前該套指標(biāo)體系正在“首都衛(wèi)生行業(yè)發(fā)展科研專(zhuān)項(xiàng)”的評(píng)估中發(fā)揮重要的作用。

[1]蔣國(guó)華.科研評(píng)價(jià)與指標(biāo)[M].北京:紅旗出版社,2000.

[2]劉繼芬.國(guó)外科技評(píng)估機(jī)構(gòu)、方法的比較研究及對(duì)我國(guó)的科技成果管理工作的啟示[J].農(nóng)業(yè)科技管理,2001,2(1):50-53.

[3]曾光.現(xiàn)代流行病學(xué)方法與應(yīng)用[M].北京：北京醫(yī)科大學(xué)、中國(guó)協(xié)和醫(yī)科大學(xué)聯(lián)合出版社,1994.

[4]孔越,陳娟.特爾菲法在社區(qū)衛(wèi)生服務(wù)利用者滿意度指標(biāo)篩選中的應(yīng)用[J].中國(guó)初級(jí)衛(wèi)生保健,2007,21(5): 32-34.

[5]何海云. 科技項(xiàng)目立項(xiàng)評(píng)估體系建設(shè)[J].甘肅科技,2009,25(9):10-12.

[6]常晶,陳煒.R_D項(xiàng)目立項(xiàng)評(píng)估研究[J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào),2004, 26(6):703-705.