我國衛生政策研究機構學術評價指標體系的構建

唐 翔，牛玉宏，顧青青，丁漢升，金春林

(上海市衛生和健康發展研究中心/上海市醫學科學技術情報研究所，上海 200031)

衛生政策研究作為一門新興、交叉學科[1]，研究內容十分廣泛，研究方法快速發展，現實需求日益凸顯。我國的衛生政策研究，基礎相對薄弱，研究水平仍需提高，衛生政策科研管理仍需加強。采用適當的指標對衛生政策研究機構進行學術評價[2]，便于研究機構及管理部門了解自身及同行在本領域的科研水平和學術地位，可以為科研管理部門提供決策依據[3]。目前國內針對醫院及大學已有較多評價體系，而針對衛生政策研究機構的評價體系還未見報道。本研究以我國衛生政策研究機構為研究對象，建立一套評價指標體系。

1 研究對象和方法

1.1 研究對象

1.1.1 衛生政策研究機構

衛生政策研究機構的主要職能包括：提供政策建議，是政府和社會的政策咨詢機構；通過政策的學術研究，傳播學術思想和觀點，是提高認識和傳播的機構；提供政策結果信息，是客觀評價政策的評估機構。此外，衛生政策研究機構還向政府輸送官員和專家，是重要的人才交流、儲備機構。

納入本研究的我國衛生政策研究機構主要類型[4]包括以下三類：①隸屬于政府部門的行政性政策研究組織，如國家衛計委衛生發展研究中心、國家衛計委統計信息中心等，這些部門和機構主要研究宏觀衛生政策和體制問題，主要承擔政府咨詢任務；②事業性的研究所或研究中心，如國家衛生計生委衛生經濟研究所、中國醫學科學院衛生政策與管理研究中心；③高校下設的相應系、所、室等學術性政策研究組織，如北京大學公共衛生學院、山東大學下設的衛生管理與政策研究中心、復旦大學公共衛生學院等。

1.2 研究方法

1.2.1 文獻綜述法

以“學術評價or機構評價”為關鍵詞在CNKI、萬方、維普、CBM、Web of science、Pubmed等文獻數據庫搜索相關文獻，進行篩選并閱讀。收集整理出國內外研究機構對機構進行學術評價時常用的指標，結合專家咨詢，初步構建指標框架。

1.2.2 專家咨詢法

選擇管理學、衛生政策研究、圖書情報學、計量評價學等15名專家，結合文獻綜述提出的指標，通過首輪專家咨詢建立初步的評價指標框架，進一步經過兩輪咨詢修正指標，并賦予各指標相應的權重，形成科學合理的評價指標體系。

1.2.3 計量分析法

以數據庫檢索的數據為原始數據，所有原始數據在本指標內按照百分制進行標化處理，總分值為各級指標的加權求和。

1.2.4 層次分析法

將決策問題按總目標、各層子目標、評價準則直至具體的備投方案的順序分解為不同的層次結構，然后用求解判斷矩陣特征向量的辦法，求得每一層次的各元素對上一層次某元素的優先權重，最后用加權和的方法遞階歸并各備擇方案對總目標的最終權重，此最終權重最大者即為最優方案，從而確立衛生政策研究機構學術評價指標體系的權重分配方案。

1.2.5 統計分析法

指標體系信度檢驗采用克朗巴赫系數，效度檢驗采用基于結構方程模型的驗證性因子分析，運用EQS6.1 for Windows軟件處理。

1.3 數據來源

通過Sino-Med中的中國生物醫學文獻數據庫，選擇學科分類R19保健組織與事業(衛生事業管理)，限定發文時間為2012年1月1日—2016年12月31日，共檢索到文章62萬余篇，下載所有題錄。通過發文單位進行篩選，排除醫院、衛計委、疾控中心、臨床醫學院等非衛生政策研究機構的文章，補充醫院管理研究所等，剩余有效文章20萬余篇。

于Web Of Science-Social Sciences Citation Index(SSCI)數據庫中，以“China”為關鍵詞，限定年份為2012年1月1日-2016年12月31日，進行地址檢索，搜尋所有國內機構發表的SSCI文章，將文章按研究方向分類，選擇“public environmental occupational health”“social science other topics”“health cares sciences services ”等12個研究方向的文章，再將剩余文章按發文機構分類，選擇符合要求的機構，下載相關一級機構的所有文章題錄。選擇第一或通訊作者為各機構的有效文章。

通過各國家級獎項、相關學術學會、核心期刊等的官網，下載獲獎名單、學會委員名單、核心期刊編委名單等信息。通過CNKI(中國知網)報紙索引，檢索各機構的被曝光數等數據。

2 結果

2.1 評價指標體系的建立

通過文獻綜述法和首輪專家咨詢，收集整理國內外研究機構進行學術評價時的常用指標，發現多以學術產出、影響力為評價的主要指標[5]，故初步確立以學術產出、學術影響力為一級指標，論文產出、論文質量[6]、獲得獎項、國內學術影響力、國外學術影響力、政府影響力、社會影響力為二級指標(政府影響力和社會影響力分別以政府政策文件轉化與網絡熱度代表)，附加13個三級指標、4個四級指標的指標框架。

經兩輪專家咨詢，對相似指標進行合并，對難以獲得數據及不具代表性的指標進行替換，得出了以學術產出、影響力為一級指標，輔以Sino-Med論文、SCI論文、社會影響力[7]、國內學術影響力、國外學術影響力5個二級指標，Sino-Med收錄論文數、SCI收錄論文數、SCI論文質量等8個三級指標、8個四級指標、4個五級指標的指標框架。

同時收集有關影響力及競爭力指標體系的研究文獻，掌握相關指標的權重及其確定思路，運用層次分析法[8]分析相關指標權重的量化關系，結合研究主題，經專家咨詢，估算各級指標的權重。對于無參考依據的指標，其權重取平均值。最后，得出初步的評價指標體系。

2.2 指標體系的信度與效度檢驗

2.2.1 指標體系的效度檢驗

為了對該指標體系進行信度和效度檢驗，對160家衛生政策研究機構的數據進行了收集與標化。基于上述權重及原始標化評分數據，計算一級和二級指標評分值。基于二級指標評分評分值以及一級、二級指標間的結構關系，應用EQS 6.1進行驗證性因子分析。模型擬合結果表明多元正態系數為146.16，數據呈非多元正態；選用廣義最小二乘模型穩健方法擬合的結果開展分析，反映擬合優度的參數卡方檢驗表明P值為0.02611>0.001(樣本參≤200)，擬合較好，RMSEAP值為0.105>0.10，擬合較差，一級、二級指標間的結構效度有待改進。

基于各類二級指標評分值的方差表現，以及既定指標間的量化關系，調整部分指標的權重，并再次進行效度檢驗。模型擬合結果表明多元正態系數為94.26，數據呈非多元正態；采用基于最小二乘法的穩健模型擬合的擬合參數分析，卡方檢驗P=1.000>0.001，RMSEA檢驗P=0.000<0.101，所有反映擬合優度的指標均表明，一級、二級指標間的結構效度好。

2.2.2 指標體系的信度檢驗

基于調整后的權重，利用對我國衛生政策研究機構的評價結果，進行信度檢驗。一般認為信度系數達到0.7～0.8時表示量表具有相當的信度，達0.8～0.9時說明量表信度非常好[9]。EQS6.1開展的信度分析結果表明，二級指標具有較好或足夠的信度，見表1。

表1 指標體系的信度檢驗

在該權重下，指標體系的信度、效度檢驗結果理想，故最終得出了以學術產出、影響力為一級指標；Sino-Med論文、SCI論文、國內學術影響力、國外學術影響力和社會影響力為二級指標；輔以8個三級指標、8個四級指標和4個五級指標的綜合指標體系，見表2。

表2 我國衛生政策研究機構學術評價指標體系

圖1中F1和F2分別對應的是影響力和學術產出，V1、V2和V3對應的是社會影響力、國內學術影響力和國外學術影響力，V4和V5分別對應Sino-Med論文和SCI論文。

2.3 衛生政策研究機構學術評價

為檢驗此套指標體系的可行性，根據以上指標體系對160家衛生政策研究機構進行了學術評價。各指標對應數據均可通過官方途徑獲取，說明信息的采集是可行的。對各機構數據進行標化處理并計算，得出各機構的綜合得分，最高分為北京大學公共衛生學院87.32295596分，復旦大學公共衛生學院、華中科技大學同濟醫學院醫藥衛生管理學院分列第二、第三位。進入排行前50的，除國家衛計委統計信息中心、國家衛計委衛生發展研究中心、上海市衛生和健康發展研究中心外，均為高校相關研究機構或二級學院。前十位排名見表3。

圖1影響力模型圖

表3 衛生政策研究機構學術排名

3 討論

3.1 指標體系能科學的評價衛生政策研究機構的學術能力

衛生政策研究是一門新興、交叉學科，目前我國衛生政策研究水平與國際水平仍有差距。同時，各衛生政策研究機構及管理部門對自身在國內及國際的定位不十分明確。該指標體系的建立對各衛生政策研究機構找準自身定位，了解自身水平，發現自身優劣，促進自身的進步與發展具有一定的幫助。以期為推動我國衛生政策研究水平的發展起到一定的推動作用。

3.1.1 研究方法科學可靠

本研究通過文獻綜述法、專家咨詢法建立了評價指標體系，運用計量分析法、層次分析法等相關統計學方法確定了相應的權重并進行了實證研究和信效度檢驗。指標體系建立過程中使用的方法均科學、可靠、簡便、實用。

3.1.2 指標體系全面，指標數據準確易收集

本研究將我國衛生政策研究機構作為整體的研究對象，建立起一套適合評價的指標體系。該指標體系排除了可能對結果造成人為干擾的指標，綜合考慮了學術成果和影響力兩方面因素，信息采集指標的內容覆蓋了2個一級指標、5個二級指標、8個三級指標、8個四級指標和4個五級指標，能全面反映衛生政策研究機構的學術能力。相關指標數據均可從官方渠道獲取，統計計算過程嚴謹，計算結果真實可靠，評價結果準確。

3.2 本研究的不足

由于衛生政策研究具有一定特殊性，其研究結果對社會的影響很難用客觀數據反映，目前僅以報刊雜志曝光率代表，其對政府政策的制定的影響力，一部分通過研究成果的政策轉化來反映。一部分通過政府聘請的咨詢專家反映，但研究成果政策轉化的相關數據獲取難度較大，在本次調查中僅以國家級政府專家委員會擔任職務為指標，部分指標代表性較弱。在后續的研究中，需要進一步發掘更具代表性的指標并開拓數據獲取渠道，進一步優化、完善指標體系。