基于層次分析法的科研項目績效評價體系研究

（湖北省環境科學研究院，湖北 武漢 430072）

隨著經濟全球化進程的加快，國際間的競爭日益體現為科技實力的競爭，科技創新成為各國關注的焦點。黨的十八大以來，黨中央高度重視實施創新驅動發展戰略，習近平總書記提出：“實施創新驅動發展戰略，是加快轉變經濟發展方式、提高我國綜合國力和國際競爭力的必然要求和戰略舉措。”創新是科研活動的表現形式，各個行業領域的科研活動為行業變革提供科技支撐。科研項目成果的累積最終形成了創新成果產出，而科研項目績效評價則是保障科研項目成果產出的重要手段。2018 年，國務院印發的《國務院關于優化科研管理提升科研績效若干措施的通知》（國發〔2018〕25 號）便提出要強化科研項目績效評價，要建立以創新質量和貢獻為導向的績效評價體系；2020 年2 月17 日，科技部印發《關于破除科技評價中“唯論文”不良導向的若干措施（試行）》，提出要按照分類評價、注重實效的原則，改進科技評價體系。然而，目前對于科研項目績效評價仍以同行評議為主，主要是基于項目任務書內容的孤立評價，缺乏一套行之有效的指標體系作為指導，這使得科研項目績效評價活動不可避免地在一定程度上受主觀因素的影響。因此，如何構建出一套具有可操作性的指標體系是當前科研項目績效評價迫切需要解決的問題。本文在對相關文獻進行回顧的基礎上，分析科研項目績效評價的原則，運用德爾菲法與層次分析法探索構建針對不同類型科研項目的績效評價指標體系，以期為科研項目績效評價實踐提供啟示。

一、科研項目績效評價文獻回顧

科研項目，是指具有科學研究能力的單位或個人在一定的時間、預算范圍內開展的，具有明確目標或目的的一系列科學技術研究活動。科研項目來源廣泛，包括國家各級政府的基金支撐科研項目和科技計劃項目，也包括企事業單位的科研合作開發項目以及自籌科研項目等。而科研項目績效評價則是對科研項目過程及結果是否達到預期目標或目的而進行的評價活動。

國外對于科研項目績效評價開始較早，并且由于各國管理體制與文化背景的差別，科研項目績效評價主要趨于兩種模式，一種是相對集權式評價，表現為國家層面進行的具有較高權威性的評價，以美國、英國等國家為代表；另一種是以德國為代表的相對分散式評價，主要為科研團體自行組織評價活動。美國于20 世紀20 年代便設立了開展科研活動分析與評價的專門機構，即國會服務部，并以國家立法的形式規范科研項目評價活動。20 世紀80年代，績效評價被廣泛應用于西方許多國家的高校管理中，體現為對學校辦學管理與科研管理等方面進行量化測評[1]，英國的高校科研項目評價體系便是其中的典型代表，對劃分的68 個學科門類進行公開同行評議，評價指標涵蓋科研人員信息、科研成果、科學基金數量等，該評價結果與科研經費分配直接掛鉤，具有較高的權威性和對高校的規制力度[2]。澳大利亞的澳洲杰出研究計劃確定的評價指標較為全面，主要包括科研數量、科研質量、科研應用和科研聲譽四個方面，該評價對澳大利亞科學研究的發展具有較大地推動作用。Diana Hicks（2012）[3]通過對高校科研活動進行研究，提出高校科研活動評價與科研目標相聯系，并且隨科研目標的變化而保持變動性，以充分調動科研人員的積極性，提高科研經費的使用效率。Ronald N.Kostoff（2002）[4]研究提出科研項目績效評價指標選擇必須考慮學科的影響，與學科背景脫離的評價將毫無意義。由此可見，科研項目績效評價必須是以科研實踐與科研目標為基礎而進行的動態性評價。

與國外相比，國內科研項目績效評價的研究相對起步較晚，最早可以追溯到1986 年，以國家自然科學基金委員會的成立為標志，開創了科研項目績效評價中同行評議制度的先河，此后同行評議在科研項目評價中得以廣泛應用，并一直延續至今；1991 年發表的《中國科技論文統計與分析簡報》首次以論文的發表和收錄數等量化指標來評價科研項目績效；而科研項目績效評價工作成體系運作始于1997 年，國家科技評估中心制定《科技評估規范》，為科研項目績效評價提供了規范性指導，在此基礎上科研項目績效評價工作穩步推進。學者對于科研項目的績效評價的研究主要集中于存在的問題與對策以及評價指標體系等方面。隋萌萌（2013）[5]通過對高校這一主體進行研究，提出了我國高校科研項目績效評價存在重數量輕質量、重橫向輕縱向等問題，并提出了優化高校科研項目績效評價的建議；高軍和張世偉（2015）[6]研究指出我國科研項目管理與績效評價存在脫節的問題，有效的評價約束激勵機制尚待建立；宋雯雯（2018）[7]以科研實踐工作為基礎，總結出農業科研項目績效評價存在的問題，即評價目標設定不合理、評價指標體系不科學、評價結果應用不充分等。針對現存的問題，學者分別采用同行評議[8]、BP 神經網絡[9]、傾向得分分層[10]、模糊綜合評判[11]等方法探索完善科研項目績效評價的對策。還有部分學者將研究重點放在績效評價指標體系構建上，例如田時中等（2015）[12]從財政支持的角度，對績效評價指標體系進行細化，分別構建了企業項目和單位項目指標體系；施筱勇等（2016）[13]針對科研項目的特點，構建了包括相關性、創新性、轉化與效果等6 個準則和14 個關鍵指標的績效評價指標體系；而毛太田（2013）[14]則提出科研項目績效評價必須保持差異化，根據不同項目設計不同的評價指標。

綜上所述，國內外學者對科研項目績效評價已經進行了比較豐富的研究，為本文的研究奠定了良好的基礎。但是，現有研究也存在一定的缺陷，首先，已有文獻主要著眼于科研項目實施過程的績效評價研究，而對研究成果的評價關注較少；其次，現有研究構建的評價指標體系以量化指標為主，而忽視了定性和定量的結合；再者，現有研究以科研項目整體評價為主，而較少著眼于科研項目分類評價。本文在已有研究的基礎上，為了實現對科研項目精細化管理與績效評價，基于科研項目的性質，將科研項目分為基礎研究與應用研究兩種類型，并采用德爾菲法與層次分析法構建不同類型的科研項目績效評價指標體系，試圖為科研項目績效評價工作提供啟發。

二、科研項目績效評價體系構建的原則

一套科學可行的評價指標體系是科研項目績效評價的基礎，在構建科研項目績效評價體系時，必須堅持現實性與前瞻性相結合、科學性與可操作性相結合、定量化與定性化相結合的原則。

（一）現實性與前瞻性相結合原則

現實性是指績效評價指標體系構建要充分考慮科研項目管理實踐的現實需求，也要考慮到評價指標數據的可得性以及評價活動所需的時間、資源等情況，提高評價指標體系的實用性。同時，由于科研項目一般具有多目標性、生命周期長等特性，在進行指標體系設計時要堅持前瞻性原則，以發展的思維確定具體指標，提高科研項目績效評價的全面性。

（二）科學性與可操作性相結合原則

科學性是指績效評價體系設置應能客觀、清晰、準確的反映科研項目的具體情況和過程，評價指標選取個數應適宜，并且每個指標所表達的意思應清楚明晰，保證各指標之間的獨立性，以消除其相互影響。在堅持科學性的基礎上，還要堅持指標選取的可操作性，不同類型科研項目的評價具有差異性，但績效評價的目的都是為促進科研項目有效開展、科研成果成功轉化，因此指標設置時應有針對性地選取科研項目共同適用的指標，以提高指標體系的可操作性。

（三）定量化與定性化相結合原則

定量化指標能客觀反映科研項目情況，在進行指標體系構建時通常以定量化指標為主，但是由于科研項目所具有的復雜性，定量化指標并不能完整地反映其實際情況。因此，在考慮指標設置時需要將定量化與定性化相結合，使得指標體系能綜合反映科研項目的整體情況，最大程度地保證科研項目績效評價的有效性。

三、科研項目績效評價體系的構建

由于科研項目績效評價體系是一個具有復雜性、綜合性、多層次性的綜合指標體系，因此在指標體系設置時綜合運用德爾菲法與層次分析法，構建科學有效的科研項目績效評價體系，以指導科研項目績效評價工作。

（一）問卷設計

科研項目績效評價體系的問卷主要基于文獻回顧和實地調研來進行探索性設計。文獻回顧是問卷設計的重要基礎，眾多學者對科研項目績效評價體系已經進行了豐富的研究，并且以不同的著眼點設計出應用于高校、醫院以及科研單位的指標評價體系。通過大量文獻的閱讀、梳理與總結，充分汲取前人研究的經驗，可以為本問卷的設計提供思路和指導。

實地調研是問卷設計的重要補充，通過實地調研，與科研項目管理部門和項目科研團隊進行訪談，可以更深入地了解科研項目績效評價的實際現狀與需求，對問卷進行補充和完善。高校是科研項目的主要承擔單位，因此課題組赴武漢大學、華中科技大學、中南財經政法大學、華中師范大學四所高校進行調研，通過訪談方式征詢科研人員對問卷中科研項目績效評價指標設計的意見和建議。在文獻回顧和實地調研基礎上，確定了用于專家咨詢的問卷，并為每個問題設置“合適”“不合適”“修改后合適”三個選項。

（二）專家咨詢

本文采用德爾菲法進行專家咨詢。德爾菲法也叫專家調查法，其程序是課題組以網絡通訊方式將所需要解決的問題發送給專家，專家以匿名形式獨立對所調查問題做出判斷并充分表達自己的意見，通過多輪專家調查對問卷進行反復質詢與修改，最終得到逐漸趨同的專家意見。通常參與調查的專家一般不宜超過20 名，考慮到本課題主要對科研項目進行研究，課題組最終選擇了10 名來自政府科技管理部門、高校、科研院所各領域的科研專家，以電子郵件的方式將初步設計的問卷發送給各個專家，通過三輪的反饋和修改，各位專家對評價指標取得了相對一致的意見，基本確定了科研項目績效評價指標體系，包括4 個維度、16 個指標。

表1 科研項目績效評價指標體系

四、基于層次分析法的科研項目績效評價體系指標權重系數確定

（一）層次分析法

層次分析法（Analytic Hierarchy Process，簡稱AHP）由美國運籌學家薩蒂于20 世紀70 年代初提出。該方法是一種將與決策有關的元素分解成若干層次，在此基礎上運用人的思維和經驗進行判斷的定量與定性分析相結合的方法。層次分析法具有較強的可操作性，并且加入了一致性檢驗，可以有效降低在決策中的主觀偏差的影響。由于對科研項目的績效評價無法直接進行定量計算，因此基于對科研項目的投入、產出、經濟價值及社會價值等方面的分析，通過對各指標賦值實現各評價指標的量化排序，從而確定科研項目績效評價體系各個指標的權重系數。

（二）層次結構模型

通過前期的問卷調查與專家咨詢，已經基本確定了科研項目績效評價指標體系，在此基礎上建立科研項目績效評價層次結構模型（見圖1）。

圖1 科研項目績效評價層次結構模型

（三）構建兩兩比較矩陣

由于本文建立的科研項目績效評價層次結構模型包含不同性質的多項指標，為了減少各個指標之間比較的困難性和不準確性，本文將各個指標的重要性進行兩兩比較，并對其重要性程度進行賦值，構造兩兩比較矩陣。本文使用了1-9 標度法，其中各個數值的含義如表2 所示。

表2 相對重要性標度

（四）計算指標權重

計算判斷矩陣由專家參與完成，從政府科技管理部門、高校、科研院所邀請了15 位專家，對科研項目績效評價指標體系的兩兩比較矩陣進行判斷，由于不同類型的科研項目績效評價指標各有側重，因此由專家結合自身科研經驗對基礎研究項目與應用研究項目績效評價體系的各個指標進行相對重要性賦值，運用MATLAB 軟件分別計算各指標關于上一層指標的相對權重。

在構建判斷矩陣時，判斷不完全一致是可以被允許的，但是為了保證矩陣的合理性，判斷也不能偏離一致性的程度過大，因此需要對判斷矩陣進行一致性檢驗。當CR＜0.1 時，則認為判斷矩陣具有令人滿意的一致性，否則需要對判斷矩陣進行修正。經過計算并結合專家意見對判斷矩陣進行修正，最終得到判斷矩陣一致性比例分別為0.056 0、0.049 3，檢驗結果均小于0.1，一致性檢驗通過，由此可確定科研投入、科研產出、經濟價值、社會價值四個一級指標對總目標（基礎研究項目績效、應用研究項目績效）的權重分別為0.120 1、0.553 1、0.058 3、0.268 5和0.080 9、0.212 9、0.425 9、0.280 3。同時分別對科研投入、科研產出、經濟價值、社會價值四個指標下的判斷矩陣進行一致性檢驗，一致性比例也均小于0.1，檢驗通過。在此基礎上，計算出判斷矩陣層次總排序權重，并通過了一致性檢驗，最終得到的結果（見表3、表4）。

表3 基礎研究項目績效評價指標權重

表4 應用研究項目績效評價指標權重

（五）結果分析

通過對基礎研究與應用研究科研項目績效評價指標權重進行比較分析，可以得出以下結論：

第一，基礎研究科研項目績效評價指標中，所占權重較大的是科研產出與社會價值，分別是0.553 1與0.268 5，這說明在進行基礎研究科研項目績效評價時，科研產出與社會價值層面的績效更應被關注。基礎研究主要是對基本原理與現象事實等進行的實驗性與理論性探索，其標志性成果是新發現、新觀點、新原理、新機制等，而論文、專著、專利及標準等則是其主要表現形式，通過高水平科研成果代表作的發表與交流、獲獎，獲得較高的學術聲譽和學術影響力，同時為行業科技發展奠定堅實的理論基礎，其學術價值和貢獻也為社會公眾所認可。科研投入所占權重相對較低，但在基礎研究科研項目績效評價，科研人員投入與科研經費管理仍然不可忽視，應在科學管理的同時增加科研人員投入與經費使用的自由度，將科研項目管理過程剛性與內容彈性相結合。經濟價值所占權重最低，僅為0.058 3，由于基礎研究不以特定的應用為目的，因此在對其績效進行評價時，可減少對項目成果轉化、經濟效益、市場競爭力等方面的關注。

圖2 基礎研究與應用研究科研項目績效評價指標權重比較

第二，應用研究科研項目績效評價指標中，相較于科研投入和科研產出，經濟價值與社會價值所占權重較高，分別為0.425 9、0.280 3，這說明在應用研究科研項目績效評價中，經濟價值與社會價值層面的績效對總體績效影響較大，應更注重應用研究科研項目經濟效益、市場前景、對行業科技發展的影響等方面的評價。應用研究科研項目以實際應用為目的，通過創新方法或技術設備等解決行業領域技術瓶頸或創新行業領域技術方法，以實現該行業領域可持續發展。應用研究科研項目成果轉化后可為解決實際問題提供科學依據，應用于具體行業領域中獲得一定的經濟效益與可觀的市場前景，同時在項目實施過程中培養一批技能過硬的應用型科研技術人才，為該行業科技發展與技術創新提供人才資源與儲備。科研產出層面指標所占權重為0.212 9，雖然低于基礎研究科研項目評價中科研產出所占權重，但論文、專著、專利等指標對應用研究科研項目總績效的影響仍然值得關注，論文與專著、授權專利是應用型科研成果的主要載體，而科研獲獎則是對技術成果的認可，高水平、高質量的科研產出具有重要的學術影響，可促進相關領域的科技創新，因此科研產出層面的績效也應是應用型科研項目績效評價不可或缺的內容。

第三，基礎研究與應用研究科研項目績效評價指標各有側重，基礎研究科研項目績效評價側重科研產出指標，應用研究科研項目績效評價側重經濟價值指標。但同時可以看出，科研投入與社會價值層面的指標在兩套指標權重體系中占據大致相同的比例，出現此種結果的主要原因在于基礎研究項目與應用研究項目同屬于科研項目，具有相同的管理要求與一致的科研使命。由于科研項目通常具有創新性、風險性、公益性等特性，需要專業科研團隊與充足資金的支持，并且其資金支持通常來源于財政資金，對于科研人員與科研資金科學管理是實現科研項目有效管理、保證科研活動效率的前提，因此不論是在基礎研究還是在應用研究科研項目中，科研人員與科研經費方面的指標都是績效評價的基礎性指標，科研投入層面的績效評價是整體項目績效評價的前提。同時，科研活動以推動技術創新、促進社會發展為使命，通過科研項目培養和鍛煉創新人才與研究團隊，不斷為行業科技發展注入創新力量，以科研成果推動社會進步，從而獲得社會公眾的認可和滿意，因此，社會價值層面的績效評價是基礎研究項目與應用研究項目整體績效評價的根本。

五、結語

2018 年，李克強總理在《政府工作報告》中提出，“改革科技管理制度，績效評價要加快從重過程向重結果轉變”，而本文所構建的科研項目績效評價指標體系正與這一思想相契合。本文將科研項目分為基礎研究項目與應用研究項目進行分類研究，運用德爾菲法與層次分析法構建了涵蓋科研投入、科研產出、經濟價值、社會價值4 個維度、16 個具體指標的不同類型科研項目績效評價指標體系。通過分析發現，基礎研究科研項目績效評價中科研產出層面的指標所占比重最大，經濟價值層面的指標所占比重最小；而應用研究科研項目績效評價中經濟價值層面指標所占比重最大，科研投入層面指標所占比重最小。在基礎研究科研項目與應用研究科研項目績效評價中所占權重最高的分別是科研產出、經濟價值，這兩個層次的指標多是以結果為導向的指標，注重科研成果的積累與應用。在進行科研項目績效評價時，應該針對不同科研項目進行分類評價，以提高績效評價結果的精確度與科學性，并且兼顧過程剛性與內容彈性，側重結果導向指標的評價，真正發揮科研項目績效評價的作用。

本文綜合運用德爾菲法與層次分析法，將定性研究與定量研究相結合，構建不同類型的科研項目績效評價指標體系，并對各指標權重進行研究，盡量削弱了主觀因素對指標體系構建的影響，提高科研項目績效評價的客觀性與公正性，不失為一種對科研項目管理的有益嘗試。然而，盡管以前人研究為基礎，并結合專家意見進行修正，本文所選取的指標仍可能存在不足之處，需要在實踐中不斷檢驗完善，這也是下一步研究的方向。