廣州市科技計劃項目評審指標體系構建研究

余全民，戴貴寶，張 斌，陳茂清

（1.廣州市科技項目評審中心，廣東廣州 510095；2.廣東省生產力促進中心，廣東廣州 510070）

自黨的十八大提出創新驅動發展戰略以來，創新逐漸成為熱點詞匯，黨的十九屆五中全會更是對科技創新進行專章部署，習近平總書記在兩院院士大會中國科協第十次全國代表大會首次提出“堅持把科技自立自強作為國家發展的戰略支撐”。科技創新的重要性不言而喻，全社會也十分重視科技創新工作，并不斷加大科技投入，其中財政科技投入作為提高科技創新水平的一種關鍵性因素，已為當今世界所肯定。隨著國家和地方巨大的科研經費投入，激發了廣大科技工作者的工作熱情，科技計劃項目作為科研經費投入的重要手段，其申報數量也隨之增大，科技計劃項目立項評審工作重要性不斷凸顯。立項評審工作是科技項目全流程管理中不可缺失的環節，也是遴選識別高質量科技項目的重要手段，對能否有效實現科技資源的合理高效配置起到決定性作用。科技計劃項目立項評審結果的科學性、合理性，在一定程度是取決于項目評審指標體系是否科學合理，構建科學合理的項目評審指標體系，從源頭上把握科技計劃項目立項評審質量，充分發揮科研經費使用績效，促進科技創新的長遠發展。本文以廣州市科技計劃項目為研究點，旨在構建合理、科學的評審指標體系，提高項目評審質量及水平。

1 文獻綜述

1.1 國外研究現狀

基于現有文獻發現，國外學者對評估指標體系的研究多集中于評估指標維度劃分、評估方法以及評估模型。從評估指標維度來看，Meyer 等［1］認為評估指標應包含學術成就和專利獲取情況；Dodgson等［2］則重點研究了衡量創新過程的評估指標。從評估方法來看，徐南榮等［3］從運籌學的角度對評價指標進行了研究分析；Saaty［4］則在指標體系研究中提出了層次分析法，借用層次分析法來確定相應指標權重；Banker 等［5］學者則根據相對效率評價，建立了 DEA 評估模型。上述評價方法均強調定量評價，是基于指標間的數量權重關系來研究分析的。而楚賓等［6］則強調評估活動中同行專家間定性評價的重要性。

1.2 國內研究現狀

國內學者也基于不同的角度對評價指標體系進行了相應研究，一是基于定性和定量評價的角度研究，張守華等［7］通過構建層次灰色評價模型來解決科研項目評價中存在不確定、不完全的問題。周春喜［8］也從灰色系統理論出發，將其應用于科技立項評審中，基于立項依據、創新性、研究內容和方法、研究基礎等構建了涵蓋5 個一級指標和17 個二級指標的評審指標體系。陳驥［9］則探討在立項評審中引入集值統計，從而降低專家主觀判斷、信息不精確和模糊性帶來的影響。林成剛等［10］將定量評價指標從微觀層面引入宏觀層面，通過“項目調控因子”對定量評價進行宏觀調控，對傳統的定量評價方法進行了優化。二是基于不同的專題項目角度研究，王炎坤［11］等根據項目申報書內容要素、資助目的和原則，為湖北省普通高校科研項目評審構建了一套涵蓋6 個評審維度的指標體系。孫娓娓等［12］也從高校角度出發，基于改進的BP 網絡算法，為高校科研項目構建了更加科學合理的評價模型。李媛等［13］基于醫院科研項目角度，從基本情況、科研能力、評審水平、道德修養等4 個維度構建了適用于醫院科研項目評審指標體系。孫靜等［14］重點研究了農業科技項目立項評價，從創新性角度構建了包含9個一級指標和35 個二級指標的評價指標體系。王萌等［15］基于全生命周期的軍事軟科學項目，建立了不同階段的評價指標體系。三是基于科研項目績效評價角度研究，王忠等［16］積極響應國家科研體制改革，堅持破“四唯”等要求，從創新質量和貢獻評價導向為研究點，運用投入-產出分析法、德爾菲法，分別構建了基礎研究類、技術開發類、應用示范類項目績效評價指標體系。曹沛等［17］基于分類評價原則，探討了新型科研管理績效評價體系的建立。四是基于不同評價對象角度研究，王海燕等［18］通過對我國科技評價體系存在問題分析，從分類評價、科技身份證、過程管理等方面提出有效建議和措施。吳洪［19］從科技項目經費角度出發，對福建省科技項目經費評估問題進行了分析，并構建了一套切實可行的評估指標體系。高潔［20］基于知識生產模式轉型視角，構建了包含知識轉化可行性、研發投入、中間產出、目標達成度和滿意度5 個維度的高校科技成果轉化評價指標體系。郭潔等［21］基于文獻、專家論證構建了包含4 個一級指標、15 個二級指標及評分標準的湖南醫學科技獎評審指標體系。牛桂芹等［22］借鑒學術界已有的研究成果，分類構建了符合我國新時代科技人才評價改革要求的青年科技人才評價指標體系。賀曉宇［23］基于評審專家角度出發，構建了評審專家信用評價指標體系，并運用TOPSIS 法進行排序驗證。

2 廣州市科技計劃項目評審指標理論框架設計

2.1 評審指標體系構建原則

評審指標作為評審科技項目質量的工具，應該有效可信，為了使評審結果能夠全面、客觀、準確地反映科技項目質量的實際狀況，評審指標構建一般應該遵循以下原則：

一是目的性原則。通過科技計劃項目評審可以獲得項目信息，了解項目現狀，發現問題，找出差距，以改善和提高項目質量，所以在構建過程中要堅持以科技評估目的為結果導向，滿足科技評估需求。

二是可操作性原則。評審指標在選擇上要滿足數據易獲得性、易量化、代表性等特點。

三是有效性原則。評審指標體系能夠真實客觀反映科技計劃項目質量和評審水平。

四是動態性原則。確保評審結果能夠綜合反映科技計劃項目質量的現狀和未來趨勢。

五是獨立性原則。評審指標間相互獨立，互不替代。

2.2 評審指標體系構建方法

本文在構建評審指標體系時主要是基于以下三種方法：一是理論分析法，是指通過對廣州市科技計劃項目的特點、基本構成要素、主要問題等方面進行分析和對比，綜合歸納出具有代表性的指標維度。二是專家問卷調查法，是指在指標體系的理論設計下，通過向相關專家發放問卷的形式，采集專家對指標維度的意見和建議。三是實證篩選法，是指通過信度和效度、隸屬度、相關度、鑒別力等實證分析方法對調查問卷進行分析，剔除不符合的指標。

2.3 評審指標體系構建流程

本文主要是基于理論構建和實證篩選來確定最終的科技項目評審指標體系，其中理論構建包含項目目標分解、指標維度劃分、具體指標選擇；實證篩選主要是基于隸屬度、相關度、鑒別力分析，評審指標體系構建流程如圖1 所示。

圖1 廣州市科技計劃項目評審指標體系構建流程

2.4 評審指標選取

本文通過借鑒高潔［14］的研究觀點，從投入產出、目標達成模式、影響因素、開放式創新四個方面著手選取評審指標維度。

2.4.1 基于“投入-產出”分析的評審指標選取

投入與產出是科技計劃項目評審過程要考慮的重要問題，前期投入資源的多少會直接影響到后期產出效果。在“投入”階段，本文主要選取“研究團隊”和“研究基礎”作為投入指標，考慮到在科技計劃項目中，科研經費一般來源于政府資助，是固定不變的，因此不將科研經費納入投入指標。研究團隊是指依托科技計劃項目，為實現某一科研目標而由相互協作的個體組建的正式群體，在科技計劃項目中表現為人才、學歷、職稱、年齡、專業背景五方面。研究基礎是指圍繞某個科技計劃項目而前期所做的工作或具備的條件，主要表現為承擔項目、發表論著、獲獎成果、科研經費、發明專利、技術平臺等六個方面。在“產出”階段，本文主要選取“項目成果”作為產出指標，包括成果應用、市場推廣和項目效益。

2.4.2 基于“目標達成模式”的評審指標選取

目標達成模式是由美國心理學家泰勒提出的，它是基于事前確定的目標來選擇相應的內容和方法，判斷其合理性。基于“目標達成模式”，本文主要選取“績效目標”指標，主要表現為目標設置是否全面體現專項資金屬性、是否體現專項資金政策意圖。

2.4.3 基于“影響因素”的評審指標選取

科技計劃項目能否成功立項，主要取決于該項目的實際科研價值和貢獻，主要體現在項目論證過程中，其中必要性、科學性、可行性、創新性、風險性重要論證節點。必要性主要判斷項目是否能夠推動廣州市經濟社會發展和產業升級；科學性主要判斷項目是否具有科學價值，研究方法是否科學嚴謹，對研究現狀是否了解；可行性主要是對項目申報中擬解決問題的關鍵技術方法、項目整體采取的技術路線以及工藝流程是否可行進行綜合判斷；創新性主要判斷關鍵技術的科學性、先進性、創新性；風險性主要判斷項目實施的技術、市場或管理風險以及規避措施。

2.4.4 基于“開放式創新”的評審指標選取

開放式創新主要是面向外部創新資源，對外積極尋找創新合作伙伴，從而實現優勢互補，激發創新活力。在科技計劃項目中，創新主體間開展合作攻關有利于降低研發成本、縮短研發周期、提高市場競爭力和創新效能。因此，基于開放式創新，本文將“合作能力”納入評審指標體系。

2.5 評審指標體系初步構建

綜上所述，本文從研究團隊、研究基礎、項目成果、合作能力、項目論證、績效目標六方面構建評審指標體系一級指標，并初步確定23 項二級指標。初步構建的評審指標體系如表1 所示。

表1 廣州市科技計劃項目評審指標體系

3 廣州市科技計劃項目評審指標體系實證篩選

3.1 研究方法和問卷樣本分析

3.1.1 研究方法

上述科技計劃項目評審指標體系的初步構建僅僅是理論構思，還需要通過實證篩選來驗證。本文對評審指標的實證篩選是基于問卷調查來進行，針對評審指標體系進行了問卷設計，包括調查對象基本信息、一級指標和二級指標的重要程度等內容，并采用李克特量表法對指標進行主觀賦值評價。

3.1.2 問卷樣本分析

本次調查對象為來自黨政機關、企業、高校、科研機構和其他相關單位的評審專家，他們都參與過廣州市科技計劃項目評審工作，對科技項目評審工作非常熟悉，能夠對指標的重要性做出專業的判斷。本次共發放和回收有效問卷281 份。詳見下表2。

表2 專家問卷樣本特征（N=281）

3.2 指標體系實證篩選

3.2.1 信度和效度分析

（1）信度分析。信度分析主要是對調查問卷樣本結果的可靠性、真實性判斷，信度越高，表明問卷樣本結果越可靠，調查對象越趨向于真實客觀回答，利用問卷調查所得出的統計分析結果也更加可信。

由表3 可知，評審指標的α系數均在0.6 以上，其中研究基礎、項目論證、績效目標的α系數值均大于0.8，項目成果和合作能力的α系數值均大于0.7，總體α系數值大于0.9，表明評審指標內在一致性程度較高，結果可信。

表3 評審指標體系內部一致性檢驗（α 系數）

（2）效度分析。效度分析是指測量工具或手段能夠準確測出所需測量事物的程度。本文主要是對評審指標進行結構效度檢驗，借用SPSS 統計軟件中的因子分析法來實現，檢驗結果如表4 所示。

表4 評審指標體系調查問卷結構效度檢驗

由表4 可知，KMO 值為0.889，Bartlett 球形檢驗中的x2值為2 889.256，且顯著性有效，表明問卷結構性效度較好。

3.2.2 隸屬度分析

隸屬度是用來刻畫一個對象隸屬于某種定義的程度。本文用以下數學表達式進行計算指標的隸屬度：R=M/N。其中，R 表示評審指標的隸屬度，N表示參與咨詢的有效專家人數，M 是指認為某項指標是最理想的指標的人數。當某一項指標的隸屬度R 值小于0.3，也就意味著只有30%以下的專家認為該項指標比較理想，則需將該項指標從指標體系中刪除，若某一項指標的隸屬度R 值大于0.3，也就意味著有70%以上的專家認為該項指標比較理想，則可以留待下一輪的篩選。據此，研究中未發現隸屬度小于0.3 的指標，保留全部二級指標用于下一步的篩選。隸屬度分析結果如表5 所示。

表5 評審指標隸屬度分析

表5（續）

3.2.3 相關性分析

評審指標間的相關性也會影響評審結果的合理性和科學性，要通過相關性分析剔除指標體系中高度相關的指標。相關性分析主要是用來判斷兩個及以上變量之間存在著的相關關系，如果變量之間的相關系數R>M（M 為臨界值，0

表6 評審指標相關性分析

從表6 可以看出，0.081 ≤R ≤0.682

3.2.4 鑒別力分析

評審指標鑒別力分析是衡量評審項目質量的重要指標之一，可以反映出評審指標對評審對象的區分情況。本文采用變異系數來衡量評審指標鑒別力，變異系數越大，離散程度越高，鑒別力越低。借助SPSS 統計軟件，計算得出廣州市科技計劃項目評審指標變異系數最大值是0.254，最小值是0.118，均值0.167，中位數0.165，極差為0.136，變異系數分布結果如圖2 所示。

圖2 評審指標變異系數分布

由圖2 可知，變異系數分布變化較為平穩，表明評審指標在一定范圍內呈現穩定的狀態，有很好的鑒別力。

4 結論與對策

4.1 研究結論

經過理論設計和實證篩選，廣州市科技計劃項目評審指標體系指標數量未發生變化。因此，本研究最終構建了由6 個一級指標和23 個二級指標組成的廣州市科技計劃項目評審指標體系，如表6 所示。

表6 廣州市科技計劃項目評審指標體系

表6（續）

4.2 對策與建議

第一，從信度分析角度出發，優化一級指標體系占比權重。α 系數評價的是量表中各題項得分間的一致性，信度越高，結果越可靠，從表3 中得知一級指標中的研究基礎、項目論證、績效目標的α系數值均大于0.8，建議評價指標體系中可適當提高研究基礎、項目論證、績效目標的指標權重。

第二，從隸屬度分析角度出發，調整二級評價指標中的占比權重。隸屬度越接近1，代表某項指標得到更多專家的認可，從表5 中得知各二級指標隸屬度范圍為0.573～0.982，建議評價指標體系中可適當提高隸屬度較高的指標權重。

第三，從實際需要出發優化研究團隊的成員結構。具體包括企業承擔科技計劃項目的負責人（主持人）應該是科學研究訓練有素、研究開發經驗豐富的、具有研究成果的科學研究專家，破除“唯論文、唯職稱、唯學歷、唯獎項”的做法；注重團隊主要技術負責人的能力和信譽；從創新的實際需要出發，不應該偏重有頭銜的名人引進；注重研發投入人員的知識結構等。

第四，在現有的指標體系下，可增加法律、財務等方面的指標。法律方面具體包括建立完善的制度體系，保證科研公平的制度與措施，針對申報材料真實性的相應懲罰措施等；財務方面應充分考慮主營業務規模、盈利水平、研發投入等。

第五，加強立項后的監督，預防造假。專項資金的使用必須要有階段性的監督，從而保證經費投到真正有創新的企業。建立項目立項后的監督和指導機制，預防造假，制定相應懲罰措施，同時避免項目執行過程的偏差，以更好的驗證立項項目的績效目標。