袁汝華,林 瑤,施紅怡,朱 敏,朱振榮,馬冰瑩,馬城楠
(1.河海大學商學院,江蘇 南京 211100; 2.江蘇省水利廳,江蘇 南京 211100;3.宿州學院管理學院,安徽 宿州 234000)
全球化對中國的科技發展影響重大,一直以來中國通過集成創新取勝,產業鏈部分區域技術創新略顯不足。與此同時,美國利用高科技脫鉤等方式意圖對中國形成戰略制約,中國面臨著威脅及挑戰。在此背景下,我國需要掌握技術創新主動權,而新時期國家科技創新管理機制要求科技創新集中更多的精力在出實績上,破除唯論文導向,以分類評價為基礎,結合科技活動特點改善科研評價體系,使評價標準多元化,突出職責完成情況、創新質量、綜合績效等,為科技創新營造良好環境。為響應“建立全面規范透明、標準科學、約束有力的預算制度,全面實施績效管理”的部署要求,《中央級科研事業單位績效評價暫行辦法》[1]提出,將中央級科研事業單位分為基礎前沿研究、公益性研究、應用技術研發等?!吨泄仓醒雵鴦赵宏P于分類推進事業單位改革的指導意見》[2]指出,要強化從事公益服務工作的事業單位的公益屬性,同時加強績效考評作為監督。
因此,水利科研單位作為科研事業單位的一部分,在評價績效時需結合新時期的要求,明確自身定位,強調綜合價值,形成有效的績效評價及反饋機制,相應調整科研單位的績效評價體系具有一定的現實意義。
為推動科研事業單位改革,中央級科研事業單位首先開啟績效管理評價探索。龔雅婷等[3]和劉開江等[4]分別針對中央級農業科研事業單位、中央級地質科研單位進行績效評價分析,明確單位績效總目標,劉開江等[4]設置了產出、效益、服務對象滿意率指標,其中效益指標分為經濟效益、社會效益、環境效益等。其他科研事業單位也在績效考核體系上做了相關嘗試,黃晶金[5]從決策、管理、績效的產業鏈條全過程角度設計某農業科研事業單位的科研項目績效指標;黃崇江等[6]圍繞“任務型”科研機構構建了包括目標、實施管理、承擔任務、成果水平、人才隊伍、交流合作、進一步發展的推動作用七個方面的績效考核體系。水利科研單位大部分歸屬于公益性科研機構,針對公益性機構的績效評價,李強[7]認為,因公益服務難以計量,應分行業結合行業特點體現效率、回應性、公平性的價值取向,不能僅評估產出;趙巧萍[8]將公益科研院所的創新成本、創新效果、內部管理、學習與發展作為評價標準。結合其水利行業特點,陳東明[9]認為評價水利科技部門創新能力應該從基礎儲備、項目研發、成果轉化、項目自主進行展開;馬晶晶等[10]對水利行業的項目過程知識管理與基礎設施支持進行評價,給水利行業的評價指標提供參考。
總的來看,針對個人或高校的績效評估體系研究較多,對科研單位的研究較少,尤其針對水利科研單位適用的績效評估體系更是不足,且已有研究對科研機構的指標體系集中在投入產出方面,沒有將中央提出的科研事業單位分類評價績效意見進行對應地落實,突出機構性質,同時在產出指標上對產出的衡量仍有不足。因此,將單位作為評價對象,針對水利科研單位進行具體分析,將人均績效作為科研單位的評價標準,借鑒中央級事業單位績效評價,立足于新時期科技創新管理機制要求,結合行業特點與內在的公益屬性,在績效考核上抓住職責、多角度的成果產出、管理、社會效益來進行水利科研單位績效評估體系的構建。
目前已提出的中央級科研事業單位績效評價框架[1]中,將績效評價方向定為職責、產出、創新三個方面,將此作為評價指標的建立基礎,結合新時期的綜合績效導向建立指標體系。
新時期為破除唯論文的評價導向,對科研單位的績效評價提出新要求。公益性研究機構具有更多的社會責任,作為公益性研究機構的水利科研單位,要針對其定位進行判定,進而評價其產出情況,除此之外,公益性研究機構更需要接受管理上的監督,因此設置管理績效指標對內部管理進行評價。在績效考核的實際操作中可從定位、管理、產出三方面入手,首先評價職責定位是否相符,為管理、產出提供進一步的評價基礎,管理與產出從內外部結合起來評估單位的綜合情況,其中產出從科技產出和創新效益兩個角度進行分析,使產出不只局限于論文等成果,形成完整而有效的評價體系,較為全面地反映單位的綜合績效。對考核主要方面的分析如圖1所示。

圖1 水利科研單位績效考核分析機理
基于考核要點分析,將水利單位績效考核分為職責定位、管理績效、科技產出、創新效益4個方面。指標的選取采用定量與定性相結合的方法,根據指標特點以及評分標準設定時的數據采集條件,以定量評價為主,結合定性評價,評價定性指標時采取專家評議、打分等科學性的方法,盡量降低其主觀性。
2.3.1評分標準
評價標準主要從參考文獻、統計數據、相關制度文件、專家評議等方法進行分析。
a.參考文獻。根據參考文獻結合行業分析,進行相應的標準設置,如職責相符性指標中參考司曉悅和婁成武[11]的研究設置收支相符性、機構設置相符性指標,如文獻中政府撥款/經費總收入設置2/3為滿分,結合對多家事業單位的統計數據分析,考慮該指標以50%作為界限判斷政府撥款是否為主要來源,在此設置60%為基礎滿分。
b.統計數據。通過年鑒、年報等數據進行分析,數據來源主要有中國科技統計年鑒、中國水利統計年鑒、中國科學協會統計年鑒、中國科技成果轉化2018年度報告、中國水利水電科學院2018年度報告等。根據數據可獲得性,數據獲取順序為國家、行業、個別省份、典型單位,將獲取的平均值作為設置標準的基礎滿分,依次遞減。如論文、專著以中國水利水電科學院為典型單位結合其2018年年報中的論文、專著數量并與其人數設置滿分標準。
c.相關制度文件。結合指標相關的制度文件進行標準設置,如黨支部會議次數參考黨支部委員會制度中一月一次的頻率,設置一年12次為滿分,“匹配經費實際到位數/匹配經費應到位數”參考江蘇省科技計劃項目管理工作年度考核暫行辦法(2002)來設置評分標準。
d.專家評議。針對定性指標,根據相關專家的討論、經驗判斷設置分值區間,以備進一步打分。
2.3.2賦分方法
在設置好評分標準后,在進行相應賦分時,方法涉及四類。一是扣分制,在評價指標考慮相關要素是否完備時,無缺失則為滿分,有缺失進行相應的扣分;二是插值法,通過前述評分標準對分數臨界點的值進行相應計算或判斷后,結合分數臨界點,采取插值法進行評分;三是定性評分,通過專家評議、打分等方法進行賦值;四是獎勵分,主要針對獎彰等指標,采取額外加分的方法。
2.4.1職責定位
職責定位是指符合既定單位性質特點和國家需求,從根本上確定單位屬性。職責相符性從公益單位的收入支出、架構設置等判斷,從基本屬性方面進行相應評價從而賦分。需求一致性與水利行業新要求結合,從水利行業“工程補短板、行業強監管”的指導思想出發來觀察單位是否符合行業的科研趨勢,補短板方向考慮防洪工程、供水工程、生態修復工程、信息化工程方向是否有相應活動,強監管方向則判斷是否參與江河湖泊、水資源、水利工程、水土保持、水利資金、行政事務等監管方向的支持配合。具體指標設置見表1。

表1 職責定位指標體系
2.4.2管理績效
管理績效是指單位內部管理的有效性,有效的管理控制可以幫助單位提高工作效率。管理制度方面,分項目、人、財、設備等制度的健全性進行考慮,人員管理制度包括信息管理制度、考勤制度、培訓制度、獎勵制度等,財務管理制度包括采購制度、資產管理制度、資金存放管理制度、報銷制度、經費制度等,項目管理制度包括申報制度、方案論證、設備技術指標論證、設備驗收等,而儀器設備管理制度包括共用制度、安全操作規定、維護檢修制度、損壞賠償制度、實驗室管理規程等,在這里采取扣分制,每缺失一項進行相應地扣分;執行效果方面,可以從制度執行有效性、資金使用合規性、投訴處理、履行兼職職能情況、所獲榮譽來進行評估。具體指標設置見表2。

表2 管理績效指標體系
2.4.3科技產出
科技產出是指科技活動產生的成果??萍籍a出可從成果及產出的效率來分析,單位產出的論文、專著、專利、標準等是單位的直接成果,可以直觀地對單位的短期效益進行評估;而效率可以幫助判斷科研產出過程中的人員、經費等是否提供了有益支持。其中項目組織實施和完成情況由水利科研機構根據項目設計、年度成果報告等綜合得分進行換算(專家評議);資料檔案的歸檔、保管、借閱,檔案管理人員崗位責任由圖書資料室自評。破除唯論文導向下,尤其要注意對科技產出指標進行調整,增加了專利、技術標準、科研組織管理機制、資源條件、吸引人才數量等指標對其進行綜合考核。具體指標設置見表3。

表3 科技產出指標體系
2.4.4創新效益
創新效益是指單位對內部、行業、社會等外部產生的積極效應,為后續工作提供的良好支持,可從創新能力的提高、創新貢獻的帶動、創新環境的改善等角度進行分析。在評價創新能力時考察對行業的支撐作用;創新環境主要考慮在激發內部人員創新上的作用;在創新貢獻上考察對國家安全的保障、與社會公眾的交流互動,因此將單位提供的建議、科普活動都考慮在內,從服務支持、人才培養、成果推廣等來設置指標。增加科研平臺、科普宣講受眾、學術交流、可行性建議等指標,有利于將績效考核落到實處。具體指標設置見表4。

表4 創新效益指標體系
2.4.5總考核體系
將上述各分指標體系進行整理,最終構建水利科研單位績效考核指標體系如表5所示。

表5 水利科研單位績效考核指標體系
根據前文關于指標的梳理,建立的水利科研單位績效考核的指標層次結構模型如圖2所示。

圖2 水利科研單位績效考核層次結構模型
針對上文建立的指標體系,設立9個標度,主要依據專家打分法和決策者經驗以及對各項評價指標重要程度的認識和引導意圖。在進行計算并通過一致性檢驗后,確定評價指標權重見表6。

表6 基于AHP的績效評價指標權重
灰色聚類是灰色系統中的一個理論,通過計算不同指標的白化權函數,將指標歸入不同灰類,從而確定評價對象的整體灰類[12]。水利科研績效單位的績效評價分級就是不明確的,在此可以利用灰色聚類方法幫助進行績效的分析,確定單位的績效水平。
在利用灰色聚類方法時,要確定灰類、聚類對象、聚類指標。本文對水利科研單位進行績效評價,綜合績效評價專家的意見和評分,將績效考核劃分為3個灰類,分別為合格、良好和優秀;聚類對象為指標的4個一級指標;聚類指標則為一級指標下的各個二級指標。
3.2.1評價灰類界定
設評價灰類為k(k=1,2,…,s),令灰類k的取值區間為[ak,ak+1],并將取值域分別向左和右延伸一定范圍。此處s=3,分別為合格、良好和優秀。
3.2.2白化權函數建立
對于已建立的指標體系中的指標均需確定其對應各個灰類的白化權函數,這是進行灰色距離評價的基礎。構建確定灰類隸屬度的中心點三角白化權函數,其表達式如下:
(1)

3.2.3聚類系數計算
聚類系數反映類別隸屬度,通過白化權函數和指標權重以及關于指標的得分值可以計算得到評價指標關于3個灰類的綜合聚類系數。計算公式為
(2)
式中:σik為i指標下所有xij屬于k灰類的聚類系數之和;xij為績效評價指標Xij的得分;ωij為層次分析法計算出的指標相對應的權重。
2. 上述定性指標的標準僅為大概范圍的劃分,專家評議得分時,0~100分均可取。
3. 實際運用時可因單位實際情況將定量指標改為定性指標,或對指標進行增減。
3.2.4所屬類別確定

本文選取的案例J省水利科學研究院(簡稱水科院)屬于省屬全額撥款事業單位。服務范圍包括水利建筑結構與材料、防洪減災、農田水利、水資源、水生態、水土保持、工程檢測、工程監理、水下探測、水利遙感、水利自動化和信息化等方面,多年來開展技術服務工作,為所在地區的水利事業做出了重大貢獻。
根據水科院單位績效的考核實際,將績效考核劃分為3個不同的等級:合格、良好和優秀。令灰類k的取值區間為[ak,ak+1],根據水科院單位績效考核性質,向相關專家發出調查問卷,通過一致性檢驗后,得到績效評價聚類指標隸屬于合格、良好、優秀這3個灰類的灰數,如表7所示。

表7 績效評價聚類指標3個灰類的灰數
根據前述所構建指標體系的評分細則進行評分,除了個別賦予分項權重外,對二級指標下的幾個分項指標進行總體計算時均采取算數平均數的方法,得到評分匯總表如表8、表9所示。

表8 職責定位和管理績效的評分

表9 科技產出和創新效益的評分
之后將評分帶入式(1)中,得到各績效評價指標的白化權函數值。各績效評價指標得分與相對應的函數值如表10所示。

表10 各績效評價指標得分及白化權函數值
得到上述結果后,根據式(2),結合層次分析法計算的權重,對水科院進行綜合聚類系數的計算,得到水科院績效考核在一級指標上的綜合聚類系數結果如表11所示。
由表11的結果,綜合來說,聚類指標在合格、良好、優秀的可能性分別為0.299 7、0.644 9、0.266 0,即在這3個等級的可能性為σ2>σ1>σ3,水科院的績效評價綜合等級的概率排序為良好>合格>優秀,最終可以得出水科院的績效考核綜合等級為良好;具體來說,對比3個灰類等級發生可能性,水科院在職責定位X1、管理績效X2、科技產出X3、創新效益X44個分指標的評價等級分別是優秀、優秀、良好、良好,且在綜合評價中科技產出的影響較大,在科技產出指標中績效完成情況的等級為合格,績效完成效率等級為優秀,可以從提高績效完成情況入手,進一步提高水科院績效等級。鑒于此,提出建議如下:

表11 一級指標綜合聚類系數
a.水科院下一步應將水利科研創新成果與科技服務水平、申請水利領域科研任務、引入優秀人才、加快水利科研成果轉化、基礎建設工作與創新作為工作的側重點,繼續在省內各級水利科研單位中發揮模范帶頭作用。
b.各水利科研單位應與主管部門研究、協商、制定本單位績效目標、績效指標,在切合行業特點的同時將本單位的特點融入進去,進行合理有效的績效考核。
c.牽頭及主管部門應明確考核主體的責任,督促各水利科研單位將績效考核結果即時反饋,提高各水利科研單位的績效管理意識,增強其權威性和強制性,并在過程中建立全員參與、雙向溝通的績效反饋機制。
運用定量測評和定性評估的方法進行績效考核機制設計,形成切合新時期需求的水利科研單位績效考核指標體系,可以更加全面地了解影響水利科研單位績效考核等級的影響因素。以J省水利科學研究院為具體案例進行應用比較和實例分析,使用灰色聚類法幫助進行績效評價的可靠判斷,驗證水利科研單位績效考核指標體系的可操作性和科學性,從而對評價結果進行有效反饋,根據反饋情況將結果作為科研單位人員平臺建設、科研方向探索等進行調整的重要依據,科研單位針對績效評價相應地改進組織管理。進行有效的績效考核有利于加強水利科研單位績效考核指標體系建設、明確科研工作效果、提高水利科研水平以及水利事業的發展。