創(chuàng)新研究群體項(xiàng)目績效評價(jià)及其對科技評價(jià)的啟示

高 杰，蘇 竣，謝其軍

（1.ISTIC-Taylor &Francis Group 學(xué)術(shù)前沿觀察聯(lián)合實(shí)驗(yàn)室，北京 100038；2.清華大學(xué)公共管理學(xué)院，北京 100084；3.清華大學(xué)科教政策研究中心，北京 100084）

1 研究背景

當(dāng)今時(shí)代，各國都在不斷建立和完善自己的科技評價(jià)理論體系和相關(guān)工作流程，以期達(dá)到促進(jìn)科技創(chuàng)新與全球治理、資源合理配置與激勵(lì)兼容的效果。科技評價(jià)作為科技管理與決策支撐的重要手段，對國家科技進(jìn)步與全面創(chuàng)新的作用越來越強(qiáng)，同時(shí)關(guān)于改進(jìn)優(yōu)化科技評價(jià)制度的政策法規(guī)與研究報(bào)告也愈來愈多。在科技評價(jià)理論體系與工作實(shí)踐中，對科研項(xiàng)目與科技創(chuàng)新人才團(tuán)隊(duì)的評價(jià)，一直都是不可或缺的關(guān)鍵內(nèi)容。

2016 年5 月30 日，習(xí)近平［1］總書記在全國科技創(chuàng)新大會(huì)、兩院院士大會(huì)、中國科協(xié)第九次全國代表大會(huì)上的講話中強(qiáng)調(diào)，要改革科技評價(jià)制度，建立以科技創(chuàng)新質(zhì)量、貢獻(xiàn)、績效為導(dǎo)向的分類評價(jià)體系，正確評價(jià)科技創(chuàng)新成果的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值、社會(huì)價(jià)值、文化價(jià)值。《中共中央關(guān)于堅(jiān)持和完善中國特色社會(huì)主義制度 推進(jìn)國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》提出，要完善科技人才發(fā)現(xiàn)、培養(yǎng)、激勵(lì)機(jī)制，健全符合科研規(guī)律的科技管理體制和政策體系，改進(jìn)科技評價(jià)體系，健全科技倫理治理體制。這些都體現(xiàn)了國家對于科技評價(jià)工作的重視，以及改進(jìn)相關(guān)評價(jià)體系、改革相關(guān)管理制度的決心。同時(shí)，國內(nèi)科學(xué)界與社會(huì)各界也展開了對于科學(xué)合理、公正公開的科技評價(jià)的理論探討與相關(guān)工作實(shí)踐，近年也出現(xiàn)了“負(fù)責(zé)任的科技評價(jià)”的提法與相關(guān)研究。

中外很多學(xué)者一直都在進(jìn)行有關(guān)科技項(xiàng)目、科技評價(jià)的評價(jià)指標(biāo)體系、評價(jià)理論與評價(jià)方法的研究，如Hedler 等［2］認(rèn)為元評價(jià)（meta-evaluation）和元分析（meta-analysis）是不同的研究方法，提出元評價(jià)是一種定性方法，在評估前評價(jià)（prior evaluation）時(shí)非常有用，而元分析的定量方法更適用于首次評價(jià)（first evaluation），并在其研究中構(gòu)建了社會(huì)項(xiàng)目元評價(jià)模型。還有不少學(xué)者探討將文獻(xiàn)計(jì)量、科學(xué)計(jì)量、引文分析、知識計(jì)量等多種方法與范式納入科技評價(jià)體系中來，融合進(jìn)行綜合性的、科學(xué)合理的、負(fù)責(zé)任的科技評價(jià)，例如，高杰等［3］利用CiteSpace 軟件工具繪制知識圖譜分析科技人才與科技機(jī)構(gòu)的合作情況，對合作網(wǎng)絡(luò)密度與節(jié)點(diǎn)中心度進(jìn)行可視化分析；李政等［4］探索提出了一種較為新穎的基于突變理論的科技評價(jià)方法，構(gòu)建了顛覆性技術(shù)預(yù)測模型；韓毅［5］提出要注重非正式文本與交流平臺的學(xué)術(shù)影響力、綜合影響力評價(jià)，認(rèn)為替代計(jì)量學(xué)（Altmetrics）的誕生在一定程度上為科技成果的社會(huì)影響力評價(jià)提供了新的范式與工具，Altmetrics 的計(jì)量結(jié)果與傳統(tǒng)以引文為基礎(chǔ)的科技評價(jià)是相互補(bǔ)充關(guān)系，兩者融合進(jìn)行綜合評價(jià)是必由之路。

許多學(xué)者基于中國情境，結(jié)合國內(nèi)外科技評價(jià)的理論與實(shí)踐進(jìn)行中國科技評價(jià)理論與實(shí)踐發(fā)展的梳理與探索，如吳忠謙［6］在研究中選取了國際上4種主流的、典型的國家科技競爭力評價(jià)方法進(jìn)行比較分析，為開展國際科技競爭力評價(jià)提供理論參考；汪雪鋒等［7］對中國有關(guān)科技評價(jià)研究的40 年發(fā)展進(jìn)行了階段劃分和主題重點(diǎn)演化的梳理與分析，為國家的科技評價(jià)改革與發(fā)展提供了理論貢獻(xiàn)與參考借鑒；鄭祥慈等［8］梳理了中國情境下科技評價(jià)、第三方評價(jià)的內(nèi)涵與發(fā)展情況，提出了構(gòu)建新型的科學(xué)、公平、公正的第三方評價(jià)體系等具有建設(shè)性的政策建議；鄭曉娟［9］結(jié)合新時(shí)期中國創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略的背景與實(shí)際，梳理了中國科技評價(jià)發(fā)展的歷程，分析總結(jié)了科技評價(jià)中存在的問題與新需求，并提出對科技評價(jià)體系改革的建議與思考；杜鵬等［10］認(rèn)為中國科技評價(jià)體系存在的問題的重要源頭之一，在于科技共同體的自治能力與影響作用不夠，而問題解決的關(guān)鍵途徑之一為，在科學(xué)家治理中納入職業(yè)化、專業(yè)化的市場治理；汪建等［11］基于科技管理中科技項(xiàng)目評價(jià)數(shù)據(jù)與前人研究，構(gòu)建了有中國特色的科技項(xiàng)目元評價(jià)模型；楊飛等［12］就澳大利亞研究理事會(huì)（Australia Research Council，ARC）支持的卓越中心（Centers of Excellence，COE）項(xiàng)目運(yùn)行實(shí)施情況與評價(jià)指標(biāo)體系等進(jìn)行梳理分析，得出一些對我國科技評價(jià)與管理的啟示。筆者高杰等［13-14］所在研究團(tuán)隊(duì)（以下簡稱“本研究團(tuán)隊(duì)”）也曾就中國有關(guān)創(chuàng)新群體（creative research group，CRG）項(xiàng)目，與澳大利亞卓越中心項(xiàng)目、德國合作研究中心（Collaboration Research Center，CRC）項(xiàng)目等先進(jìn)發(fā)達(dá)國家的類似人才團(tuán)隊(duì)項(xiàng)目在目標(biāo)定位、管理規(guī)定、科技評價(jià)與驗(yàn)收方式等方面進(jìn)行比較分析，并給出相應(yīng)的思考啟示與政策建議。

本研究團(tuán)隊(duì)成員大多作為工作與研究人員參與過國家自然科學(xué)基金項(xiàng)目年度績效評價(jià)工作，有著一定的理論積累、數(shù)據(jù)收集與實(shí)踐經(jīng)驗(yàn)，因此，本研究試圖將科研項(xiàng)目與科技創(chuàng)新人才團(tuán)隊(duì)的科技評價(jià)結(jié)合起來，以國家自然科學(xué)基金資助體系中規(guī)格水平最高的人才類項(xiàng)目——?jiǎng)?chuàng)新研究群體項(xiàng)目（以下簡稱“創(chuàng)新群體項(xiàng)目”）作為研究對象，通過梳理分析其年度績效評價(jià)工作的流程與實(shí)踐，以點(diǎn)帶面地探析中國在開展科學(xué)合理、負(fù)責(zé)任的科技評價(jià)工作中所出現(xiàn)的理論實(shí)踐問題與經(jīng)驗(yàn)思考。

2 創(chuàng)新研究群體項(xiàng)目的績效評價(jià)

根據(jù)《國家自然科學(xué)基金創(chuàng)新研究群體項(xiàng)目管理辦法》，創(chuàng)新群體項(xiàng)目支持優(yōu)秀中青年科學(xué)家為學(xué)術(shù)帶頭人和研究骨干，共同圍繞一個(gè)重要研究方向合作開展創(chuàng)新研究，培養(yǎng)和造就在國際科學(xué)前沿占有一席之地的研究群體。促進(jìn)與支持基礎(chǔ)研究發(fā)展是國家自然科學(xué)基金的整體屬性，而創(chuàng)新群體項(xiàng)目作為國家自然科學(xué)基金資助體系下鼓勵(lì)科學(xué)前沿探索的人才類項(xiàng)目，具有較高水平的科技創(chuàng)新突破與人才團(tuán)隊(duì)培養(yǎng)的雙重目標(biāo)任務(wù)與項(xiàng)目屬性，項(xiàng)目考核與評價(jià)的重點(diǎn)除了前沿探索、取得預(yù)期目標(biāo)或成果外（同時(shí)允許失敗），對于項(xiàng)目人才與團(tuán)隊(duì)的培養(yǎng)則是結(jié)題驗(yàn)收與科技評價(jià)的重中之重，包括要看團(tuán)隊(duì)是否實(shí)現(xiàn)了整體發(fā)展與躍遷，團(tuán)隊(duì)成員是否成為科技骨干、知名學(xué)者專家，是否實(shí)現(xiàn)了合格科研人員、碩博研究生的培養(yǎng)等內(nèi)容。

所謂科技人才項(xiàng)目的評價(jià)，是指在國家政策引導(dǎo)下，結(jié)合項(xiàng)目目標(biāo)需求、科技創(chuàng)新的特性與科技人才的特點(diǎn)等情況，運(yùn)用科學(xué)合理的方式，對科技人才項(xiàng)目的價(jià)值和貢獻(xiàn)作出判斷與評價(jià)的過程［15］171。科技人才項(xiàng)目評估要遵循客觀公正、需求導(dǎo)向、分裂評估與合理使用等原則，評估工作主要可分為事前評估、事中評估與事后評估3 個(gè)階段［15］174。參考其他科技人才項(xiàng)目評價(jià)工作階段（事前、事中、事后）劃分，創(chuàng)新群體項(xiàng)目的績效評價(jià)工作包括對部分在研項(xiàng)目與結(jié)題項(xiàng)目的抽查，以及專家對抽查項(xiàng)目打分評價(jià)、對該類項(xiàng)目進(jìn)行總體評價(jià)判斷的工作。本研究將創(chuàng)新群體項(xiàng)目的績效評價(jià)工作分為評價(jià)籌備階段、函評會(huì)評階段以及績效評價(jià)報(bào)告撰寫修訂發(fā)布階段，其中函評會(huì)評階段，特別是會(huì)評與報(bào)告的撰寫發(fā)布階段在工作內(nèi)容與時(shí)間上比較接近，可并作一起進(jìn)行梳理分析，國家科技評估中心（以下簡稱“評估中心”）承擔(dān)了2015 年度國家自然科學(xué)基金及創(chuàng)新群體項(xiàng)目的績效評價(jià)工作，本研究以其中的創(chuàng)新群體項(xiàng)目績效評價(jià)為例進(jìn)行分析。

2.1 評價(jià)籌備階段

2.1.1 調(diào)研訪談

評估中心組織工作與研究人員赴創(chuàng)新群體項(xiàng)目依托單位（包括浙江大學(xué)、清華大學(xué)等高校和有關(guān)科研機(jī)構(gòu)）進(jìn)行調(diào)研，組織項(xiàng)目負(fù)責(zé)人與專家進(jìn)行會(huì)議訪談。對專家觀點(diǎn)的初步整合，多數(shù)專家認(rèn)為創(chuàng)新群體最大的特點(diǎn)是，基于同一個(gè)目標(biāo)把一群具有不同學(xué)科背景或者研究方向的人才聚集在一起開展聯(lián)合攻關(guān)，推動(dòng)內(nèi)部不同團(tuán)隊(duì)間的融合發(fā)展。創(chuàng)新群體“含金量”高，是一種無形資產(chǎn)，增加了科研團(tuán)隊(duì)整體的軟實(shí)力，該類項(xiàng)目的順利運(yùn)行有助于交叉學(xué)科的融合、團(tuán)隊(duì)整體與個(gè)人的提升與成長，以及我國在以基礎(chǔ)研究領(lǐng)域?yàn)橹饕淼脑紕?chuàng)新、源頭創(chuàng)新迎來一定程度與一定數(shù)量的探索和突破。具體觀點(diǎn)如表1 所示。

表1 2015 年度創(chuàng)新群體項(xiàng)目績效評價(jià)前期調(diào)研專家訪談的主要觀點(diǎn)

2.1.2 問卷調(diào)查

在前期調(diào)研與專家訪談之后，評估中心繼續(xù)組織科研人員與相關(guān)專家設(shè)計(jì)有關(guān)創(chuàng)新群體項(xiàng)目績效評價(jià)的前期調(diào)查問卷，通過國家自然科學(xué)基金委（以下簡稱“基金委”）與科技部的專家?guī)欤騽?chuàng)新群體項(xiàng)目的學(xué)術(shù)帶頭人、研究骨干及主要成員，也即主持與參與過創(chuàng)新群體項(xiàng)目的專家學(xué)者與科研人員通過郵箱發(fā)送問卷，在線匿名填寫相關(guān)內(nèi)容。問卷按照學(xué)術(shù)帶頭人、研究骨干等人員分類選擇填寫，每類問卷第一部分均為人員與項(xiàng)目的基本信息（依托單位、基金委所隸屬學(xué)部、項(xiàng)目持續(xù)時(shí)限等）；第二部分為程度選擇題，包括對項(xiàng)目的管理評審過程的了解程度、申請服務(wù)與評審的滿意度等內(nèi)容；第三部分為建議需求類的填寫題，包括對申請與評審問題的反饋、項(xiàng)目申請?jiān)u審改進(jìn)優(yōu)化的建議等。經(jīng)過歷時(shí)近1 個(gè)多月的問卷發(fā)放與收集，共收到有效回饋問卷300余份，由評估中心人員繼續(xù)整理分析。

2.1.3 績效評價(jià)指標(biāo)體系設(shè)計(jì)

評估中心按照科技項(xiàng)目評價(jià)規(guī)范，結(jié)合專家意見與建議，經(jīng)多次開會(huì)討論與數(shù)據(jù)材料整合，按照投入、過程、產(chǎn)出、效果這4 個(gè)大類的一級指標(biāo)及其下屬6 個(gè)二級指標(biāo)和20 個(gè)三級指標(biāo)的評價(jià)指標(biāo)體系進(jìn)行專家打分表的設(shè)計(jì)（見表2），并且注明了供專家打分與同行評議的三級指標(biāo)要點(diǎn)。

2.1.4 總體績效評價(jià)表設(shè)計(jì)

在開展此次科技評價(jià)工作中，評估中心準(zhǔn)備了績效評價(jià)工作方案，并聯(lián)合基金委政策局、計(jì)劃局以及相關(guān)專家設(shè)計(jì)了創(chuàng)新群體項(xiàng)目總體績效專家評分表［16-18］，如表3 所示，除了“規(guī)范實(shí)施、科學(xué)客觀、高校組織、公開透明、發(fā)揮實(shí)效”等總體評估要求之外，均特別強(qiáng)調(diào)了創(chuàng)新群體項(xiàng)目在學(xué)科建設(shè)與交叉融合、團(tuán)隊(duì)建設(shè)成長與可持續(xù)性的評價(jià)指標(biāo)及評估側(cè)重點(diǎn)，除去“內(nèi)容目標(biāo)”“成果產(chǎn)出”等常規(guī)評價(jià)指標(biāo)外，特別強(qiáng)調(diào)了對創(chuàng)新群體在國內(nèi)外合作、人才團(tuán)隊(duì)培養(yǎng)、學(xué)科建設(shè)發(fā)展、團(tuán)隊(duì)潛力與可持續(xù)性等方面成效的評價(jià)。

表3 2015 年度創(chuàng)新群體項(xiàng)目績效評價(jià)專家評分表

2.2 函評會(huì)評與評價(jià)報(bào)告撰寫發(fā)布階段

在創(chuàng)新群體項(xiàng)目的隨機(jī)抽樣調(diào)查中，基金委向評估中心提供了8 個(gè)學(xué)部共34 個(gè)項(xiàng)目的材料（每個(gè)學(xué)部2～3 個(gè)項(xiàng)目，有在研項(xiàng)目也有結(jié)題項(xiàng)目），包括項(xiàng)目申請書、計(jì)劃書、年度進(jìn)展報(bào)告或結(jié)題報(bào)告等項(xiàng)目相關(guān)材料，在初次會(huì)評前1 個(gè)月發(fā)送到相關(guān)領(lǐng)域的大專家1）郵箱之中進(jìn)行初步審閱與函評，隨后在2015 年年底召開了第一次績效評價(jià)的會(huì)評會(huì)議，各學(xué)部的專家首次對抽樣項(xiàng)目進(jìn)行打分與評價(jià)，并且對創(chuàng)新群體項(xiàng)目運(yùn)行提出初步看法。

2016 年1 月底，基金委聯(lián)合評估中心召開國家自然科學(xué)基金的總體年度績效評價(jià)專家會(huì)議，有來自基金委8 個(gè)學(xué)部的首席專家以及科技管理大領(lǐng)域的專家等30 余人參加，就“創(chuàng)新群體項(xiàng)目績效評價(jià)”專題對相關(guān)項(xiàng)目由專家進(jìn)行打分，并開展同行評議。與會(huì)專家多數(shù)認(rèn)為創(chuàng)新群體項(xiàng)目有助于科研人才團(tuán)隊(duì)的培養(yǎng)，有助于促進(jìn)原始創(chuàng)新、前沿探索與交叉學(xué)科融合研究，同時(shí)其資助評審方式有助于營造符合科學(xué)規(guī)律的、寬容寬松的研究環(huán)境與氛圍，而且通過評估中心對創(chuàng)新群體項(xiàng)目運(yùn)行15 年來取得的各項(xiàng)科技成果與前沿探索成效的梳理，發(fā)現(xiàn)這類項(xiàng)目培育與孵化了眾多重大科技突破與科技領(lǐng)軍人才團(tuán)隊(duì)；當(dāng)然，創(chuàng)新群體項(xiàng)目還有很多問題與待完善的地方，專家進(jìn)行了討論，并完成紙面評審與同行評議，由評估中心與基金委的工作人員回收進(jìn)行后續(xù)整理。

3 創(chuàng)新群體項(xiàng)目特點(diǎn)及其對我國科技評價(jià)的啟示建議

本研究以國家自然科學(xué)基金委設(shè)立的創(chuàng)新研究群體項(xiàng)目作為高水平前沿探索的科技創(chuàng)新人才團(tuán)隊(duì)項(xiàng)目的代表，梳理了國家科技評估中心聯(lián)合基金委對創(chuàng)新群體項(xiàng)目進(jìn)行績效評價(jià)的工作流程與科技評價(jià)實(shí)踐，從前期準(zhǔn)備到以同行評議為代表的函評會(huì)評，最后到績效評價(jià)報(bào)告等內(nèi)容的撰寫修訂與評審發(fā)布，在此過程之中最重要的是結(jié)合項(xiàng)目特點(diǎn)與其特殊屬性，以及專家通過同行評議、評估人員通過數(shù)據(jù)測算等得出各級指標(biāo)與權(quán)重，經(jīng)過反復(fù)測算與斟酌修改，進(jìn)行評價(jià)指標(biāo)體系的設(shè)計(jì)（包括抽查項(xiàng)目與總體項(xiàng)目評價(jià)表兩套體系的設(shè)計(jì)）。

創(chuàng)新群體項(xiàng)目與其他科研項(xiàng)目的主要不同就在于，從科學(xué)研究的屬性來看，創(chuàng)新群體多進(jìn)行前沿探索研究，可允許一定程度的失敗，成果方面考核較為寬松，資助金額大、資助周期長，有利于科學(xué)家在良好寬松的氛圍與環(huán)境中作出符合科學(xué)規(guī)律與前沿探索突破的研究；從人才團(tuán)隊(duì)培養(yǎng)的屬性來看，創(chuàng)新群體項(xiàng)目的科技評價(jià)與同行評議要重點(diǎn)關(guān)注整體團(tuán)隊(duì)的發(fā)展（是否在國際前沿占有一席之地），團(tuán)隊(duì)成員個(gè)體的發(fā)展（研究骨干是否成長為具有一定知名度與榮譽(yù)的科學(xué)家與專家學(xué)者、科研人員與碩博研究生是否順利發(fā)展與畢業(yè)等），以及國內(nèi)外的合作與交流情況（國內(nèi)外會(huì)議交流、科研合作等內(nèi)容）。因此創(chuàng)新群體的特點(diǎn)在于具有前沿探索與人才培養(yǎng)的雙重屬性，同時(shí)還具有資助力度大、周期長以及考核寬松等特點(diǎn)。

與傳統(tǒng)認(rèn)知的科技人才項(xiàng)目評價(jià)相比，創(chuàng)新群體項(xiàng)目的績效評價(jià)提示科研人員與評價(jià)人員要注重每個(gè)項(xiàng)目的特質(zhì)與要求，同時(shí)結(jié)合國家的最新政策精神、科技管理機(jī)構(gòu)的管理規(guī)定與評價(jià)指南等內(nèi)容，逐步改革、規(guī)范與優(yōu)化項(xiàng)目的流程管理，注重同行評議在科技評價(jià)中的重要作用，并結(jié)合項(xiàng)目特質(zhì)，運(yùn)用多重手段與評價(jià)方法結(jié)合的方式，逐步拓展科技評價(jià)的范式與邊界，對科研項(xiàng)目與科技人才團(tuán)隊(duì)進(jìn)行分類評價(jià)與多樣化評估，綜合考慮其科技成果與目標(biāo)任務(wù)完成情況等內(nèi)容的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)與社會(huì)價(jià)值等多維度價(jià)值。國家自然科學(xué)基金委自2015 年開始對創(chuàng)新群體項(xiàng)目的申請與管理規(guī)定進(jìn)行了微調(diào)，近5 年不斷參考創(chuàng)新群體項(xiàng)目運(yùn)行的情況與經(jīng)驗(yàn)，以及吸取相關(guān)項(xiàng)目科技管理部門與學(xué)者的建議，逐步統(tǒng)一了8 個(gè)學(xué)部創(chuàng)新群體項(xiàng)目的資助期限與資助金額，特別是績效評價(jià)與結(jié)題驗(yàn)收的評價(jià)指標(biāo)體系也在不斷改進(jìn)與規(guī)范，有助于基金委管理項(xiàng)目與組織評議，有助于該類項(xiàng)目科學(xué)合理與平穩(wěn)有序發(fā)展，也有助于科學(xué)合理與負(fù)責(zé)任的科技評價(jià)健康有序地開展，促進(jìn)提升我國科技人才類項(xiàng)目的科技評價(jià)工作水平。

注釋：

1）大專家指在領(lǐng)域內(nèi)影響力較大，或在基金委相關(guān)學(xué)部承擔(dān)過重大科技項(xiàng)目的專家。