黑龍江省科技成果評價指標(biāo)體系的構(gòu)建與對策建議

王文琪

黑龍江省科學(xué)技術(shù)情報研究院,黑龍江 哈爾濱 150028

0 引言

科技成果體現(xiàn)著整個國家和社會的科技實力,而對科技成果進(jìn)行評價可以保障成果順利和加速轉(zhuǎn)化,鼓勵科研人員的積極性,是科技評價體系的重要組成部分。

2021年5月21日,中央全面深化改革委員會第十九次會議審議通過了《國務(wù)院辦公廳關(guān)于完善科技成果評價機(jī)制的指導(dǎo)意見》(國辦發(fā)〔2021〕26號)[1],要求各省制定綜合實施方案,集中各方面資源力量,系統(tǒng)完善本地區(qū)科技成果評價體系。黑龍江省也隨之加快了完善科技成果評價工作的進(jìn)程,并于2022年1月24日印發(fā)了《黑龍江省人民政府辦公廳關(guān)于完善科技成果評價機(jī)制的實施意見》(黑政辦規(guī)〔2022〕1號,下文簡稱《實施意見》)[2],提出了黑龍江省科技成果評價的分類,即基礎(chǔ)研究(含軟科學(xué))類成果、應(yīng)用研究類成果、技術(shù)開發(fā)和產(chǎn)業(yè)化類成果。不同類別的評價指標(biāo)充分反映成果的科學(xué)價值、技術(shù)價值、經(jīng)濟(jì)價值、社會價值和文化價值。

當(dāng)前黑龍江省科技成果指標(biāo)體系尚不健全,為探索出適合于黑龍江省科技發(fā)展水平的科技成果評價體系,本文以《實施意見》為指導(dǎo),展開相關(guān)研究。

1 科技成果評價指標(biāo)體系的構(gòu)建

1.1 科技成果評價方法的選擇

目前在科技成果評價中被廣泛采用的方法主要有同行評議法、德爾菲法(專家調(diào)查法)、綜合評價法等[3]。

同行評議法應(yīng)用在科技成果評價中,往往是通過選擇一定數(shù)量的行業(yè)專家,按照程序和要求,對某一科技成果提出定性或定量的評估意見[4]。評價專家往往具有豐富的經(jīng)驗,可以對相關(guān)科技成果提交較為客觀的評價,但也存在一定的缺點(diǎn),尤其是在當(dāng)前黑龍江省科技成果評價相關(guān)組織體系不健全的背景下,容易造成“走后門”“剽竊”“二流評價一流”等現(xiàn)象[5],且科技成果往往涉及到多學(xué)科交叉的情況,對專家的選擇也是難點(diǎn)。

德爾菲法又稱專家調(diào)查法,是通過函詢方式,反復(fù)征求專家意見,然后將專家趨于一致的意見作為最后評價的依據(jù)[6]。德爾菲法可以通過信息的流通和反饋,使預(yù)測意見趨向一致,逼近實際值,尤其是在專家之間不見面討論或匿名征集的情況下,可以得到較為真實的結(jié)果。德爾菲法相較于同行評議法,基本不受到空間和人員的限制,且操作費(fèi)用較低,適用于大部分場景。

綜合評價法又稱多指標(biāo)綜合評價方法,是指通過系統(tǒng)、規(guī)范的方法對多個指標(biāo)和多個單位同時進(jìn)行評價的方法[7]。綜合分析法是將被評價對象不同角度的指標(biāo),通過無量綱化處理后,綜合這些相對評價值,對評價對象進(jìn)行整體評價的一種方法。綜合評價法的優(yōu)點(diǎn)在于:可以不局限于某一角度、某一特征,通過多方面進(jìn)行分析,可以使多個單位使用同一系統(tǒng)進(jìn)行評價。但該方法缺點(diǎn)在于設(shè)計評價角度和權(quán)重時較為復(fù)雜,但由于其顯著的特點(diǎn)——綜合性和系統(tǒng)性,使得綜合評價方法得到人們的認(rèn)可[8]。

基于此,綜合分析法可以對科技成果進(jìn)行系統(tǒng)的描述,并對科技成果的整體狀態(tài)進(jìn)行綜合測定,對科技成果的復(fù)雜程度進(jìn)行分析,建立動態(tài)的評價指標(biāo)體系,從而得到定性與定量相結(jié)合的結(jié)果,更適合黑龍江省當(dāng)前科技發(fā)展的實際情況。故本文采用綜合分析方法構(gòu)建黑龍江省科技成果評價指標(biāo)體系。

1.2 科技成果評價指標(biāo)的選取

在科技成果評價體系中,科學(xué)合理的評價指標(biāo)體系至關(guān)重要,指標(biāo)體系的設(shè)置直接影響評價結(jié)果的客觀性和科學(xué)性。目前國內(nèi)科技成果評價盡管采用分類指標(biāo),并以加權(quán)方式獲得評價結(jié)果,但其分類指標(biāo)和指標(biāo)權(quán)重比例固定不變,評價的標(biāo)準(zhǔn)定量化問題依然存在,因而在構(gòu)建指標(biāo)體系時,在分類指標(biāo)基礎(chǔ)上,采用動態(tài)指標(biāo)的方式,力求評價結(jié)果能更真實地反映科研活動研究成果。

1)基礎(chǔ)研究(含軟科學(xué))類成果:重點(diǎn)評價科技成果在新發(fā)現(xiàn)、新觀點(diǎn)、新原理等方面的原創(chuàng)性和科學(xué)價值,應(yīng)定量與定性評價相結(jié)合。基于該要求,基礎(chǔ)研究(含軟科學(xué))類成果評價指標(biāo)如表1所示。

表1 基礎(chǔ)研究(含軟科學(xué))類成果評價指標(biāo)

2)應(yīng)用研究類成果:注重高質(zhì)量知識產(chǎn)權(quán)產(chǎn)出,把新技術(shù)、新材料、新工藝、新產(chǎn)品、新設(shè)備樣機(jī)性能作為評價指標(biāo),著重評價成果的創(chuàng)新性、成熟性、穩(wěn)定性、可靠性,以及科技成果轉(zhuǎn)化應(yīng)用情況及其在支撐引領(lǐng)行業(yè)產(chǎn)業(yè)發(fā)展中發(fā)揮的作用。基于該要求,應(yīng)用研究類成果評價指標(biāo)如表2所示。

表2 應(yīng)用研究類成果評價指標(biāo)

3)技術(shù)開發(fā)和產(chǎn)業(yè)化類成果(涉及軍工、國防等敏感領(lǐng)域除外):把技術(shù)交易合同金額、市場估值、市場占有率、重大工程或重點(diǎn)企業(yè)應(yīng)用情況等作為主要評價指標(biāo),重點(diǎn)評價集成性、先進(jìn)性、經(jīng)濟(jì)適用性、輻射帶動作用及產(chǎn)生的經(jīng)濟(jì)和社會效益,突出科技成果在服務(wù)全省主導(dǎo)產(chǎn)業(yè)、戰(zhàn)略性新興產(chǎn)業(yè)方面的價值。基于該要求,技術(shù)開發(fā)和產(chǎn)業(yè)化類成果評價指標(biāo)如表3所示。

1.3 科技成果評價指標(biāo)的無量綱處理方法的選擇

如前所述,科技成果評價指標(biāo)體系是由眾多指標(biāo)組成,各個指標(biāo)的計量單位、經(jīng)濟(jì)含義、表現(xiàn)形式以及對總目標(biāo)的作用、趨向等各不相同,因此,不同量綱的指標(biāo)值不具可比性,如萬元、篇、等級等,無法進(jìn)行統(tǒng)一,故評價時應(yīng)對其進(jìn)行無量綱化處理,消除量綱的影響,確保綜合評價結(jié)果的一致性。當(dāng)前常用的無量綱化處理方法主要包括極值化、標(biāo)準(zhǔn)化、均值化以及標(biāo)準(zhǔn)差化等方法[11](見表4)。

表4 常用的無量綱化處理方法

由于本文的研究各指標(biāo)均為正數(shù),符合趨同化要求,故在孵化器績效評價中,選用極值化方法進(jìn)行指標(biāo)的同質(zhì)化轉(zhuǎn)換。

1.4 科技成果評價指標(biāo)的權(quán)重設(shè)置方法

設(shè)置權(quán)重常用的方法有主成分分析法、熵值法、變異系數(shù)法、層次分析法(analytic hierarchy process,AHP)[12]。主成分分析法主要用于大樣本、多指標(biāo)、指標(biāo)關(guān)聯(lián)性強(qiáng)的情況,此方法可以從根本上解決指標(biāo)間信息重疊的問題,極大地簡化指標(biāo)體系,但指標(biāo)間相關(guān)程度較低時,主成分分析結(jié)果較差[13]。評價指標(biāo)是基于科技成果的科學(xué)、技術(shù)、經(jīng)濟(jì)、社會、文化價值設(shè)立的,各價值之間相關(guān)度不高,故不適用主成分分析法。熵值法與變異系數(shù)法都是客觀的權(quán)重設(shè)計方法,需要大量樣本支持,故不適用。層次分析法常用于解決復(fù)雜系統(tǒng)的權(quán)重分配及難以完全定量分析的問題,作為一種主觀結(jié)合客觀的賦權(quán)方法,其成效在較大程度上依賴于主觀判斷,因此,在運(yùn)用該方法時,往往采取專家評價的方式,邀請多位專家,發(fā)送評價表,經(jīng)填寫回收后進(jìn)行平均處理,進(jìn)而可以在較大程度上提高評價的合理性。另外,采用專家的意見,對問題具有較強(qiáng)的針對性。

對于具有多目標(biāo)評價特性的科技成果評價問題,應(yīng)具體問題具體分析,根據(jù)被評價對象本身的特性,在遵循客觀性、可操作性和有效性原則的基礎(chǔ)上選擇合適的評價方法。從上述分析可見,對于科技成果評價這樣具有復(fù)雜性且難以完全定量分析的問題,AHP法具有明顯優(yōu)勢。故本文選用AHP法確定權(quán)重。

2 科技成果評價的流程設(shè)計

基于評價指標(biāo)權(quán)重的動態(tài)設(shè)置,為保證其合理性,采用成果分批次評價方法,成果評價專家、評價指標(biāo)、指標(biāo)權(quán)重全部按批次確定,避免由于評價指標(biāo)絕對化和單一化對評價結(jié)果客觀性和公正性的影響。評價流程見圖1。

圖1 科技成果評價流程

在上述評價流程設(shè)計中,與評價指標(biāo)相關(guān)的重要環(huán)節(jié)包括專家遴選、動態(tài)指標(biāo)及評價專家確定、指標(biāo)權(quán)重確定、專家打分與數(shù)據(jù)無量綱處理、確定得分結(jié)果。

2.1 專家遴選

按科技成果評價管理相關(guān)規(guī)定,在科技成果評價專家?guī)熘绣噙x與被評價成果相匹配的專家。科技成果評價專家由中介機(jī)構(gòu)根據(jù)被評價科技成果的具體情況和所屬專業(yè)領(lǐng)域從專家?guī)熘羞x取,所選專家應(yīng)是在科技成果所屬領(lǐng)域或其他相關(guān)專業(yè)領(lǐng)域有著比較豐富的理論知識和實踐經(jīng)驗,熟悉該領(lǐng)域技術(shù)的發(fā)展趨勢和情況,在相關(guān)領(lǐng)域有著一定的學(xué)術(shù)地位,并且有能力為中介機(jī)構(gòu)提供科技成果評價服務(wù)。一般評價專家要包括技術(shù)、經(jīng)濟(jì)和管理方面的專家,技術(shù)專家不得少于1/3,不得多于2/3。

2.2 動態(tài)指標(biāo)及評價專家確定

遴選入圍專家通過權(quán)威性評價后方可作為正式專家參與成果評價活動。這一設(shè)計主要是保證專家的專業(yè)性、可信性以及指標(biāo)權(quán)重的客觀性和公正性。

通過向遴選專家發(fā)放調(diào)查問卷進(jìn)行動態(tài)指標(biāo)及成果評價專家的確定。問卷包括如下內(nèi)容。①調(diào)查問卷的填寫規(guī)則、填寫注意事項、回收時限等。②被評價的科技成果的基本信息。③具體指標(biāo)項目的合理性評價表。④若專家對擬訂的指標(biāo)有修改、刪減或增加等意見,可在問卷表中提出。⑤專家權(quán)威系數(shù)(Cr)調(diào)查:此部分包括專家熟悉程度(Cs)調(diào)查表和判斷依據(jù)(Ca)調(diào)查表。

計算公式為:

Cr=0.5×(Cs+Ca)

(1)

當(dāng)Cr大于0.7為可接受信度,認(rèn)為該專家符合要求,可以進(jìn)行后續(xù)評價工作,否則不能參與后續(xù)評價工作。當(dāng)Cr大于0.7的專家數(shù)大于規(guī)定評價專家數(shù)時,按得分順序確定參與評價的專家;若Cr大于0.7的專家數(shù)不滿足規(guī)定評價專家數(shù)時,重新進(jìn)行專家遴選。

第一輪調(diào)查結(jié)束后,評價專家確定,評價機(jī)構(gòu)對收集到的數(shù)據(jù)進(jìn)行整理、統(tǒng)計,依據(jù)專家意見,討論是否修改、刪減或增加指標(biāo)項,若有則根據(jù)討論結(jié)果形成第二輪調(diào)查問卷,重復(fù)上述流程,直至結(jié)果穩(wěn)定。指標(biāo)項穩(wěn)定的條件如下。①合理程度賦值均數(shù)大于3.5。②變異系數(shù)CV小于0.25。③滿分率大于20%。其中變異系數(shù)CV采用標(biāo)準(zhǔn)差除以平均數(shù)獲得。此時,評價指標(biāo)建立完成,評價專家組確定。

2.3 指標(biāo)權(quán)重的確定

評價指標(biāo)建立完成后,進(jìn)行評價指標(biāo)的權(quán)重設(shè)計。向?qū)＜野l(fā)放調(diào)查問卷二,問卷包括如下內(nèi)容。①填寫規(guī)則、填寫注意事項,回收時限等。②各指標(biāo)項目的重要程度評價表,打分依據(jù)相對重要性標(biāo)度表。

計算步驟:通過各評價指標(biāo)的重要程度表構(gòu)建判斷矩陣,并進(jìn)行一致性(CI)檢驗,若CI小于0.1認(rèn)為具有滿意的一致性,將其判斷矩陣所得權(quán)重納入考量范圍;若CI大于等于0.1,認(rèn)為未通過一致性檢驗,則返回校正,直至通過。對判斷矩陣最大特征值對應(yīng)的特征向量進(jìn)行歸一化,即為各指標(biāo)權(quán)重。此時,各評價指標(biāo)的權(quán)重確定完成。

2.4 專家打分、數(shù)據(jù)無量綱處理

專家對評價成果的創(chuàng)新性、先進(jìn)性、集成性、貢獻(xiàn)力等非客觀數(shù)據(jù)進(jìn)行打分;對客觀數(shù)據(jù),由于本指標(biāo)體系各指標(biāo)均為正指標(biāo),滿足趨同化要求,故而采用極值法進(jìn)行無量綱化處理,各指標(biāo)分?jǐn)?shù)Xi的計算公式為:

(2)

此時,被評價成果各指標(biāo)分?jǐn)?shù)確定。

2.5 確定結(jié)果

評價機(jī)構(gòu)依據(jù)專家打分和上述確定的權(quán)重對科技成果評價指標(biāo)進(jìn)行量化處理,得到被評價成果綜合得分(Z)。計算公式為:

(3)

3 科技成果評價對策建議

科技成果評價是科技管理的重要內(nèi)容之一,在科研管理過程中具有“指揮棒”作用。科技成果評價指標(biāo)體系是評價的重要組成部分,也是關(guān)鍵要素。評價指標(biāo)體系以評價標(biāo)準(zhǔn)為核心,由評價制度、評價方法、評價程序等共同構(gòu)成。2022年1月,黑龍江省政府辦公廳印發(fā)了《關(guān)于完善科技成果評價機(jī)制的實施意見》 (黑政辦規(guī)〔2022〕1號),根據(jù)《實施意見》要求,黑龍江省目前在成果評價指標(biāo)體系構(gòu)建方面還存在評價制度不完善、成果評價分類不清晰、評價指標(biāo)單一化、標(biāo)準(zhǔn)定量化、結(jié)果功利化、評價程序不規(guī)范、沒有專業(yè)化的第三方評價機(jī)構(gòu)和專業(yè)評價人才隊伍等問題。面對新時期科技成果評價工作的新要求,本文按《實施意見》構(gòu)建了以“五元”價值為指標(biāo),通過評價程序設(shè)計,對不同科研活動產(chǎn)生的成果評價實現(xiàn)動態(tài)確定指標(biāo)項和指標(biāo)項權(quán)重,從而達(dá)到科技成果評價定性和定量相結(jié)合的科技成果評價指標(biāo)體系。在此基礎(chǔ)上,本文提出黑龍江省目前科技指標(biāo)體系構(gòu)建的建議。

3.1 制定《實施意見》落實措施,推進(jìn)成果評價規(guī)范化

《實施意見》的出臺為黑龍江省科技成果評價工作提供了基本準(zhǔn)則,但在具體落實時,缺乏實施細(xì)則。應(yīng)盡快組織相關(guān)部門和相關(guān)行業(yè)制定科技成果評價管理辦法,針對計劃項目和非計劃項目,特別是科研人員自行研究成果的評價進(jìn)行規(guī)范,明確評價對象。對從事科技成果評價的機(jī)構(gòu)進(jìn)行規(guī)范,特別是對第三方評價機(jī)構(gòu)的管理,確保評價主體具備相應(yīng)資質(zhì)。盡快制定適合科研活動規(guī)律、反映科技成果價值的評價標(biāo)準(zhǔn)和評價流程,使科技成果評價活動科學(xué)規(guī)范。對科技成果評價結(jié)果的應(yīng)用進(jìn)行規(guī)范,特別是應(yīng)用類科技成果技術(shù)成熟度結(jié)果的應(yīng)用,對評價成果應(yīng)用轉(zhuǎn)化、知識產(chǎn)權(quán)等情況進(jìn)行跟蹤,借鑒知識產(chǎn)權(quán)管理模式,定期向社會公布科技成果評價結(jié)果,打通科技成果轉(zhuǎn)化的信息渠道,讓更多有價值的成果面向市場,從而推動產(chǎn)出高質(zhì)量科技成果。

配套制度可以使科技成果評價工作制度化、規(guī)范化、標(biāo)準(zhǔn)化,為科技成果評價加快市場化進(jìn)程提供制度保障。

3.2 建立“五元”價值評價指標(biāo),實現(xiàn)價值評價多元化

科技成果包含的不僅是科學(xué)價值和技術(shù)價值,更包含經(jīng)濟(jì)價值和社會價值。《實施意見》明確提出要開展科技成果多維度評價,同時要求根據(jù)科技成果不同特點(diǎn)和評價目的,有針對性地評價科技成果多元價值,避免評價指標(biāo)絕對化和單一化。在設(shè)計評價指標(biāo)時,一級指標(biāo)應(yīng)充分考慮科學(xué)價值、技術(shù)價值、經(jīng)濟(jì)價值、社會價值、文化價值維度,二級指標(biāo)則充分考慮不同成果的特點(diǎn)和評價目的。每級指標(biāo)的不同指標(biāo)項評價要點(diǎn)描述要體現(xiàn)考察目的。對于基礎(chǔ)理論研究成果要側(cè)重其科學(xué)價值和社會文化價值,對于應(yīng)用研究成果則側(cè)重其技術(shù)價值和經(jīng)濟(jì)價值,而對于技術(shù)開發(fā)和產(chǎn)業(yè)化成果其經(jīng)濟(jì)價值是首要評價指標(biāo),尤其是成果在推動黑龍江高質(zhì)量發(fā)展方面作出的貢獻(xiàn)應(yīng)是評價中的重要指標(biāo)。

3.3 采取動態(tài)確定評價指標(biāo)方法,破解評價標(biāo)準(zhǔn)定量化

目前國內(nèi)科技成果評價盡管采用分類指標(biāo),并以加權(quán)方式獲得評價結(jié)果,但其分類指標(biāo)和指標(biāo)權(quán)重比例對同類所有評價成果都固定不變。目前跨學(xué)科的科研活動日益廣泛,跨學(xué)科的科研成果也層出不窮,對某一類科技成果采用相同的評價標(biāo)準(zhǔn)和統(tǒng)一的權(quán)重,往往不能真實反映成果的實際情況。為解決評價標(biāo)準(zhǔn)定量化問題,在建立指標(biāo)體系時,應(yīng)在指標(biāo)分類基礎(chǔ)上,采取動態(tài)確定評價指標(biāo)項的方法,并通過模型對各指標(biāo)項的重要程度進(jìn)行評估,依據(jù)各指標(biāo)項的重要程度動態(tài)確定不同成果的指標(biāo)權(quán)重,減少評價標(biāo)準(zhǔn)定量化對評價結(jié)果的影響。在動態(tài)確定評價指標(biāo)時,也要充分考慮不同量綱(如萬元、篇等)指標(biāo)值不具可比性的問題,不同量綱進(jìn)行評價指標(biāo)同質(zhì)化轉(zhuǎn)換,消除量綱對評價一致性的影響。

4 結(jié)束語

目前,黑龍江省科技成果評價機(jī)制基本仍沿用科技計劃項目驗收的評價方式,不適應(yīng)新時期科技成果評價的新要求。大量社會化、市場化的非計劃科技成果缺乏評價渠道,這制約了科研人員的自主研究積極性,也不符合科技成果交易轉(zhuǎn)化和產(chǎn)業(yè)化應(yīng)用的需求。基于此,本文提出了一種科技成果評價指標(biāo)體系的構(gòu)建方式,以期對黑龍江省及其他省份科技成果評價指標(biāo)體系的構(gòu)建提供思路。未來,黑龍江省科技成果評價體系將朝著更加科學(xué)、綜合、公正、開放和靈活的方向發(fā)展,以更好地激勵科研創(chuàng)新,推動科技成果的轉(zhuǎn)化和應(yīng)用,為社會經(jīng)濟(jì)發(fā)展提供有力支撐。