科技成果評價中專家評級模型研究

張瓊麗，陳 翼

(1.國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作四川中心，四川 成都 610000；2.四川省計算機研究院，四川 成都 610000)

0 引言

科技成果評價是科技成果登記、科研計劃立項、生產(chǎn)許可證審批、科技成果轉(zhuǎn)讓交易、科技資產(chǎn)評估、科技成果宣傳推廣以及申報國家級高新技術(shù)企業(yè)、省級和國家級科技型中小企業(yè)技術(shù)創(chuàng)新基金等的重要依據(jù)。

2016年，國務(wù)院印發(fā)《“十三五”國家科技創(chuàng)新規(guī)劃》提出改革科技評價制度，建立以科技創(chuàng)新質(zhì)量貢獻績效為導(dǎo)向的分類評價體系，正確評價科技創(chuàng)新成果的科學(xué)價值、技術(shù)價值、經(jīng)濟價值、社會價值、文化價值；推進高等學(xué)校和科研院所分類評價，實施績效評價，把技術(shù)轉(zhuǎn)移和科研成果對經(jīng)濟社會的影響納入評價指標，將評價結(jié)果作為財政科技經(jīng)費支持的重要依據(jù)；推行第三方評價，探索建立政府、社會組織、公眾等多方參與的評價機制，拓展社會化、專業(yè)化、國際化評價渠道。這就需要第三方科技成果評價機構(gòu)建立一套標準化的評價工作流程，確保評價程序的公平公正。

一般科技成果評價的指標體系有：①技術(shù)創(chuàng)新程度、技術(shù)指標先進程度。②技術(shù)難度和復(fù)雜程度。③成果的重現(xiàn)性和成熟程度。④成果應(yīng)用價值與效果。⑤取得的經(jīng)濟效益與社會效益。⑥進一步推廣的條件和前景。⑦存在的問題及改進意見。

構(gòu)成成果評價模型的5個要素分別為：被評價對象、評價指標、權(quán)重系數(shù)、綜合評價模型和評價者。當各被評價對象和評價指標值都確定以后，評價結(jié)論與權(quán)值體系、評價模型和評價者有關(guān)，屬于多屬性決策問題。

多屬性決策(multiple attribute decision-making)是指對多個方案在多個準則下的準則值進行集成并排序。多屬性決策理論和方法在工程、技術(shù)、經(jīng)濟、管理和軍事等諸多領(lǐng)域中都有廣泛的應(yīng)用[1]。

2019年，四川省人民政府辦公廳印發(fā)了《四川省深化科研項目評審改革實施方案》，文件指出，完善評審專家遴選規(guī)范。合理確定評審專家遴選條件和專家組組成原則，以同行評審為基本原則，主要選取活躍在科研一線的專家參與評審，充分考慮其專業(yè)水平和知識結(jié)構(gòu)。與產(chǎn)業(yè)應(yīng)用結(jié)合緊密的項目，還應(yīng)選取活躍在生產(chǎn)一線的企業(yè)專家參與評審。邀請省內(nèi)外高水平專家參與評審，擴大企業(yè)專家參與項目評審比重。因此，對專家的評價考核在科技項目成果評價中也占據(jù)重要的地位。

文章借助多屬性決策理論，根據(jù)專家評分與群體決策之間的關(guān)聯(lián)關(guān)系，給出了專家熵權(quán)求解方法，構(gòu)建適用于科技成果評價的專家評級模型，并用算例驗證其可行性。

1 多屬性決策模型理論簡介

多屬性決策是指給定的根據(jù)備選方案在不同屬性集下相關(guān)信息，同時考慮不同屬性的重要性，以從備選方案中選擇最優(yōu)方案或是導(dǎo)出備選方案的排序[2]。

多屬性決策問題描述如下。

單個專家的各方案的得分為：

(1)

專家群決策狀態(tài)下各方案的得分：

(2)

多屬性群決策權(quán)重包含屬性(指標)權(quán)重和專家權(quán)重兩部分，屬性(指標)權(quán)重作為具體的決策標準，一旦確定就不宜更改[3]。

在科技成果評價中專家打分會有差異，一般群體決策是集體決策體現(xiàn)，理想狀態(tài)是針對某個具體對象，專家間的決策結(jié)果應(yīng)該趨于一致，避免出現(xiàn)過高和過低的打分情況。因此，本模型引入信息熵的概念，用來度量群決策中專家個人決策行為在集體決策中的熵值[4]，進而定義其偏離度，根據(jù)偏離度和統(tǒng)計數(shù)據(jù)來為專家進行評級。

2 專家評價分級模型

根據(jù)信息熵理論可知，熵是對不確定性的數(shù)學(xué)度量。

(3)

其中，n為信號源的信號數(shù)，Pi為第i種信號出現(xiàn)的概率。利用等概率原理可以證明，H與熵的統(tǒng)計表達式在形式上是可以互相轉(zhuǎn)換的。當?shù)玫阶銐虻男畔⒑笏年P(guān)于事物運動狀態(tài)的不確定程度，也就是信息量。當獲取足夠的信息所消除的關(guān)于事物運動狀態(tài)的不確定程度，因此信息量I為信息熵的對立面，Δ為信息熵增量的負值，即

I=-ΔH

(4)

一個開放的系統(tǒng)，獲取信息即等同于吸收了負熵，可使系統(tǒng)的不確定性、紊亂程度減少并趨于有序；丟失信息時，系統(tǒng)的熵增加，無序度隨之增加。因此，信息與熵彼此是互補的[5]。

由熵的概念不難理解，此時系統(tǒng)的紊亂程度最高，熵值應(yīng)該最大。由熵的這個性質(zhì)可知，如果各位專家在不同方案上的決策結(jié)果越接近，則其熵值越大。即專家的熵越大，表明結(jié)果差異程度越小，決策者的決策結(jié)果與群體決策結(jié)果差異越小[6]。

針對n個評價對象，組織s位專家進行評價，根據(jù)公式(1)(2)(3)可知，專家個體評價結(jié)果矩陣為J=[yik]n×s，其中，i=1，2，3，…，n；k=1，2，3，…，s。第K個專家的熵為

(5)

(6)

此時，專家熵值越大，決策者的決策結(jié)果與群體決策結(jié)果差異越小，從專家管理角度，專家在評分時的偏差概率較小，應(yīng)賦予較高的等級。此外，專家的等級還應(yīng)與其參與評審活動的頻率有關(guān)。綜上，可定義專家評定等級為：

(7)

其中，Tk為專家參加評審的頻率，α和β是相應(yīng)的參數(shù)，可根據(jù)科技項目的專家管理辦法進行動態(tài)調(diào)整。

專家評價分級流程如下。

步驟1：利用公式(1)和公式(2)計算專家群決策狀態(tài)下各方案的得分。

步驟2：利用公式(3)和(5)計算專家的熵權(quán)。

步驟3：利用公式(6)和(7)計算專家的評定等級。

3 算例分析

針對某科研項目評審活動，建立了4個一類評估指標和15個二級評估指標的指標體系，邀請6位專家對4個項目進行打分，構(gòu)建的評價指標體系如表1所示。

表1 項目評價指標體系

1)步驟1：利用公式(1)和公式(2)計算專家群決策狀態(tài)下各方案的得分，如下所示。

2)步驟2：利用公式(3)和(5)計算專家的熵權(quán)，如下所示。

E=(0.036 6 0.040 6 0.099 5 0.086 1 0.054 1 0.0203)

3)步驟3：利用公式(6)和(7)計算專家的評定等級，Tk=100，α=β=0.5，其結(jié)果如下。

專家3>專家4>專家5>專家2 >專家1>專家6。

由此可見，第三個專家在參與項目評審時其決策結(jié)果與群體決策之間差異最小，按照專家管理辦法，其級別應(yīng)為最優(yōu)。

4 結(jié)語

多屬性群決策在決策科學(xué)中較為重要，被廣泛應(yīng)用于各領(lǐng)域，如經(jīng)濟社會和軍事管理等。多屬性群決策中既需要關(guān)注屬性對決策的影響，又需要關(guān)注專家的能力、經(jīng)驗對決策的影響。在科技項目評價中，需要建設(shè)專家?guī)欤绾胃鶕?jù)專家的履歷和參與項目評選活動效果，綜合對專家進行評判和打分是今后重要工作。文章利用多屬性群決策理論，構(gòu)建了科技成果評價中專家評價模型，可為大型科技項目建設(shè)專家?guī)焯峁Q策依據(jù)。