基于評審結(jié)果的專家評價指標(biāo)體系研究

遲宸 劉馨陽 丁春光 聶國健

（工業(yè)和信息化部電子第五研究所工業(yè)裝備質(zhì)量大數(shù)據(jù)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 511370）

一、緒論

出于創(chuàng)新性與獨(dú)創(chuàng)性等各類考慮，目前行業(yè)內(nèi)專家評議形式是各類項(xiàng)目評審采取的主要方式。專家評議形式指各類同領(lǐng)域的專家依據(jù)事先確定的評審規(guī)則，評判該項(xiàng)目立項(xiàng)及擇優(yōu)的可行性、必要性、經(jīng)費(fèi)安排、預(yù)期成果等內(nèi)容[1]。而每位專家作為可獨(dú)立評判分?jǐn)?shù)個體，同樣會受到專業(yè)性因素，喜好性因素或其他因素的影響，進(jìn)而影響評審的公正性。而項(xiàng)目評審結(jié)果是否客觀公正，直接關(guān)系到能否合理分配各級科研資源。因此，如何建立一套量化、直觀的專家評價指標(biāo)體系，基于每位專家長期以來的各輪評審評價，反向分析專家在評審過程中是否盡職盡責(zé)，支撐高水平、高素質(zhì)專家信息庫的建設(shè)，是項(xiàng)目管理部門必須面對的問題。

目前國內(nèi)外公開報(bào)道中，尚未見系統(tǒng)完整的基于評審結(jié)果的專家評價指標(biāo)體系[2]。盡管有少量相關(guān)研究報(bào)道，但目前仍很少見各類可數(shù)值化表示的指標(biāo)體系，對于評審專家的評價工作無法定量考核，難以直接應(yīng)用。在當(dāng)前項(xiàng)目管理工作中，專家管理更側(cè)重于專家選拔、任務(wù)分配、能力培訓(xùn)、綜合考評等方面，而疏于使用數(shù)學(xué)工具挖掘評審結(jié)果。因此建立一套量化的基于評審結(jié)果的專家評價指標(biāo)體系，為專家管理提供數(shù)值依據(jù)，能夠有效的彌補(bǔ)當(dāng)前專家管理工作缺乏對評審結(jié)果分析的缺憾。

本文中研究在研究分析評審結(jié)果表述形式、評審專家評價偏差來源、評價偏差與評審?fù)庖蛩氐年P(guān)聯(lián)性、評價偏差的分布模式的基礎(chǔ)上，針對大數(shù)據(jù)支撐專家評審的需要，基于統(tǒng)計(jì)學(xué)相關(guān)理論基礎(chǔ)，提出一套兼具適用性、表征性、實(shí)用性的專家評價指標(biāo)體系。該指標(biāo)體系有以下優(yōu)點(diǎn)：

（一）適用性強(qiáng)。可同時適用于各類評分評價體系、經(jīng)費(fèi)評價體系、通過/不通過評價體系等多種數(shù)值體系的評審結(jié)果。可廣泛應(yīng)用于各級項(xiàng)目評審、競爭擇優(yōu)等各類活動中。

（二）表征性強(qiáng)。能夠定量的反映專家打分習(xí)慣、專家對特定項(xiàng)目及特定承接單位的傾向性。

（三）實(shí)用性強(qiáng)。貼近量化支撐專家評價工作的實(shí)際需求，滿足對評審過程中的專家的專業(yè)性、公正性的分析需要。

二、評價體系指標(biāo)總體要求

在各類項(xiàng)目評審中，參與評審專家主要基于自身技術(shù)水平及信息積累，對參與項(xiàng)目評審的各參評方的參評材料開展審核并給出相應(yīng)評分。而本文中就是基于每一位專家評分?jǐn)?shù)據(jù)的積累，進(jìn)而對各位專家本身專業(yè)性和公正性開展評價。該評價出于以下體系指標(biāo)考慮，有幾點(diǎn)要求：

（一）專家專業(yè)性因素對項(xiàng)目評審影響

隨著目前項(xiàng)目評審數(shù)進(jìn)一步增加，涉及邀請專家人數(shù)隨之增長，但可能由于主辦方篩選疏忽，無法保障專家對該項(xiàng)目有足夠了解，導(dǎo)致個別專家專業(yè)性有所不足，對該項(xiàng)目本身技術(shù)要求認(rèn)知不夠全面，對項(xiàng)目本身專業(yè)性評審產(chǎn)生影響。

（二）專家喜好因素對項(xiàng)目評審影響

個別專家可能對于特定項(xiàng)目涉及參評方會有偏好考慮，例如專家對于某項(xiàng)技術(shù)路線有所偏好，對其他技術(shù)路線評價不高，因此導(dǎo)致對自己偏好的技術(shù)路線參評方打分較高，進(jìn)而會對項(xiàng)目評審本身公正性產(chǎn)生影響。

（三）專家偶然因素對項(xiàng)目評審影響

個別專家由于各類偶然因素，對于項(xiàng)目本身具有不確定性考慮，也可能對項(xiàng)目本身公正性評價產(chǎn)生影響。

通過分析各專家對于項(xiàng)目評審數(shù)據(jù)的積累，基于以上指標(biāo)體系構(gòu)建要求，建立本指標(biāo)體系。本指標(biāo)體系由評審結(jié)果表示、評審結(jié)果歸一化、項(xiàng)目真實(shí)水平估計(jì)、偏差值計(jì)算、評價指標(biāo)體系構(gòu)建、分項(xiàng)得分計(jì)算、總評價分計(jì)算幾部分組成，內(nèi)在邏輯關(guān)系如圖1所示。

圖1 基于評審結(jié)果的專家評價指標(biāo)體系工作流程

當(dāng)專家評價指標(biāo)體系建立后，可有效定量評估所選評審專家過去評價是否公平公正，通過對其評分指標(biāo)的考核，了解專家在評議工作中的表現(xiàn)，有利于今后對評審專家的篩選，形成基本評審專家隊(duì)伍，建立專家?guī)欤瑢罄m(xù)項(xiàng)目評審提供重要支撐。

三、具體思路

（一）評審結(jié)果表示

就每位專家對每個項(xiàng)目的評審結(jié)果（包括評分?jǐn)?shù)據(jù)/經(jīng)費(fèi)數(shù)據(jù)/是否通過）用數(shù)據(jù)矩陣表示，即為記為α。若m位專家對個n項(xiàng)目評審，最終的評審結(jié)果可記為：

矩陣中數(shù)值為專家i對項(xiàng)目j的評審結(jié)果。對于評分評審，的數(shù)值為評審得分；對于經(jīng)費(fèi)評審，的數(shù)值為建議經(jīng)費(fèi)；對于是否通過評審，通過時的數(shù)值為1，不通過時的數(shù)值為0。

（二）評審結(jié)果歸一化

由于評審結(jié)果的不同類別，會形成各類不同數(shù)值體系。為建立統(tǒng)一的比較標(biāo)準(zhǔn)，需要進(jìn)行歸一化。歸一化后的評審結(jié)果矩陣為：

根據(jù)不同需要設(shè)置ρ的數(shù)值，對于評分評審，ρ的數(shù)值為評分滿分；對于經(jīng)費(fèi)評審，ρ的數(shù)值為評審建議經(jīng)費(fèi)；對于通過/不通過評審，ρ的數(shù)值為1。

若評審采取了唯一的數(shù)值體系要求，可不進(jìn)行歸一化處理，即ρ的數(shù)值為1。

（三）項(xiàng)目真實(shí)水平估計(jì)

基于專家專業(yè)、公正，且評審結(jié)果相互獨(dú)立的情況下，建立項(xiàng)目真實(shí)水平評估體系，將項(xiàng)目j獲得的平均評審結(jié)果作為項(xiàng)目真實(shí)水平估計(jì)，即

若評審專家人數(shù)較少（一般可取值在30以下）的評審，為提升結(jié)果的準(zhǔn)確度，可選取去除最高評價與最低評價之后的平均值作為項(xiàng)目真實(shí)水平估計(jì)，即

或選取評分中位數(shù)作為項(xiàng)目真實(shí)水平估計(jì)，即

（四）偏差值計(jì)算

偏差值是某一位專家的評審結(jié)果與該項(xiàng)目真實(shí)水平估計(jì)的差值，專家i對項(xiàng)目j評審結(jié)果的偏差值為：

根據(jù)我們前期需求分析的結(jié)果，偏差值?ij可拆分為為個性偏差、隨機(jī)偏差與傾向偏差，即：

個性偏差?Ci：專家對技術(shù)難度和評價標(biāo)準(zhǔn)的理解存在不同差異，給出整體偏高或偏低的評價。?Ci可使用專家i的所有偏差值的平均值估算。

隨機(jī)偏差?Ri：專家受偶然因素影響，在對受主觀影響較強(qiáng)的評審項(xiàng)打分時，評審結(jié)果無意識的波動；

傾向偏差?Bij：專家受個人喜好因素影響，對特定的項(xiàng)目或承接單位，主動的提升或壓低評審結(jié)果。

（五）構(gòu)建基于評審結(jié)果的專家評價指標(biāo)體系

表1 專家評價指標(biāo)體系指標(biāo)計(jì)算方法

（六）分項(xiàng)得分計(jì)算方法

專家得分由4個分項(xiàng)得分綜合計(jì)算得到，各分項(xiàng)得分計(jì)算方法如下：

表2 分項(xiàng)得分計(jì)算方法

（七）綜合評價得分

專家得分計(jì)算方法如下：

專家評分=個性偏差分項(xiàng)得分×K1+隨機(jī)偏差標(biāo)準(zhǔn)方差分項(xiàng)得分×K2+平均項(xiàng)目傾向值分項(xiàng)得分×K3+平均單位傾向值分項(xiàng)得分×K4+傾向正確率分項(xiàng)得分×K5

其中，K1、K2、K3和K4都是比例系數(shù)，可根據(jù)需要調(diào)整，但需滿足以下條件：

K1+K2+K3+K4+K5=1

K1≥0，K2≥0，K3≥0，K4≥0，K5≥0

四、結(jié)束語

本文所建立的基于評審結(jié)果的專家評價指標(biāo)體系，能夠?qū)⒃u項(xiàng)目專家的專業(yè)性與公正性開展分析，可以定量評價專家對項(xiàng)目、專家對承接單位的主觀傾向性，并運(yùn)用數(shù)理統(tǒng)計(jì)方法篩選需要關(guān)注的分歧項(xiàng)目。

該指標(biāo)體系為我國元器件科研領(lǐng)域評審專家評價工作提供了依據(jù)，解決了對評審專家進(jìn)行反評價的難題，填補(bǔ)了國內(nèi)空白。本文提出的基于評審結(jié)果的專家評價指標(biāo)體系將作為專家評價手段運(yùn)用于評審專家保留與淘汰工作中，確保項(xiàng)目的評審工作由具備紀(jì)律性、責(zé)任性、技術(shù)要求達(dá)標(biāo)的專家團(tuán)隊(duì)完成，為項(xiàng)目評審公平公正提供了有力的保證，提供巨大社會效益。