基于科技項(xiàng)目評(píng)審專家異質(zhì)性的共識(shí)測(cè)度方法

李 山，王 俊，趙旭東

（1.華東交通大學(xué)經(jīng)濟(jì)管理學(xué)院，江西南昌 330013；2.江西新型智庫(kù)數(shù)據(jù)中心，江西南昌 330013）

0 引言

現(xiàn)行同行評(píng)議制度下，非共識(shí)項(xiàng)目由于其風(fēng)險(xiǎn)性與同行評(píng)議制度的不相適應(yīng)，導(dǎo)致此類項(xiàng)目大量落選［1-2］。非共識(shí)項(xiàng)目所蘊(yùn)含的重大創(chuàng)新是現(xiàn)代科學(xué)發(fā)展所必需的元素，近現(xiàn)代科學(xué)許多重大發(fā)現(xiàn)與突破都發(fā)源于蘊(yùn)藏著潛在機(jī)遇的非共識(shí)項(xiàng)目［3］。因此非共識(shí)項(xiàng)目的再挖掘就顯得尤為重要［4］。對(duì)于非共識(shí)項(xiàng)目的再挖掘，首先就是推薦合適的專家組［5］，若僅依據(jù)現(xiàn)有專家推薦要素即專家研究方向、學(xué)術(shù)關(guān)系等遴選專家［6-7］，專家的評(píng)審認(rèn)知依舊可能會(huì)導(dǎo)致非共識(shí)現(xiàn)象大量存在［8］。共識(shí)度反映的是專家組評(píng)審總體認(rèn)知，共識(shí)度越高，越利于非共識(shí)項(xiàng)目的再挖掘［9］，因此，若要為非共識(shí)項(xiàng)目的再挖掘推薦合適的專家組，有必要引入評(píng)審專家群體共識(shí)度測(cè)算。國(guó)內(nèi)外共識(shí)度的相關(guān)研究?jī)A向于偏好相似程度的度量和集結(jié)［10］，集中于OWA 算子、模糊語(yǔ)義量化等方法［11］。在項(xiàng)目評(píng)審領(lǐng)域，暫未出現(xiàn)專家評(píng)審共識(shí)度計(jì)算的相關(guān)文獻(xiàn)，因此本文利用科技項(xiàng)目同行評(píng)議數(shù)據(jù)，結(jié)合歷史評(píng)審數(shù)據(jù)與專家知識(shí)計(jì)算共識(shí)度，充分考慮專家歷史信息與當(dāng)下信息，在保證相對(duì)客觀的同時(shí)，也能反映專家的主觀偏好信息。本文提出的共識(shí)度測(cè)算方法具體過(guò)程是以2020 年某科研類科技項(xiàng)目評(píng)審數(shù)據(jù)為研究對(duì)象，評(píng)審專家有著豐富的學(xué)術(shù)背景，存在大量公開(kāi)發(fā)表的論文等數(shù)據(jù)可以作為專家知識(shí)度量的依據(jù)。因此，首先通過(guò)這些學(xué)術(shù)型評(píng)審專家歷史評(píng)審數(shù)據(jù)［12］構(gòu)建的專家先驗(yàn)權(quán)重，結(jié)合反映專家異質(zhì)性的主題覆蓋度和權(quán)威度［13］確定的專家后驗(yàn)權(quán)重，得到最終的專家權(quán)重，再利用互反矩陣共識(shí)決策算法［14］11計(jì)算專家評(píng)審結(jié)果的共識(shí)方案排序，并利用排名偏差重疊計(jì)算每位專家的評(píng)審共識(shí)度。

1 文獻(xiàn)綜述

大群體決策共識(shí)過(guò)程是指決策群體通過(guò)討論或其他方式協(xié)調(diào)不同意見(jiàn)與看法，達(dá)成某種意義上的一致，最終做出決策［15］，此過(guò)程主要包含群體共識(shí)度的測(cè)度以及非共識(shí)的修正兩個(gè)步驟［16-17］。科技項(xiàng)目評(píng)審亦屬群體決策，對(duì)于難以做出決策的非共識(shí)項(xiàng)目，則需要為其推薦合適的專家組對(duì)其進(jìn)行再挖掘［18-19］。現(xiàn)有專家遴選標(biāo)準(zhǔn)主要包括專家權(quán)威度、專家知識(shí)結(jié)構(gòu)、主題匹配度、專家學(xué)術(shù)關(guān)系網(wǎng)等［20］，若依舊按照現(xiàn)有標(biāo)準(zhǔn)遴選專家，評(píng)審專家的主觀認(rèn)知和偏好依舊會(huì)導(dǎo)致非共識(shí)現(xiàn)象的產(chǎn)生［21］。共識(shí)度反映的是專家組評(píng)審偏好的一致性，共識(shí)度越高，越利于挖掘出有價(jià)值的非共識(shí)項(xiàng)目［9］，因此針對(duì)非共識(shí)項(xiàng)目的評(píng)審專家推薦，需要引入反映專家評(píng)審偏好的共識(shí)度。但由于群體內(nèi)的異質(zhì)性難以量化，共識(shí)度的難以測(cè)度直接對(duì)決策環(huán)境的共識(shí)進(jìn)程產(chǎn)生影響，因此，共識(shí)度的測(cè)度一直是研究熱點(diǎn)［22］。現(xiàn)有研究主要集中于偏好相似程度的度量和集結(jié)中［10］。在偏好相似程度的度量方面，Liu 等［23］依據(jù)曼哈頓距離計(jì)算偏好相似度；Wu 等［24］提出度量偏好相似程度的重要依據(jù)之一是個(gè)體評(píng)價(jià)的傳遞性特征；王運(yùn)等［25］融合用戶與物品之間關(guān)系提出了偏好相似度的概率矩陣分解推薦算法；Wang 等［26］和Zhang等［27］都利用了規(guī)劃模型測(cè)度并改進(jìn)個(gè)體評(píng)價(jià)中的偏好相似程度。在偏好關(guān)系的集結(jié)方面，OWA 算子是最經(jīng)典的集結(jié)模型［28］；Liu 等［11］依據(jù)決策者自信程度集結(jié)偏好關(guān)系；羅世華等［29］提出一種改進(jìn)的Choquet Bonferroni 算子，將偏好關(guān)系轉(zhuǎn)化為決策者權(quán)重后再集結(jié)；Del 等［30］通過(guò)測(cè)算不同集結(jié)方式對(duì)群體共識(shí)度的影響，提出了基于有序集結(jié)算子的集結(jié)模型。根據(jù)上述研究，發(fā)現(xiàn)群體共識(shí)度測(cè)算存在以下不足：一方面，現(xiàn)有文獻(xiàn)對(duì)科技項(xiàng)目評(píng)審共識(shí)度的關(guān)注較少；另一方面，專家的異質(zhì)性在測(cè)算中并未得以區(qū)分，如專家研究方向、權(quán)威度的差異極易導(dǎo)致共識(shí)度的計(jì)算產(chǎn)生偏差，且未考慮專家歷史評(píng)審偏好。基于以上考慮，本文提出了一種結(jié)合歷史信息與當(dāng)下信息的共識(shí)度測(cè)算方法，選擇某次科技項(xiàng)目專家評(píng)審數(shù)據(jù)為研究對(duì)象，結(jié)合此次評(píng)審專家的歷史評(píng)審數(shù)據(jù)測(cè)度歷史評(píng)審偏好，并結(jié)合專家研究背景知識(shí)計(jì)算此次評(píng)審活動(dòng)的群體共識(shí)度。

在方法的選擇上，群體共識(shí)是現(xiàn)代決策科學(xué)的重要組成部分，是目前決策領(lǐng)域的研究熱點(diǎn)之一，國(guó)內(nèi)外在共識(shí)模型、算法及其應(yīng)用等方面具有深度研究［31］。吳志彬［14］11在《群體共識(shí)決策理論與方法》中闡述的基于互反矩陣的群體共識(shí)決策方法，不僅考慮了個(gè)體理性和群體理性，而且分別給出了個(gè)體一致性改進(jìn)和群體共識(shí)達(dá)成的算法，具有良好的可調(diào)節(jié)性。因此本文選擇互反矩陣共識(shí)決策用以計(jì)算依據(jù)專家評(píng)審數(shù)據(jù)達(dá)成的共識(shí)決策方案，但此方法在專家權(quán)重確定時(shí)主觀賦予每位專家相同權(quán)重，專家的異質(zhì)性并未得以體現(xiàn)。權(quán)重作為專家異質(zhì)性的一種重要表達(dá)方式，一直都是群體決策領(lǐng)域的重點(diǎn)研究問(wèn)題［32］，學(xué)者從很多方面對(duì)該問(wèn)題展開(kāi)了研究。易平濤等［12］根據(jù)數(shù)據(jù)聚類思想及信息集結(jié)方法、時(shí)間權(quán)向量的求解思路，給出了一種兼顧專家先驗(yàn)權(quán)重和后驗(yàn)權(quán)重的權(quán)重確定方法；趙千等［13］提出融合主題覆蓋度和專家權(quán)威度的專家推薦框架，綜合考慮覆蓋度和權(quán)威度兩種因素作為專家權(quán)重。本文為計(jì)算專家的異質(zhì)性，首先借助易平濤等［12］人的研究提出的先驗(yàn)權(quán)重確定方法，以專家歷史評(píng)審數(shù)據(jù)確定專家歷史評(píng)審偏好作為先驗(yàn)權(quán)重；其次參考趙千等［13］人的研究提出的專家權(quán)重確定方法，結(jié)合專家研究方向與項(xiàng)目?jī)?nèi)容的相似度、權(quán)威度作為后驗(yàn)權(quán)重；最后結(jié)合先驗(yàn)權(quán)重與后驗(yàn)權(quán)重得到最終專家權(quán)重。此權(quán)重確定方法同時(shí)兼顧專家歷史信息和當(dāng)下信息，并考慮了專家研究方向、權(quán)威度等極易導(dǎo)致共識(shí)度產(chǎn)生偏差的指標(biāo)。由于后驗(yàn)權(quán)重的計(jì)算依賴于專家公開(kāi)發(fā)文數(shù)據(jù)作為基礎(chǔ)，因此本次研究對(duì)象針對(duì)的是科研類科技項(xiàng)目評(píng)審專家，這些專家均有豐富的學(xué)術(shù)背景，有著大量公開(kāi)發(fā)表的論文，可以用于測(cè)度專家知識(shí)。確定專家權(quán)重后，以互反矩陣共識(shí)決策計(jì)算本次評(píng)審活動(dòng)的共識(shí)決策方案，再利用Chen 等［33］提出的排名偏差重疊計(jì)算每位專家與共識(shí)決策方案的相似程度得到群體共識(shí)度。

2 問(wèn)題描述與條件假設(shè)

本文要解決的問(wèn)題是：一是決策者異質(zhì)性權(quán)重的獲取。在過(guò)往共識(shí)度的計(jì)算中，決策者異質(zhì)性一直是難點(diǎn)之一，本文利用決策者背景數(shù)據(jù)，通過(guò)Word2Vec 詞向量模型、Critic 法等方法測(cè)度異質(zhì)性權(quán)重。二是共識(shí)度的獲取。借助客觀數(shù)據(jù)，通過(guò)互反矩陣共識(shí)決策模型獲取共識(shí)決策方案，并對(duì)比各決策者方案，通過(guò)排名偏差重疊計(jì)算得到共識(shí)度。為了更準(zhǔn)確地說(shuō)明問(wèn)題，現(xiàn)給出2 個(gè)假設(shè)：

（1）決策者均為本次評(píng)價(jià)活動(dòng)專業(yè)相關(guān)領(lǐng)域的專家；

（2）各位專家的判斷具有一定的穩(wěn)定性。

3 基礎(chǔ)知識(shí)

3.1 互反矩陣

3.2 個(gè)體一致性度量

根據(jù)吳志彬等［14］12關(guān)于個(gè)體一致性的度量標(biāo)準(zhǔn)，給出以下的定義。

則稱A為具有滿意一致性的互反矩陣。

3.3 共識(shí)程度度量

定義5：令A(yù)1,A2,,Am為m個(gè)互反矩陣。假設(shè)是由幾何平均算子集結(jié)得到的群體互反矩陣。的群體共識(shí)一致性指標(biāo)定義為

4 方法與基本原理

4.1 決策者權(quán)重的確定

m個(gè)決策者針對(duì)n個(gè)項(xiàng)目做決策，在決策過(guò)程中由于決策者之間研究方向、判斷水平等知識(shí)存在差異，每位決策者以不同的方式解釋評(píng)價(jià)指標(biāo)，導(dǎo)致決策者最終決策未能達(dá)成共識(shí)。

4.1.1 決策者先驗(yàn)權(quán)重

通過(guò)歷史評(píng)審數(shù)據(jù)來(lái)反映決策者的歷史評(píng)審水平，并與最終評(píng)審結(jié)果對(duì)比［12］。具體過(guò)程如下：

（1）收集每位決策者歷史評(píng)審數(shù)據(jù)，將每位決策者評(píng)審數(shù)據(jù)處理為表1 形式。

表1 決策者歷史評(píng)審信息

（2）決策者歷史序值相關(guān)系數(shù)的計(jì)算。本文采用斯皮爾曼等級(jí)相關(guān)系數(shù)對(duì)決策者在不同時(shí)期內(nèi)的評(píng)審結(jié)果進(jìn)行序值的相關(guān)系數(shù)計(jì)算，其計(jì)算公式為：

式（6）中：d表示序值之間的差距，j表示等級(jí)個(gè)數(shù)，序值一致性越高r越大。

（3）運(yùn)用指數(shù)平滑推測(cè)本次評(píng)審中決策者的序值相關(guān)系數(shù)。一次指數(shù)平滑的公式為：

4.1.2 決策者后驗(yàn)權(quán)重

在評(píng)審過(guò)程中，由于決策者研究方向的影響，決策者對(duì)與自己研究方向相近的評(píng)審項(xiàng)目會(huì)有更清晰的判斷，因此以主題覆蓋度來(lái)反映該影響因素。同時(shí)，決策者權(quán)威度會(huì)導(dǎo)致決策的可信度產(chǎn)生偏差，因此選擇將主題覆蓋度與決策者權(quán)威度同時(shí)納入專家權(quán)重的計(jì)算，并稱之為后驗(yàn)權(quán)重。

（1）主題覆蓋度。

利用決策者發(fā)文摘要與項(xiàng)目研究?jī)?nèi)容，通過(guò)Word2vec 詞向量模型輸出摘要-研究?jī)?nèi)容詞對(duì)，計(jì)算余弦相似度，以此反映決策者研究方向與評(píng)審項(xiàng)目研究?jī)?nèi)容的相關(guān)程度，即主題覆蓋度。具體步驟如下：

①將決策者發(fā)文摘要與評(píng)審項(xiàng)目研究?jī)?nèi)容去除停用詞，切分成詞的形式并導(dǎo)入語(yǔ)料庫(kù)，處理成Word2vec 模型的訓(xùn)練格式。

②建立所有決策者的發(fā)文摘要與所有評(píng)審項(xiàng)目研究?jī)?nèi)容的Word2vec 詞向量模型。

③通過(guò)余弦相似度對(duì)訓(xùn)練得到的摘要—研究?jī)?nèi)容詞向量計(jì)算決策者發(fā)文摘要與評(píng)審項(xiàng)目研究?jī)?nèi)容的相似程度。余弦相似度的計(jì)算公式為：

④主題覆蓋度權(quán)重計(jì)算公式為：

（2）決策者權(quán)威度。

決策者權(quán)威度的計(jì)算需要利用決策者論文發(fā)表量、h 指數(shù)、被引量等指標(biāo)信息，通過(guò)critic 權(quán)重法對(duì)決策者權(quán)重進(jìn)行計(jì)算。具體步驟如下：

①獲取決策者論文發(fā)表量、h 指數(shù)、被引量等指標(biāo)信息，并處理為critic 權(quán)重法所需的數(shù)據(jù)類型。

②對(duì)各指標(biāo)歸一化處理。正向指標(biāo)的做法為：

負(fù)向指標(biāo)的做法為：

③變異性的處理。在critic 權(quán)重法中利用標(biāo)準(zhǔn)差表示變異性，變異性較大的決策者信息，反映出更多信息，應(yīng)賦予更高的權(quán)重。變異性的計(jì)算公式為：

④沖突性。決策者之間的相關(guān)系數(shù)越大，沖突性就越小，權(quán)重也越小。critic 權(quán)重法中使用相關(guān)系數(shù)的形式反映相關(guān)性，計(jì)算公式為：

⑤信息量越大的決策者應(yīng)被賦予更高的權(quán)重，信息量的計(jì)算公式為：

⑥權(quán)重的確定。

（3）后驗(yàn)權(quán)重的確定

第q位決策者后驗(yàn)權(quán)重為：

4.1.3 決策者最終權(quán)重

在本次評(píng)審中，決策者最終權(quán)重為

4.2 互反矩陣共識(shí)決策

互反矩陣共識(shí)決策是在同時(shí)考慮個(gè)體理性與群體理性的情況下，給出個(gè)體一致性改進(jìn)和群體共識(shí)達(dá)成的算法，一共分為個(gè)體一致性控制階段、共識(shí)達(dá)成階段、方案排序階段3 個(gè)階段［14］14。

4.2.1 個(gè)體一致性控制算法

算法1：互反矩陣的個(gè)體一致性改進(jìn)。

個(gè)體一致性控制階段的具體過(guò)程。

（1）根據(jù)定義1，從各決策者對(duì)項(xiàng)目的決策數(shù)據(jù)中，提取出m位決策者初始偏好信息A1,A2,,Am；

4.2.2 共識(shí)達(dá)成算法

算法2：基于互反矩陣的共識(shí)達(dá)成過(guò)程。

個(gè)體一致性控制階段實(shí)現(xiàn)后，共識(shí)達(dá)成階段的過(guò)程如下：

4.2.3 方案排序

4.3 共識(shí)程度的獲取

獲取排序列表后，借助排名偏差重疊（rank biased overlap，RBO）計(jì)算每個(gè)決策個(gè)體的排序列表與群體的共識(shí)程度［33］，計(jì)算步驟如下：

假設(shè)S為決策個(gè)體的排序列表，T為群體互反矩陣對(duì)應(yīng)的排序列表。為列表S的第i個(gè)元素，表示列表中從位置c到位置d所有元素組成的集合。在深度為d時(shí)，列表S和T的交集為：

交集的元素個(gè)數(shù)相對(duì)于深度d的比值稱為列表S和T的一致度，再賦予每個(gè)深度的一致度權(quán)重,得到相似度：

因此，設(shè)定參數(shù)p，排名偏差重疊（RBO）距離度量方法可以簡(jiǎn)化為

RBO 指標(biāo)范圍在［0,1］之間，值越接近1 表示列表之間共識(shí)程度越高。

5 應(yīng)用算例

表2 專家評(píng)分 單位：分

5.1 專家權(quán)重的確定

5.1.1 專家先驗(yàn)權(quán)重的確定

5 位學(xué)術(shù)型專家的先驗(yàn)權(quán)重計(jì)算結(jié)果為

表3 專家評(píng)審數(shù)據(jù) 單位：分

表3 專家評(píng)審數(shù)據(jù) 單位：分

表4 專家群最終評(píng)審數(shù)據(jù) 單位：分

表5 專家序值信息

表5 專家序值信息

表6 專家群序值信息

表7 專家序值相關(guān)系數(shù)表

表7 專家序值相關(guān)系數(shù)表

5.1.2 專家后驗(yàn)權(quán)重的確定

（1）主題覆蓋度

主題覆蓋度反映的是每位學(xué)術(shù)型專家所有發(fā)文摘要與評(píng)審項(xiàng)目研究?jī)?nèi)容的余弦相似度，根據(jù)4.1.2主題覆蓋度的計(jì)算過(guò)程所述得到結(jié)果為

計(jì)算過(guò)程如下：

①收集每位專家所有發(fā)文摘要與評(píng)審項(xiàng)目的研究主題，利用Python 的jieba 庫(kù)將其分詞后，再加載停用詞，去除停用詞后導(dǎo)入語(yǔ)料庫(kù)中。

②利用每位專家發(fā)文摘要的語(yǔ)料庫(kù)，結(jié)合評(píng)審項(xiàng)目研究主題的語(yǔ)料庫(kù)訓(xùn)練Word2vec 模型，訓(xùn)練出5 位專家的Word2vec 詞向量模型。

③定義余弦相似度求取函數(shù)，并利用5 位專家的Word2vec 詞向量模型求取每位專家的余弦相似度，結(jié)果為

④主題覆蓋度權(quán)重的確定。5 位學(xué)術(shù)型專家主題覆蓋度權(quán)重為

（2）專家權(quán)威度

專家判斷的差異對(duì)于項(xiàng)目評(píng)審的影響是毋庸置疑的，本文利用學(xué)術(shù)型專家權(quán)威度反映專家判斷水平，所使用的指標(biāo)包括專家學(xué)位、評(píng)審年份、參與評(píng)審的課題、論文發(fā)表量、著作數(shù)量、h 指數(shù)、被引量等指標(biāo)數(shù)據(jù)，通過(guò)critic 權(quán)重法對(duì)學(xué)術(shù)型專家賦權(quán)，根據(jù)4.1.2 決策者權(quán)威度的計(jì)算過(guò)程所述得到結(jié)果為

計(jì)算步驟如下：

①獲取5 位學(xué)術(shù)型專家學(xué)位、評(píng)審年份、參與評(píng)審的課題、論文發(fā)表量、著作數(shù)量、h 指數(shù)、被引量等指標(biāo)信息，并將其處理為critic 權(quán)重法所需的數(shù)據(jù)類型。

②由于指標(biāo)特征值都有含義，因此不需要對(duì)負(fù)向指標(biāo)、正向指標(biāo)標(biāo)準(zhǔn)化，每位專家的變異性為

③計(jì)算沖突性。沖突性相關(guān)系數(shù)為

④計(jì)算信息載量。5 位專家的信息載量是

⑤根據(jù)信息載量獲得5 位專家權(quán)威度權(quán)重分別為

（3）后驗(yàn)權(quán)重的確定

根據(jù)公式（18），由于主題覆蓋度與專家權(quán)威度對(duì)項(xiàng)目評(píng)審的影響都不可忽視，因此本次取0.5，最后求得專家后驗(yàn)權(quán)重為

5.1.3 專家最終權(quán)重

5.2 互反矩陣共識(shí)決策

確定專家權(quán)重后，為方便進(jìn)行基于互反矩陣的共識(shí)決策，需要將每位專家當(dāng)期100 個(gè)評(píng)審項(xiàng)目的評(píng)分?jǐn)?shù)據(jù)轉(zhuǎn)化為互反矩陣。本文將每位專家評(píng)分的極差九等分，得到定義1 中的互反矩陣，根據(jù)專家一的評(píng)分?jǐn)?shù)據(jù)轉(zhuǎn)化為的互反矩陣如表8 所示。得到5 位專家的互反矩陣后，即可按照基于互反矩陣的決策支持模型來(lái)獲取專家決策共識(shí)情況。

表8 專家一互反矩陣

表8 專家一互反矩陣

5.2.1 個(gè)體一致性控制階段

計(jì)算5 位專家的初始一致性指標(biāo)，由于數(shù)據(jù)量較大，計(jì)算過(guò)程均通過(guò)Python 實(shí)現(xiàn)，此處僅列出計(jì)算結(jié)果。步驟如下：

（1）群體互反矩陣Ac的構(gòu)造。根據(jù)5 位專家的權(quán)重

結(jié)合定義2 構(gòu)造的群體互反矩陣如表9 所示。

表9 群體互反矩陣

表9 群體互反矩陣

（2）一致性指標(biāo)矩陣的構(gòu)造。根據(jù)定義3，對(duì)5 位專家的互反矩陣A1,A2,A3,A4,A5以及Ac分別構(gòu)造出含一致性指標(biāo)的矩陣，根據(jù)專家一互反矩陣構(gòu)造的如表10 所示。

表10 矩陣

表10 矩陣

5.2.2 共識(shí)達(dá)成階段

每位專家的共識(shí)一致性指標(biāo)值的計(jì)算及修正步驟如下：

（1）群體共識(shí)指標(biāo)GCIH(A)的計(jì)算。根據(jù)定義5，5 位專家的互反矩陣A1,A2,A3,A4,A5結(jié)合群體互反矩陣得到群體共識(shí)指標(biāo)為

表11 共識(shí)指標(biāo)修正過(guò)程

表12 處理后的群體互反矩陣

表12 處理后的群體互反矩陣

經(jīng)過(guò)17 次迭代之后，修正后的群體一致性指標(biāo)值為

5.2.3 方案排序階段

圖1 的排序

圖2 專家的排序

圖3 專家的排序

圖4 專家的排序

圖5 專家A4的排序

圖6 專家的排序

5.3 共識(shí)度計(jì)算

得到排序列表后，將每位專家的排序列表與共識(shí)達(dá)成后的排序列表進(jìn)行對(duì)比，設(shè)置p值為0.9，按照RBO 算法計(jì)算得到共識(shí)度為

5.4 對(duì)比分析

為展示本文方法的可行性與合理性，本文選擇基于決策者一致性水平、群體共識(shí)度水平兩方面數(shù)據(jù)與傳統(tǒng)共識(shí)決策模型進(jìn)行效果對(duì)比，具體過(guò)程是用傳統(tǒng)共識(shí)決策模型計(jì)算本文案例的共識(shí)決策方案。

圖7 決策者性水平對(duì)比

圖8 群體共識(shí)度水平對(duì)比

綜上所述，本文對(duì)于科研類科技項(xiàng)目評(píng)審的學(xué)術(shù)型專家共識(shí)測(cè)度方法充分考慮了歷史信息和當(dāng)下信息，充分挖掘了專家異質(zhì)性的測(cè)度，計(jì)算過(guò)程中加入專家歷史評(píng)審偏好、主題覆蓋度、專家權(quán)威度等易對(duì)共識(shí)度計(jì)算產(chǎn)生影響的異質(zhì)性指標(biāo)，均以客觀數(shù)據(jù)信息為依據(jù)，減少了主觀信息的影響，使得整體結(jié)果在個(gè)體一致性水平和群體共識(shí)度水平上均有一定程度的提升，相比傳統(tǒng)的共識(shí)決策模型有更好的適用性和靈活性。

6 結(jié)論

迄今，已有研究證明可對(duì)偏好相似程度進(jìn)行度量和集結(jié)，但對(duì)于專家之間的異質(zhì)性考慮較少，且鮮見(jiàn)利用評(píng)審數(shù)據(jù)測(cè)度專家共識(shí)的文獻(xiàn)。本文提出的專家共識(shí)測(cè)度方法特點(diǎn)是利用科技項(xiàng)目評(píng)審數(shù)據(jù)、專家知識(shí)，考慮專家歷史評(píng)審偏好的差異，結(jié)合主題覆蓋度與專家權(quán)威度體現(xiàn)專家之間的異質(zhì)性，進(jìn)而通過(guò)互反矩陣共識(shí)決策模型計(jì)算專家共識(shí)度。從問(wèn)題解決效果來(lái)看，本文設(shè)計(jì)的研究思路及決策步驟，充分考慮了影響決策進(jìn)程達(dá)成共識(shí)的因素——專家異質(zhì)性，解決了科技評(píng)審專家的共識(shí)測(cè)度問(wèn)題，為非共識(shí)項(xiàng)目的再挖掘做好了鋪墊。由于本次研究對(duì)象主要是科研類科技項(xiàng)目的評(píng)審，評(píng)審專家學(xué)術(shù)背景豐富，均有發(fā)文作為數(shù)據(jù)分析的基礎(chǔ)，忽略了缺少研究論文數(shù)據(jù)支持的技術(shù)型專家的共識(shí)測(cè)度問(wèn)題，從而使得本研究存在一定的局限性。但這也是下一步研究工作的重點(diǎn)，即將非科研類科技項(xiàng)目評(píng)審專家間的共識(shí)度納入評(píng)審專家推薦模型中，為非共識(shí)項(xiàng)目推薦合適的專家組進(jìn)行再挖掘，以此提升科技項(xiàng)目評(píng)審的準(zhǔn)確性與整體質(zhì)量，推動(dòng)科技項(xiàng)目研究水平的穩(wěn)步發(fā)展。