國外學(xué)科科研績效評估指數(shù)的文獻回顧

單承偉 王 紅 張 蘇 楊毓麗

(大連理工大學(xué)圖書館，遼寧?大連 116024)

?

國外學(xué)科科研績效評估指數(shù)的文獻回顧

單承偉 王 紅 張 蘇 楊毓麗

(大連理工大學(xué)圖書館，遼寧?大連 116024)

目前很多學(xué)者利用RSI，AI，RCR，Specialization Intensity Index等指數(shù)從論文數(shù)量，引用次數(shù)，篇均引文量等指標(biāo)分析某一研究國家(機構(gòu))學(xué)科排名情況。本文通過對學(xué)科科研績效評估指數(shù)的文獻回顧，分析了RSI，AI，RCR，Specialization Intensity Index等學(xué)科績效評價指數(shù)的適用性和不足。研究結(jié)果表明：在開展影響力評價時，學(xué)科績效評估不應(yīng)僅僅是單一指標(biāo)的比較，還應(yīng)該遵循堅持同類相比的原則。

RSI，AI，RCR，Specialization Intensity Index；學(xué)科評估

如何為機構(gòu)科研績效尋找有意義的評估方法，呈現(xiàn)本機構(gòu)的研究績效現(xiàn)狀與發(fā)展趨勢，與其他機構(gòu)間比較分析，以便更好地為學(xué)科發(fā)展提供依據(jù)是科研管理人員普遍關(guān)心的問題。很多學(xué)者利用RSI，AI，RCR，Specialization Intensity Index等一系列指數(shù)從論文數(shù)量、引用次數(shù)、篇均引文量等指標(biāo)分析某一研究機構(gòu)學(xué)科的排名情況。本文通過對學(xué)科科研績效評估指數(shù)的文獻回顧，以期為今后學(xué)科評估研究方法的發(fā)展提供借鑒。

1 RSI和AI指數(shù)

1.1 RSI指數(shù)

Balassa(1965)[1]提出了相對比較優(yōu)勢指數(shù)Revealed Comparative Advantage index(RCA)算法，指的是某國家某學(xué)科論文比率與全球某學(xué)科論文的相對比率，也被稱為學(xué)科活躍性指數(shù)(Relative Specialization Index，RSI)，算法如下：

其中Pis是國家I在S學(xué)科發(fā)表的文章數(shù)，Pi是國家I在所有學(xué)科發(fā)表的文章數(shù)，Ps是全球在S學(xué)科發(fā)表文章總數(shù)，P是全球在所有學(xué)科發(fā)表的文章總數(shù)。RSI指數(shù)反映了某國家在某學(xué)科文章發(fā)表數(shù)量比較優(yōu)勢。RSI取值在[0，∞]之間，RSI=0表明某國家在S學(xué)科領(lǐng)域研究為空白；當(dāng)RSI取值[0，1]表明某國家在S學(xué)科不具有比較優(yōu)勢；RSI=1表明某國家在S學(xué)科領(lǐng)域的研究等于世界平均水平；當(dāng)RSI取值[1，∞]表明某國家在S學(xué)科具有比較優(yōu)勢。

1.2 AI算法

Frame(1977)[2]同樣提出了利用某國家F學(xué)科論文比率與全球F學(xué)科論文的相對比率用以衡量學(xué)科發(fā)文績效的Activity Index(AI)算法，算法如下：

根據(jù)RSI和AI算法的定義可知，二者的計算方式相同。

盡管RSI和AI指數(shù)可以衡量某國的某學(xué)科發(fā)文相對指標(biāo)，但是RSI和AI在實際統(tǒng)計過程中受到兩個因素影響：一個是某國家F學(xué)科論文比率與某國家所有學(xué)科論文相對比率值；一個是全球F學(xué)科論文比率與全球所有學(xué)科論文相對比率值，由于RSI和AI最大值是∞，造成了AI最大值是一個變量，所以利用AI指數(shù)只能進行同一時間，同一學(xué)科不同國家學(xué)科比較優(yōu)勢的比較。

2 RCR及其衍生指數(shù)

2.1 RCR指數(shù)

Schubert(1986)[3]在AI指數(shù)的基礎(chǔ)上，進一步用學(xué)科被引頻次衡量機構(gòu)科研績效，提出了Relative citation Rate(RCR)算法，算法如下：

其中，observed citation rate指的是某國家(機構(gòu))某學(xué)科實際被引頻次，expected citation rate指的是某學(xué)科平均被引頻次。RCR取值在[0，∞]之間，當(dāng)RCR取值[0，1]時，表明某國家在F學(xué)科被引不具有比較優(yōu)勢；RCR=1 表明某國家在某一學(xué)科領(lǐng)域的被引頻次研究等于所在領(lǐng)域的平均水平；當(dāng)RCR取值[1，∞]時，表明某國家某一學(xué)科領(lǐng)域在學(xué)科被引具有比較優(yōu)勢。Schubert盡管在AI指數(shù)的基礎(chǔ)上，用學(xué)科平均被引頻次對數(shù)據(jù)進行歸一化處理，但是由于不同學(xué)科不同年代平均被引頻次不一致，即有些學(xué)科的RCR最大值為10，有些學(xué)科的RCR最大值為100，學(xué)科基準線不一致，所以如果利用RCR指數(shù)將無從判斷不同時間，不同學(xué)科的學(xué)科被引績效的高低。

Mean observed citation rate指的是某國家(機構(gòu))某學(xué)科實際篇均被引頻次，expected citation rate指的是某學(xué)科平均篇均被引頻次。

VINKLER(1997)[6]在RCR指數(shù)的基礎(chǔ)上，又進一步提出了學(xué)科相對引用次數(shù)Relative Subfield Citedness(RW)：

其中P是文章數(shù)總數(shù)，c是文章被引次數(shù)，GFm是論文m所在期刊的影響因子。

對于RW指數(shù)的優(yōu)點，VINKLER(1997)[6]引用Schubert(1986)[3]建立的分布間MOCR和MECR直接的關(guān)系圖(relational charts)加以解釋。Schubert(1986)在圖中取坐標(biāo)軸X軸為expected citation rate，取y軸為expected citation rate，根據(jù)RCR定義，我們可以畫出一條經(jīng)過(0，0)，傾斜角等于45°的斜線，當(dāng)A位于斜線上方時，我們可以得出機構(gòu)A的RCR>1，B位于斜線下方時，我們可以得出機構(gòu)B的RCR<1，也是說通過直觀圖，我們可以清晰地看到MOCR與MECR的線性關(guān)系。

VINKLER(2012)[7]在Mean observed citation rate的基礎(chǔ)上，提出了基于期刊影響因子的RCR指數(shù)：

其中P是文章數(shù)總數(shù)，ci是發(fā)表的文章的被引次數(shù)，GFi是論文i所在期刊的影響因子。在這里RCR指數(shù)反映了某篇文章基于引用和期刊影響因子的比較優(yōu)勢。盡管RW和RCR(2012)指數(shù)考慮了文獻的來源期刊的影響因子對文章質(zhì)量影響力的評估，期刊影響因子個別評價可以為我們在評價文章論文質(zhì)量時提供的另一種參考指標(biāo)。但是RW和RCR指數(shù)只單純計算來源期刊的影響因子而存在沒有考慮該論文引用文獻對該論文影響力提升的缺陷。正如Moed所說[8]，文獻被聲望較高的期刊引用應(yīng)較被一般期刊引用來得顯著，因此，應(yīng)賦予聲望較高的期刊引用更多權(quán)重值。

De Bruin(1993)[9]將RCR變化為CPP/FCSm，稱之為Crown indicator指數(shù)。指數(shù)定義如下：

CPP/FCSm在2010同樣被Waltman[13]提出了質(zhì)疑，他認為CPP/FCSm指數(shù)受學(xué)科平均引用數(shù)大小的影響，學(xué)科平均引用數(shù)越大，機構(gòu)綜合學(xué)科指數(shù)越大。因此，他提出了MNCS指數(shù)：

CPP/FCSgroup A=(1000/100+4000/100)/(10+20)=1.67

CPP/FCSgroup B=(2200/100+2400/100)/(10+20)=1.53

MNCSgroup A=(1000/100/10+4000/100/20)/2=1.5

MNCSgroup B=(2200/100/10+2400/100/20)/2=1.7

表1 研究團隊A和研究團隊B的發(fā)文和引用情況

表2 CPP/FCSm指數(shù)和MNCS指數(shù)計算結(jié)果

由表2計算過程可以看出，根據(jù)CPP/FCSm算法Research group A的學(xué)科指數(shù)值高于Research group B，根據(jù)MNCS算法Research group A的學(xué)科指數(shù)值低于Research group B。

3 基于Percentile impact class的E(x)指數(shù)

Bornmann在World Report of the SCImago Institutions Rankings 2011報告中提出了Excellence Indicator這一概念，即同領(lǐng)域、同年份處于全球被引用前10%的論文可以被定義為高影響力論文(Excellence Indicator)。在此基礎(chǔ)上，Bornmann[17]提出了衡量一個機構(gòu)影響力的百分位數(shù)的文獻計量指標(biāo)方法E(x)指數(shù)：一個機構(gòu)出版的文獻可以根據(jù)引用次數(shù)，分為6個等級：處于全球被引用前top 1%，處于全球被引用前99th-95th，處于全球被引用前95th-90th，處于全球被引用前90th-75th，處于全球被引用前75th-50th，小于全球被引用前50%。一個機構(gòu)的E(x)指數(shù)定義為：

其中，E(x)是某研究機構(gòu)績效，x為某等級序號，P(x)為某等級內(nèi)文章頻次，k為等級數(shù)。

假設(shè)某研究機構(gòu)A發(fā)表了156篇文章(見表3)，根據(jù)各篇文章的引用次數(shù)，位于6個等級的文章篇數(shù)分別為43，22，33，21，23，14。根據(jù)E(x)指數(shù)的定義：某研究機構(gòu)A的績效為：

E(x)=1*(43/156)+2*(22/156)+3*(33/146)+4*(21/156)+5*(23/156)+6*(14/156)=3.1

通過對E(x)的計算可知，E(x)指數(shù)避開了利用算數(shù)平均數(shù)對不同領(lǐng)域的發(fā)文進行數(shù)據(jù)歸一化，也就是說避開了各學(xué)科研究特點不同，而導(dǎo)致引用行為存在差異。采用了百分比分類法(Percentile impact class)，因此不同學(xué)科，不同類型論文都可以根據(jù)所處學(xué)科被引頻次等級的高低進行分類，然后進行比較。Leydesdorff[18]認為：E(x)分類法不僅可以用來評價機構(gòu)學(xué)科績效，而且可以用來評價期刊影響因子，作為Impact factor的補充。Rousseau[19]提出，基于6個等級的E(x)指數(shù)可以拓展為基于100的E(x)指數(shù)，即100th-99th為100，99th-98th為99，…2th-1th為1。ESI數(shù)據(jù)庫也是根據(jù)按被引頻次高低確定出衡量研究績效的閾值，分別排出居世界前1%的研究機構(gòu)、科學(xué)家、研究論文。算法與Rousseau提出的基于100的E(x)指數(shù)計算方法一致。

然而，Schreiber[20]在利用E(x)指數(shù)進行計算時，發(fā)現(xiàn)其存在一個問題：假設(shè)某研究機構(gòu)B的論文發(fā)表和被引情況如表4，通過計算，我們可以提出機構(gòu)B的研究績效為1.9。現(xiàn)在再假設(shè)機構(gòu)B某零被引文獻的被引次數(shù)增加1次(表4)，同時擴大數(shù)據(jù)的統(tǒng)計范圍，則百分比指數(shù)排名等級出現(xiàn)了變化，之前10篇被引1～5次的論文在百分比指數(shù)排名等級出現(xiàn)了下降，仍位于1級，則根據(jù)公式，機構(gòu)B的研究績效為1.65。也就是說，在機構(gòu)B發(fā)文數(shù)量不變，被引次數(shù)增加的情況下，其研究績效反而降低，從1.9降低到1.65。因此Schreibe[20]認為：E(x)指數(shù)受到數(shù)據(jù)統(tǒng)計范圍的干擾，從而使研究機構(gòu)的績效統(tǒng)計出現(xiàn)不一致的情況。

表3 某研究機構(gòu)B的論文發(fā)表和被引情況

表4 E(x)缺點(機構(gòu)B的績效統(tǒng)計對比)

4 Specialization Intensity Index指數(shù)

Laursen(2000)[21]在RCR的基礎(chǔ)上又提出了將卡方檢驗(Chi square)作為RCR指數(shù)的進一步拓展，用以衡量經(jīng)濟行業(yè)某個部門的專業(yè)化程度。所謂卡方檢驗，就是比較理論頻數(shù)和實際頻數(shù)的吻合程度或擬合優(yōu)度問題，基本思路如下[21]：

其中A代表某個類別的觀察頻數(shù)，E代表期望頻數(shù)，A與E之差稱為殘差。由于偏差之和為0，所以需要對偏差進行平方。

Confraria(2015)[22]將卡方檢驗進行變換，稱之為Specialization Intensity Index(SII)，SII指數(shù)算法如下：

其中Xsi是國家i在s學(xué)科發(fā)表文章被引次數(shù)，∑sXsi是該全球在s學(xué)科發(fā)表被引次數(shù)總數(shù)，∑sXsi是國家i在所有學(xué)科發(fā)表文章被引次數(shù)總數(shù)，∑s∑iXsi是全球在所有學(xué)科發(fā)表文章被引次數(shù)總數(shù)。SII反映了某國家在i學(xué)科的文章影響力。SII具有以下優(yōu)點：(1)不僅可以比較某個研究機構(gòu)某個學(xué)科與世界上這個學(xué)科水平的差距，而且可以用來比較兩個機構(gòu)某個學(xué)科水平的差異。(2)SII指數(shù)也可以用來比較某個機構(gòu)某個學(xué)科在不同時間的學(xué)科水平。但是SII也存在以下缺點[23]：(1)SII對極值比較敏感；(2)SII值的大小又跟子集大小有關(guān)，子集個數(shù)越多，SII也會越大。假設(shè)有兩個分類變量X和Y，樣本數(shù)據(jù)如表5：

表5 SII計算舉例

根據(jù)計算公式，我們可以得到：

由此可見，由于卡方校驗的值SII受到n的影響，n越大，X2越大。

5 Yit指數(shù)

Pastor(2015)[24]提出了Yit指數(shù)，算法如下：

其中Yit代表某個機構(gòu)i的t學(xué)科綜合評價指數(shù)，No.Documentsit指的是某機構(gòu)學(xué)科發(fā)文數(shù)量，No.citationsperdocumentsit代表某個機構(gòu)t學(xué)科篇均學(xué)科被引次數(shù)，No.citationsperdocumentswt代表全球t學(xué)科篇均學(xué)科被引次數(shù)，盡管Yit從學(xué)科發(fā)文和篇均被引兩個方面綜合評價了某機構(gòu)學(xué)科的影響力，但是Yit存在數(shù)據(jù)標(biāo)準化的問題：假設(shè)A機構(gòu)學(xué)科發(fā)文篇Nat，總被引頻次Cbt次，B機構(gòu)學(xué)科發(fā)文Nat篇，總被引頻次Cbt次，那么機構(gòu)A，B的學(xué)科影響力哪一個大？根據(jù)Yit指數(shù)的定義，機構(gòu)A，B的學(xué)科影響力分別為：

通過公式換算我們可以看出，A，B機構(gòu)影響力Yit指數(shù)的不同為A，B機構(gòu)總被引頻次的差值，由于總被引頻次受到機構(gòu)規(guī)模以及學(xué)科的影響，即使對于同一學(xué)科，不同年代的學(xué)科篇均被引頻次也不同，因此Yit同樣無法比較不同機構(gòu)，不同年代的學(xué)科影響力。

盡管以上各個學(xué)者從不同角度，利用不同方法對學(xué)科標(biāo)準化指數(shù)提出了自己的觀點(見表6)，我們發(fā)現(xiàn)，學(xué)科標(biāo)準化指數(shù)在設(shè)計上仍然需要考慮以下問題：

(1)學(xué)科標(biāo)準化指數(shù)是否需要考慮文獻類型對文章引用次數(shù)的影響[25]。我們知道綜述由于能夠較全面地羅列相關(guān)研究主題文獻，詳盡地論述相關(guān)領(lǐng)域的進展及特點，它能使讀者快捷、全面地了解相關(guān)研究領(lǐng)域的研究水平和發(fā)展動態(tài)。所以，發(fā)表綜述類文獻引用率較高。因此，如何區(qū)分文獻類型對文章引用次數(shù)的影響是我們在設(shè)計學(xué)科評價指標(biāo)時應(yīng)考慮的一個問題。

(2)一個機構(gòu)學(xué)科發(fā)文和引用次數(shù)受到機構(gòu)規(guī)模的影響，因此計算機構(gòu)學(xué)科影響力不僅需考慮引用次數(shù)，還需考慮規(guī)模。一個機構(gòu)科研人員越多，每年發(fā)表的文章篇數(shù)可能越多，學(xué)科引用次數(shù)可能越多，RSI，AI，RCR指數(shù)值可能越高。因此在分析機構(gòu)學(xué)科指數(shù)時，不應(yīng)忽略學(xué)校規(guī)模對科研成果的影響，正如Glnzel[26]所說，學(xué)科績效評估不應(yīng)僅僅是單一指標(biāo)的比較，還應(yīng)該遵循堅持同類相比的原則，需要對數(shù)據(jù)進行歸一化處理。

(3)僅僅以發(fā)文或者引文次數(shù)作為機構(gòu)學(xué)科影響力的指標(biāo)是否過于單一[27]。隨著網(wǎng)絡(luò)的發(fā)展，學(xué)術(shù)文獻的影響力已經(jīng)不僅局限于某些數(shù)據(jù)庫的被引數(shù)據(jù)。社交媒體的出現(xiàn)，論文被廣泛地分享在科學(xué)博客、BBS論壇，維基百科、及其他社會媒體，因此，目前有學(xué)者利用全新的Altmetrics指標(biāo)[27]：如Mendeley下載、tweet推薦、Facebook轉(zhuǎn)發(fā)，html view，PDF view等指標(biāo)對機構(gòu)學(xué)科影響力進行評價。隨著學(xué)術(shù)傳播模式的轉(zhuǎn)變，是拋棄傳統(tǒng)機構(gòu)評價指標(biāo)或是兩者配合使用，也是學(xué)者今后需要研究和討論的一個問題。

表6 學(xué)科科研績效評估指數(shù)的文獻回顧

表6(續(xù))

6 結(jié) 語

隨著數(shù)字環(huán)境的發(fā)展，如何結(jié)合傳統(tǒng)以引用次數(shù)為主的學(xué)術(shù)評價方式，反映網(wǎng)絡(luò)環(huán)境下的學(xué)術(shù)影響力。希望藉由本文引發(fā)更多的學(xué)者投入機構(gòu)評價研究，以發(fā)展出更多具有參考價值的相關(guān)論文。學(xué)術(shù)評價本來就不存在最好的方法，永遠只有相對參考價值。

[1]Balassa B.Trade Liberalisation and“Revealed”Comparative Advantage[J].The Manchester School,1965,33(2):99-123.

[2]Frame,J.D..Mainstream research in Latin America and the Caribbean[J].Interciencia,1977,(2):143-148.

[3]Schubert,A.,& Braun,T.Relative indicators and relational charts for comparative assessment of publication output and citation impact[J].Scientometrics,1986,9(5-6):281-291.

[6]Vinkler P.Relations of relative scientometric impact indicators.The relative publication strategy index[J].Scientometrics,1997,40(1):163-169.

[7]Vinkler P.The case of scientometricians with the“absolute relative”impact indicator[J].Journal of Informetrics,2012,6(2):254-264.

[8]Moed F.,H,E.De Bruin R,N.Van Leeuwen T.New bibliometric tools for the assessment of national research performance:Database description,overview of indicators and first applications[J].Scientometrics,1995,33(3):381-422.

[9]Bruin R E D,Kint A,Luwel M.A study of research evaluation and planning:the University of Ghent[J].Research Evaluation,1993:25-41.

[10]Lundberg J.Lifting the crown—citation z-score[J].general information,2007,(1):145-154.

[11]Colliander C,Ahlgren P.The effects and their stability of field normalization baseline on relative performance with respect to citation impact:A case study of 20 natural science departments[J].Journal of Informetrics,2011,5(1):101-113.

[12]Raan A F J V.Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups[J].Scientometrics,2006,67(3):491-502.

[13]Waltman L,Eck N J V,Leeuwen T N V.Towards a new crown indicator:An empirical analysis[J].Scientometrics,2010,87(3):467-481.

[14]Waltman L,Eck N J V,Leeuwen T N V.Towards a new crown indicator:Some theoretical considerations[J].Journal of Informetrics,2010,5(1):37-47.

[15]Leydesdorff L,Opthof T.Remaining problems with the“New Crown Indicator”(MNCS)of the CWTS[J].Journal of Informetrics,2011,5(1):224-2.

[16]Opthof T,Leydesdorff L.Caveats for the journal and field normalizations in the CWTS(“Leiden”)evaluations of research performance[J].Journal of Informetrics,2010,4(3):423-430.

[17]Bornmann L,Mutz R.Further steps towards an ideal method of measuring citation performance:The avoidance of citation(ratio)averages in field-normalization[J].Journal of Informetrics,2011,5(1):228-230.

[18]Leydesdorff L,Bornmann L.Integrated impact indicators compared with impact factors:An alternative research design with policy implications[J].Journal of the American Society for Information Science and Technology,2011,62(11):2133-2146.

[19]Rousseau R.Basic properties of both percentile rank scores and the I3 indicator[J].Journal of the American Society for Information Science and Technology,2012,63(2):416-420.

[20]Schreiber M.Inconsistencies of Recently Proposed Citation Impact Indicators and how to Avoid Them[J].Journal of the American Society for Information Science and Technology,2012,63(10):2062-2073.

[21]Laursen K.Do Export And Technological Specialisation Patterns Co-Evolve In Terms of Convergence or Divergence?Evidence From 19 OECD Countries,1971-1991[J].Social Science Electronic Publishing,2000,10(4):415-436.

[22]Confraria H,Godinho M M.The impact of African science:a bibliometric analysis[J].Scientometrics,2015,102(2):1241-1268.

[23]The Chi Square Statistic[EB/OL].http:∥math.hws.edu/javamath/ryan/ChiSquare.html，2015-03-30.

[24]Pastor,José Manuel.The research output of European higher education institutions[J].Scientometrics 2015,102(3):1867-1893.

[25]Crespo J A,Ortu?-Ortín I,Ruiz-Castillo J.The Citation Merit of Scientific Publications[J].Plos One,2012,7(11):488-488.

[27]Peters,Isabella.Altmetrics for large,multidisciplinary research groups:A case study of the Leibniz Association[C].Proceedings of Libraries in the Digital Age,2014:9-14.

(本文責(zé)任編輯：孫國雷)

A Review of Subject Assessment Index

Shan Chengwei Wang Hong Zhang Su Yang Yuli

(Library，Dalian University of Technology，Dalian 116014，China)

Many scholars use RSI,AI,RCR and Specialization Intensity index to evaluate research institutes’ research performance. In this paper,it first provided an overview of a number of source normalization approaches,and then compared the advantage and disadvantage of these indexes.The results showed that different scientific fields had different citation practices.Citation-based bibliometric indicators need to normalize for such differences between fields in order to allow for meaningful between-field comparisons of citation impact.

RSI,AI,RCR,Specialization Intensity Index;subject performance

2015-04-14

中央高校基本科研業(yè)務(wù)費專項資金“基于ESI和Incites學(xué)科影響力評價體系及實證分析”(項目編號：DUT14RW110)。

單承偉(1982-)，男，館員，研究方向：信息檢索和利用，發(fā)表論文5篇。

10．3969/j．issn．1008-0821．2015．11．031

G250.73

A

1008-0821(2015)11-0171-07