圖書館利用SCI和JCR開展科研績效評估研究
——以河北工程大學(xué)科研影響力評估為例

孫秀菊

?

圖書館利用SCI和JCR開展科研績效評估研究——以河北工程大學(xué)科研影響力評估為例

孫秀菊

（河北工程大學(xué) 圖書館，河北 邯鄲 056038）

科研績效評估是圖書館深化科研信息服務(wù)的一項重要內(nèi)容。以2013年河北工程大學(xué)發(fā)表的SCI論文為研究對象，以SCI和JCR數(shù)據(jù)庫為基礎(chǔ)，運用文獻計量學(xué)的方法，分別對其論文在2014年的影響力進行評估，旨在嘗試?yán)眠@種方法對學(xué)校科研績效做一初步探討，僅供有關(guān)決策者、管理者和科研人員參考。

科研評估；文獻計量；科研影響力

一、研究背景

縱觀我國科研績效評估的理論研究和實踐應(yīng)用，大致經(jīng)歷了三個階段：

一是同行評議法。是一種由某學(xué)科或研究領(lǐng)域的專家通過現(xiàn)場鑒定或書面信函的方式判斷該學(xué)科或研究領(lǐng)域科研成果質(zhì)量的方法。該方法起源于17世紀(jì)的英國，它的本質(zhì)在于由熟悉該學(xué)科領(lǐng)域的專家群體對科研成果價值進行比較客觀的評估，這也是近些年來我國仍將該法用于各類項目評審、成果驗收和鑒定以及科研影響力評估等方面的根本原因。但該方法在實際操作過程中有許多不足之處，如個人主觀感情色彩較濃、經(jīng)費成本較高等。

二是專家加權(quán)法。為克服同行評議法的缺陷，科技領(lǐng)域于20世紀(jì)80年代引入了德爾菲法與加權(quán)法，它是一種采用定性與定量分析相結(jié)合判定科研成果影響力的評估方法。該方法使科研評估的理論和實踐更加深入了一層。然而也存在一些問題，如行政級別高的權(quán)威被當(dāng)作專家、受專家經(jīng)驗影響較多而科學(xué)理論支撐不足等。基于此方法的科研成果評估，也難免失去公允，不能保證其成果評定的準(zhǔn)確性。

三是文獻計量學(xué)。它是運用一系列的數(shù)學(xué)方法對各種科研成果特別是期刊論文和引文數(shù)量、作者數(shù)量以及關(guān)鍵詞數(shù)量（或主題詞數(shù)量）等進行綜合定量分析的一門科學(xué)。[1]134-135以文獻計量方法為基礎(chǔ)的評估是一種“數(shù)值化”的結(jié)果，具有比較直觀、客觀等優(yōu)點，可以對期刊質(zhì)量、論文數(shù)量以及自身的影響力等一系列指標(biāo)做出比較準(zhǔn)確的判斷。

因此，基于文獻計量的評估是目前被廣泛應(yīng)用的一種重要科研評估方法。目前國內(nèi)外比較權(quán)威并常用的文獻計量評價工具主要有SCI、EI、ISTP以及JCR等數(shù)據(jù)庫（或稱檢索平臺）。它們通過發(fā)表在收錄核心期刊上科研論文的數(shù)量和期刊質(zhì)量衡量某一國家或地區(qū)（或機構(gòu)）研究成果的影響力。[2]52

科研論文是科研成果的一種直接體現(xiàn)和重要載體，在很大程度上體現(xiàn)著學(xué)校的科研影響力和競爭力。本文擬以2013年河北工程大學(xué)發(fā)表的SCI論文(Ⅱ區(qū)且為第一作者，以下同)為研究對象，以SCI（英文全稱Science Citation Index）和JCR（英文全稱Journal Citation Reports）數(shù)據(jù)庫為數(shù)據(jù)來源，運用文獻計量學(xué)的方法，分別對其論文在2014年的影響力進行評估，旨在嘗試?yán)眠@種方法對學(xué)校科研績效做一初步探討，僅供有關(guān)決策者、管理者和科研人員參考。

二、評估方案具體設(shè)計

（一）評估指標(biāo)的確立

一方面，科研論文質(zhì)量和影響力的高低主要是由兩個因素決定的。其一是發(fā)表論文所在的期刊檔次（可以用期刊影響因子進行區(qū)分）。從很大程度上來講，期刊檔次反映著論文的水平和檔次，刊登在較高檔次期刊上的科研論文其質(zhì)量也就較高，反之則較低。如對于一般科研人員來說，發(fā)表一篇《Science》或《Nature》期刊論文比較困難，但如果其研究水平能夠獲得該期刊評委的一致肯定，這本身就是比較權(quán)威的“質(zhì)”的評估，因此，刊登在較高檔次期刊上的論文潛在的影響力較大。其二是發(fā)表論文的被引用情況。論文的被引用情況也是決定論文質(zhì)量的一個重要因素。論文被引用次數(shù)越多就表明其質(zhì)量和水平越高，影響力也較大，反之也亦然。[3]13-14當(dāng)然，假如發(fā)表的論文沒有被任何一篇論文引用過，即便期刊檔次再高也是蒼白無力，不能發(fā)揮多大的作用。

另一方面，我們知道，不同學(xué)科之間具有很大的差異，這種差異不僅表現(xiàn)在SCI收錄的每個學(xué)科期刊數(shù)量不同，還表現(xiàn)在每個學(xué)科自身的性質(zhì)和特點不同，如自然科學(xué)與社會科學(xué)不同、成熟學(xué)科與新興學(xué)科不同、科研群體人數(shù)不同等。如果要使科研績效評估結(jié)果在各個不同學(xué)科之間具有可比性，就需要消除這個差異，即對不同學(xué)科期刊影響因子和不同學(xué)科論文被引用次數(shù)進行標(biāo)準(zhǔn)化處理，得到期刊影響因子和論文被引用次數(shù)的相對值，具體處理方法為：將發(fā)文期刊的影響因子除以該學(xué)科期刊影響因子的平均值，論文被引用次數(shù)除以該學(xué)科論文被引用次數(shù)的平均值。只有這樣，不同學(xué)科的科研績效評估結(jié)果進行對比才有意義。[4]525再者，期刊影響因子只是考慮兩年內(nèi)的論文數(shù)量和被引用情況，是一種具有時效性的、動態(tài)的績效評估。這不僅能夠使不同學(xué)科之間進行比較，同時也解決了評估的時效性問題。

通過以上分析確立科研績效評估的四個指標(biāo)：期刊影響因子、論文被引用次數(shù)、學(xué)科期刊的平均影響因子、學(xué)科論文的平均被引用次數(shù)（后面兩個指標(biāo)主要為考慮不同學(xué)科設(shè)立）。

（二）評估指標(biāo)的計算方法

按照以上評估指標(biāo)確立的基本思路，利用論文質(zhì)量指數(shù)(Paper Qualiy tIndex，簡稱PQI)概念代表某年的科研績效評估的結(jié)果。通過認(rèn)真分析和研究各個指標(biāo)之間的關(guān)系，確定數(shù)學(xué)計算公式為：

三、評估方案的實施與結(jié)果分析

（一）科研論文的選取

本研究以河北工程大學(xué)科學(xué)技術(shù)研究院網(wǎng)站《成果專利》欄目列表中的《河北工程大學(xué)2013年科研計劃及成果匯編》為依據(jù)，檢索和提取2013年發(fā)表的SCI論文，結(jié)果顯示：2013年河北工程大學(xué)發(fā)表Ⅱ區(qū)且為第一作者SCI論文共計17篇，去掉6篇2014年零被引論文，應(yīng)為11篇。（見表1）

表1 2013年發(fā)表的11篇SCI論文(Ⅱ區(qū)且為第一作者)

（二）2013年SCI論文(Ⅱ區(qū))在2014年影響力評估

以SCI和JCR數(shù)據(jù)庫為檢索源，制定有效的、切實可行的檢索策略，確定檢索途徑，獲取有關(guān)數(shù)據(jù)。具體操作按照以下步驟進行：首先，在JCR數(shù)據(jù)庫中，檢索和查找論文登載期刊的學(xué)科歸屬。如果論文登載的期刊屬于多個學(xué)科，就要把它歸到最適合、最恰當(dāng)?shù)膶W(xué)科，這樣更能夠準(zhǔn)確評估科研論文的質(zhì)量和影響力。其次，在SCI和JCR數(shù)據(jù)庫中分別提取2013年發(fā)表的SCI論文在2014年的被引次數(shù)、所在學(xué)科期刊論文平均被引次數(shù)、期刊影響因子和所在學(xué)科期刊平均影響因子等數(shù)據(jù)。再次，根據(jù)以上數(shù)學(xué)計算公式，分別計算出11篇論文質(zhì)量指數(shù)，得出如下結(jié)果。（見圖1）

圖1 2013年SCI論文(Ⅱ區(qū))在2014年影響力評估

由圖1可以看出，11篇論文中其中有8篇屬于材料科學(xué)、綜合（MATERIALS SCIENCE，MULTIDISCIPLINARY）學(xué)科，這表明材料科學(xué)是該校的優(yōu)勢學(xué)科，并具有較高層次的科研人員和較多的研究成果。從被引次數(shù)來看，在8篇材料科學(xué)的論文中，其中1篇論文在2014年被引次數(shù)最高，是8次，而所屬學(xué)科的論文該年平均被引次數(shù)是27.665，平均被引次數(shù)大約是該論文被引次數(shù)的3.46倍；還有2篇論文在2014年被引次數(shù)是6，平均被引次數(shù)大約分別是這兩篇論文被引次數(shù)的4.61倍；被引次數(shù)最少的是1。而另外3篇分別屬于能源與燃料（ENERGY & FUELS）、水資源（WATER RESOURCES）以及物理學(xué)、綜合（PHYSICS，MULTIDISCIPLINARY）學(xué)科的論文被引次數(shù)都是1。從論文質(zhì)量指數(shù)來看，在8篇材料科學(xué)的論文中，在2014年最高的論文質(zhì)量指數(shù)是0.280，最低的論文質(zhì)量指數(shù)是0.021，平均論文質(zhì)量指數(shù)僅為0.121。而其余3篇分別屬于不同學(xué)科的論文質(zhì)量指數(shù)為0.054、0.066和0.021。

通過數(shù)據(jù)分析和研究得出，首先，河北工程大學(xué)科研成果不僅數(shù)量較少，論文質(zhì)量指數(shù)也普遍較小，處于較低的水平，優(yōu)秀科研成果比較缺乏，難以形成較強的科研影響力，這與該校龐大的教學(xué)科研隊伍（專任教師1472人，其中具有博士學(xué)位的教師327人）是很不相稱的。如果按照公式計算，在期刊影響因子、學(xué)科期刊平均影響因子和論文平均被引次數(shù)基本不變或相對變化較小的情況下，只有提高自身的論文質(zhì)量，增加被引次數(shù)，才能提高論文質(zhì)量指數(shù)水平。其次，從科研論文的合作情況來看，11篇論文中，其中3篇與燕山大學(xué)合著，其余分別與特拉華大學(xué)（美國）、中國礦業(yè)大學(xué)、復(fù)旦大學(xué)、天津大學(xué)、河北師范大學(xué)等高校合著，這表明科研人員具有較好的國內(nèi)橫向科研合作能力，但缺乏與國內(nèi)外世界一流高校和科研院所的合作。因此，仍需進一步加強與國內(nèi)外頂尖科研機構(gòu)的交流與合作。

四、利用SCI和JCR開展科研評估的積極意義和局限性

（一）積極意義

首先，為科研規(guī)劃和學(xué)科建設(shè)提供參考。利用SCI和JCR開展科研評估，能夠根據(jù)特定時間內(nèi)SCI收錄論文的數(shù)量和JCR學(xué)科分布情況研究本單位科研現(xiàn)狀和發(fā)展趨勢，分析學(xué)科研究的特點和熱點，確立學(xué)科培育與發(fā)展重心，以制定系統(tǒng)、科學(xué)的科研發(fā)展規(guī)劃和學(xué)科建設(shè)策略。[5]89-90也可對某段時間內(nèi)某學(xué)科載文量相對集中的期刊定向跟蹤研究，以便發(fā)現(xiàn)更有影響力的期刊或確定核心期刊群。

其次，選拔和評價科研人才。科研論文的數(shù)量和質(zhì)量不僅體現(xiàn)著科研人員在所屬研究領(lǐng)域的地位與作用，也是衡量科研人才的一個重要標(biāo)準(zhǔn)和尺度。從SCI論文數(shù)量和被引用次數(shù)可以發(fā)現(xiàn)、培育、選拔以及評價科研人才，確立科研骨干和學(xué)科帶頭人，并據(jù)此建立與本單位相適應(yīng)的科研創(chuàng)新激勵機制和評價機制。

再次，分析和研究科研合作情況。科研合作是科學(xué)研究的一個重要方面，也是科研產(chǎn)生的必要條件。可從論文合作科研機構(gòu)的層次和多少來判斷作者的科研合作能力。一般來說，論文合作科研機構(gòu)涉及的國家或地區(qū)愈多，科研機構(gòu)層次越高，則表明其作者科研合作能力較強，反之則較弱。

（二）局限性

首先，評估數(shù)據(jù)的來源具有局限性。一是本次評估只對2013年河北工程大學(xué)發(fā)表的SCI論文(Ⅱ區(qū)且為第一作者)在2014年影響力進行評估，沒有涉及論文未來幾年的評估，但如針對某一特定人員發(fā)表論文的評價，可根據(jù)實際情況需要，按照某年單篇（或多篇累加）計算其論文在某年的質(zhì)量指數(shù)（或質(zhì)量指數(shù)總和），或者用同樣的方法計算某幾年論文質(zhì)量指數(shù)總和。[3]13-14二是只對有限的科研論文進行了評估，而沒有涉及其他的成果形式。而對高等學(xué)校來說，科學(xué)研究的學(xué)科門類很多（目前我國高校現(xiàn)行的13個學(xué)科門類），研究成果的表現(xiàn)形式不一，除科研論文之外，還有專著、專利、科研報告以及文學(xué)作品等，它們代表著不同學(xué)科的成果特點。[6]97假如需要比較全面、系統(tǒng)地研究高校的科研產(chǎn)出能力和學(xué)術(shù)影響力，就應(yīng)針對不同的科研類型（如自然科學(xué)、社會科學(xué)、基礎(chǔ)研究、應(yīng)用研究等）和成果形式，制定一系列相應(yīng)的學(xué)科評價指標(biāo)體系，逐項整理出科研成果統(tǒng)計數(shù)據(jù)，從而實現(xiàn)科研成果的全面分析和評估。

其次，缺乏深層次的內(nèi)容評估。本評估主要采用文獻計量學(xué)的方法，從“數(shù)量”上對科研產(chǎn)出和影響力進行統(tǒng)計分析，如論文被引次數(shù)、學(xué)科論文平均被引次數(shù)、期刊影響因子、學(xué)科期刊平均影響因子以及最后的評估結(jié)果——論文質(zhì)量指數(shù)等，而缺乏對科研論文深層次內(nèi)容的評估。高校的有關(guān)部門和人員只能從宏觀上掌握各學(xué)科領(lǐng)域論文各個數(shù)量指標(biāo)的研究現(xiàn)狀與趨勢。[7]26但大多數(shù)科研人員更需要通過對科研論文深層次的研究和分析，找出自己所屬學(xué)科研究的內(nèi)在規(guī)律，能夠為未來進一步深入研究提供有意義的借鑒與幫助。

五、結(jié)語

科研績效評估是高校科學(xué)研究和學(xué)科建設(shè)的重要組成部分，是高校科研決策和管理的重要基礎(chǔ)。隨著高校圖書館科研信息服務(wù)的進一步深入和加強，許多圖書館開展了科研評價服務(wù)。基于SCI和JCR開展科研評估是圖書館不斷研究和探索的結(jié)果，它具有較強的引導(dǎo)性和實用性。通過對科研人員研究成果的競爭力和影響力進行比較科學(xué)、系統(tǒng)、客觀的綜合評估，能夠比較準(zhǔn)確地了解和把握高校的科研優(yōu)勢與不足，并為制定未來科研發(fā)展規(guī)劃、重點學(xué)科研究方向、人力資源管理決策（如晉升、選拔和獎懲等）以及經(jīng)費分配方案等提供重要的參考依據(jù)。

[1]萬昊，譚宗穎，朱相麗. 同行評議與文獻計量在科研評價中的作用分析比較[J]. 圖書情報工作，2017(1).

[2]彭博文，何濤.高校科研績效評估的現(xiàn)狀、矛盾及解決原則[J]. 中國高校科技與產(chǎn)業(yè)化，2010(4).

[3]邱均平，馬瑞敏，程妮.利用SCI進行科研工作者成果評價的新探索[J]. 中國圖書館學(xué)報，2007(4).

[4]賈志云. 期刊影響因子的學(xué)科差異、領(lǐng)域差異以及績效考核[J]. 中國科學(xué)院院刊，2009(5).

[5]彭奇志.基于SCI的科研機構(gòu)學(xué)術(shù)成果評估與實證分析[J]. 情報雜志，2008(9).

[6]趙飛，艾春艷，游越，劉素清.基于文獻計量開展高校科研評估的探索與思考——以北京大學(xué)科研競爭力評估為例[J]. 大學(xué)圖書館學(xué)報，2014(1).

[7]王颯.“985”高校圖書館科研評價服務(wù)實踐調(diào)研與分析[J]. 圖書情報工作，2016(1).

（責(zé)任編輯：蘇紅霞 校對：朱艷紅）

Study on Scientific Research Performance Evaluation Based on SCI and JCR in Libraries——Taking the evaluation of scientific research influence of Hebei University of Engineering as an example

SUN Xiu-ju

(Library of Hebei University of Engineering, Handan 056038,China)

Scientific research Performance evaluation is an important content to deepen information service for library.In 2013 SCI thesis published by Hebei University of Engineering as the research object, based on SCI and JCR databases, using the method of bibliometrics, the paper evaluates the impact of the papers in the 2014, and try to use this method to make a preliminary study to the University scientific research performance, only In order to provide reference for decision makers, managers and researchers.

scientific research evaluation; bibliometrics; scientific research influence

G350

A

1673-2030(2017)04-0121-05

2017-09-10

孫秀菊（1966—），女，河北滄州人，河北工程大學(xué)圖書館信息咨詢部主任，副研究館員，碩士。