基于引證期刊聲譽的單篇論文學術影響力測度方法研究

宗張建

(南京醫(yī)科大學 圖書館,江蘇 南京 211166)

0 引言

學術評價是圖書情報學十類研究問題之一[1]。自E.Garfield博士創(chuàng)建科學引文索引(SCI)以來,文獻計量學逐漸形成被引頻次、影響因子、H指數(shù)等一系列核心計量指標,用以表征論文、期刊、學者等評價主體的學術影響力。然而,上述指標的使用正面臨嚴峻挑戰(zhàn)。2018年下半年,中共中央辦公廳和國務院辦公廳印發(fā)的《關于深化項目評審、人才評價、機構評估改革的若干意見》,從宏觀角度對科研評價提出了目標方向,破除“五唯”,注重成果的質(zhì)量、貢獻、影響已成共識。2020年,科技部等印發(fā)的《關于破除科技評價中“唯論文”不良導向的若干措施(試行)》《關于規(guī)范高等院校SCI論文相關指標使用、樹立正確評價導向的若干意見》等一系列通知,從微觀角度對科技評價提出了具體要求,建立分類評價體系、實行代表作制度等辦法將進一步探索。總之,單純以SCI相關指標進行學術評價已經(jīng)走到了歷史的盡頭,學界正形成“以學術成果為指向、以同行評議為主導、以價值判斷為引領、以數(shù)據(jù)分析為支撐”的“復合評價”理念[2]。

負責任計量是當前計量潮下的科學評價原則之一,這一思想是由歐洲科學技術政策負責任研究創(chuàng)新理念驅(qū)動的。負責任計量體現(xiàn)在指標設計的合理性、應用的正確性及其多維性[3]。目前,基于引用的計量指標依然是負責任計量的研究方向之一,因為引用反映了知識在科學共同體中的擴散過程,具有相對客觀、易于度量的天然優(yōu)勢。然而單純引用計次并不完美,易受主觀因素和客觀因素影響,前者包括作者引用的動機和目的,后者常受學科、時間的限制。

針對引用計次的改進主要有三類方法。第一類是對被引頻次進行標準化或規(guī)范化處理,比如引用百分位、CNCI、FWCI指標等,該類指標可直接反映學術論文相對于總體或平均學科水平的差異。第二類是H指數(shù)和類H指數(shù)[4]等,該類指標考慮了不同引證文獻后續(xù)的引用頻次,改善了引文同質(zhì)化計數(shù)的缺陷,但該類指標存在時間依賴性。第三類是整體綜合測度指標,此類方法包括學術跡[5]、影響矩[5]、Pq指數(shù)[6]、Pc指數(shù)[6]等,該類指標不僅考查引證文獻的表現(xiàn),更將二級引證文獻或參考文獻納入測度范疇。

上述改進指標有效完善了學術論文評價的方法,對論文學術影響力研究起到重要的推動作用。目前,學界對引證期刊影響力差異已有關注,產(chǎn)生如特征因子之類的指標,但該指標是用于學術期刊評價的,用于學術論文影響力評價的指標或方法鮮見報道。因此,本文擬從引證文獻的整體綜合測度視角入手,通過分析論文引證期刊聲譽的差異,構建基于引證期刊影響力差異的量化指標,并進行相關實證檢驗,以為學術論文評價提供新的研究視角和方法。

1 研究方法

論文引證文獻的影響力是存在差異的。比如在醫(yī)學領域,綜述、臨床指南、權威著作等“共識型”的文獻對論文后續(xù)的引用往往起到了關鍵作用[7]。又如,在睡美人文獻喚醒過程中,起決定性作用的王子文獻,其刊載期刊通常是高影響因子期刊,并且影響因子通常是睡美人文獻期刊的2倍[8]。沈利華等[9]曾提出一種基于引文分析法的“客觀同行評議”方法,其基本思路就是篩選權威期刊上的綜述性引文,以此來保證引文評論功能。上述發(fā)現(xiàn)或方法均客觀反映了權威或高影響因子期刊引證文獻的重要性。

本研究構建基于引證期刊聲譽差異的學術論文加權引用影響力(Weighted Citation Influence,WCI)指標,通過引入“加權”思想,對不同影響力的引證期刊賦予一定的權重,以改善被引頻次指標引文同質(zhì)計算的不足,其計算公式為:。式中:ai為引證期刊影響力區(qū)間對應的系數(shù);n(ai)表示進入影響力區(qū)間的引證文獻數(shù)量;k為設定的期刊影響力區(qū)間的個數(shù)。

對于期刊影響力區(qū)間的設定,本文參考了影響因子平均百分位(AJIFP)指標的數(shù)值分布。AJIFP由JCR在2015年推出,其原理是將同學科期刊按影響因子數(shù)值排序,并基于排序位次進行非參數(shù)轉(zhuǎn)換。轉(zhuǎn)化后AJIFP數(shù)值分布在0～100,期刊影響因子越高,排序越靠前,其數(shù)值也就越大。本文依據(jù)AJIFP數(shù)值分布將期刊影響力劃分為6個區(qū)間,其中(100,95]區(qū)間表示一組影響力最高的期刊,而(20,0]表示一組影響力最低的期刊。同時,采用序關系分析法對不同影響力區(qū)間期刊賦予不同的權重,定義相鄰兩區(qū)間期刊中高影響力區(qū)間期刊權重是低影響力區(qū)間期刊權重的2倍,權重系數(shù)ai為0.125～4,具體如表1所示。

表1 期刊影響力區(qū)間劃分以及對應系數(shù)

2 實證研究

2.1 數(shù)據(jù)獲取

為實證分析WCI指標評估論文學術影響力的效果和優(yōu)勢,本研究選取腫瘤學(Oncology)學科論文進行初步驗證。首先,選擇Web of Science核心合集Science Citation Index-Expla子庫,通過高級檢索方式檢索主題為“SU=Oncology”的論文,時間限定在2020年,出版類型限定為Article。檢索時間為2021年9月30日。其次,選擇引用頻次最高的100篇論文為研究樣本,下載樣本論文的引用數(shù)據(jù)以及詳細SCI/SSCI引文題錄。論文引用數(shù)據(jù)包括被引頻次、使用數(shù)據(jù)(Usage)等影響力計量指標。引文題錄包含引證文獻刊名等字段,通過Excel的VLOOKUP函數(shù)為每篇樣本論文的引證文獻期刊匹配當年的AJIFP值。最后,統(tǒng)計各樣本論文引證期刊影響力區(qū)間的數(shù)量。

2.2 WCI的計算

以被引頻次最高的論文“Cancer statistics, 2020”為例,該論文于2020年1月刊載在著名學術期刊CAACancerJournalforClinicals上。截至檢索日期,文章累積被SCI/SSCI論文引用3 830次。引證期刊AJIFP區(qū)間分布如下:(100,95]區(qū)間期刊引用141次;(95,80]區(qū)間期刊引用848次;(80,60]區(qū)間期刊引用1 598次;(60,40]區(qū)間期刊引用786次;(40,20]區(qū)間期刊引用303次;(20,0]區(qū)間期刊引用131次;數(shù)據(jù)缺失期刊引用23次。AJIFP數(shù)據(jù)缺失期刊多為影響力缺失或失真的期刊,本文將該部分期刊AJIFP值定義為0。因此,該論文WCI=141×4+848×2+1 598×1+786×0.5+303×0.25+131×0.125+23×0.125=4 346.0。按照上述方法依次可得到100篇樣本論文WCI數(shù)值。表2列舉了按被引頻次排序前10的論文的相關指標數(shù)值。

2.3 結果分析

2.3.1 WCI特點分析

通過比較論文WCI和被引頻次數(shù)值發(fā)現(xiàn),100篇樣本論文中,91篇論文的WCI高于其被引頻次,僅9篇論文的WCI低于其被引頻次。本次研究的樣本來源于高被引論文,高被引論文研究主題普遍為當前學術研究較為關注的內(nèi)容,因而在一定程度上也影響期刊編審稿件接收的偏好,高被引論文的后續(xù)研究也較容易在高影響力期刊上發(fā)表。因此,體現(xiàn)在本次研究上,樣本論文WCI值普遍高于論文被引頻次。

但是,本文在設計WCI指標時,對高影響力期刊賦予了2～4倍的權重,對低影響力期刊逐漸降低權重標準。因而就單篇論文而言,WCI值依然體現(xiàn)了引證期刊影響力的結構性差異。如表2中,序號4論文被引529次,其中,(100,95]區(qū)間期刊引用占5.67%,(95,80]區(qū)間期刊引用占23.06%;而序號6論文雖被引432次,但(100,95]區(qū)間期刊引用占比達16.20%,(95,80]區(qū)間期刊引用占比高達33.56%,引證期刊影響力的結構性優(yōu)于序號4論文。因而,序號6論文WCI達到761.250,顯著高于序號4論文的596.625。

表2 腫瘤學樣本論文引用、WCI和Usage指標值(部分)

進一步觀察論文WCI與被引頻次數(shù)比值(WCI/C)的分布。WCI/C表明論文平均加權引用影響力,其基準值為1。研究發(fā)現(xiàn),100篇樣本論文WCI/C數(shù)值為0.60～2.40,均數(shù)為1.39,表明大多數(shù)論文的平均加權引用影響力較高。頻數(shù)分布分析表明,WCI/C接近正態(tài)分布(見圖1)。

圖1 WCI與被引頻次數(shù)比值的分布

2.3.2 WCI與其他指標相關性分析

利用SPSS 18.0軟件對WCI、被引頻次、Usage、WCI/C指標之間的相關性進行分析,分析采用斯皮爾曼(Spearman)相關系數(shù),結果如表3所示。研究表明,WCI與被引頻次相關性較強,相關系數(shù)達到0.891;與Usage呈中等相關,相關系數(shù)為0.493。WCI與被引頻次顯著相關,說明WCI與被引頻次具有較高的一致性。綜合WCI指標的科學性、包容性、合理性分析,說明WCI指標用于學術論文影響力評價是可行的。

表3 論文影響力各指標相關性分析

3 結語

本研究從引證文獻的整體綜合視角入手,提出基于引證期刊聲譽差異的學術論文加權引用影響力指標WCI。該指標從論文引證數(shù)量和引證結構反映了論文的學術影響力,理論上相對科學合理;WCI未采用引證文獻后續(xù)的引用情況,因而沒有引文的時間依賴性。通過對100篇腫瘤學引用頻次最高的學術論文進行實證評價,發(fā)現(xiàn)WCI與被引頻次具有較高的一致性,可作為論文被引頻次的補充指標,能夠更好地反映論文在“高影響力”這一維度的特征。

學術論文評價具有復雜性,沒有完美的指標,不同測度或指標僅提供某種評判視角,提供特定條件下的對比參考。WCI僅從論文引證數(shù)量和引證期刊結構層面體現(xiàn)了學術論文的影響力,但表征學術論文影響力的因素有很多,如原生影響力(期刊影響因子等)、社會影響力(Altmetrics評分等)。此外,本文采用AJIFP作為引證期刊聲譽的度量指標,但該指標也存在諸如數(shù)值依賴學科規(guī)模等不足。因此,WCI在學術論文影響力評價中仍會存在評價誤差。后期研究中將綜合考慮多種影響因素,通過科學的方法確定不同影響力期刊區(qū)間并通過科學的方法賦予權重,以實現(xiàn)對學術論文影響力更加科學合理的評價。