基于ESI高被引論文信息科學與圖書館學領域PlumX與引文計量對比分析

秦奮 高健

摘要：替代計量學（Altmetrics）作為基于社交網絡數據的計量指標，其與傳統文獻計量學引文計量的相關性成為研究人員關注的重要方向。本文選取ESI圖情領域高被引論文作為數據源，通過運用SPSS軟件相關性分析、主成分分析等方法，對比分析PlumX指標數值與ESI高被引論文引用量之間的關系，以期得到指標之間的相關性和差異性。

關鍵詞：Altmetrics;ESI;信息科學與圖書館學;高被引;論文;PlumX;SPSS

DOI：10.3969/j.issn.1008-0821.2019.03.018

〔中圖分類號〕G250.252〔文獻標識碼〕A〔文章編號〕1008-0821（2019）03-0157-09

隨著互聯網大數據時代的到來，人們獲取信息的方式變得更加多元化，學術研究的方式也從單純的依靠紙本資源發展到電子資源，從通過參加學術活動交流以了解行業信息到數據庫課題定制推送、信息推薦共享等方式獲取最新研究動態。可見，新興功能軟件及社交媒體越來越成為人們獲取資源信息的便捷途徑。從而學術評價的形式和方式也逐步從傳統的引文計量向多元化指標評價體系轉變。

傳統引文計量一直以來作為學術評價的主要方式，存在著一定的問題：①引文統計滯后性。文章引用是學術評估的傳統形式，即同行評審論文被其他同行評審論文引用，并發表在具有高影響因子的期刊中。但是，一位研究人員從有想法之時開始到在同行評審期刊中發表，大約需要2～5年時間。從發表之時，直到獲得臨界引用規模，還需要3～5年時間，這使得單純通過引文數據來評估文章的水平具有明顯的滯后性，不利于文獻的傳播和利用;②作者引用的文獻并不一定為其最有用的文獻，而可能選取對其發文有利的相似文獻;③學科偏倚性。如計算機領域的學術成果多以會議文獻為主，其引用數相對較低，但這并不足以表征其實際科研水平。Lutz Bornmann等指出科研人員的引文習慣影響引文的質量，從而影響到引文分析在對學術評價中的作用[1]，Gorraiz J等認為引文只能表征一個研究課題的受眾程度，并不能等同于學術期刊的影響力[2]，楊思洛認為引文分析存在著片面性與計數不合理性，國內大量的學者依賴于引文分析，刻意的引用影響了對文獻及期刊評價的客觀性[3]。因此，單一的引文計量并不能完全客觀地評價學術水平，需要新的計量方式對其進行補充。

Altmetrics替代計量學作為近年來國外學術研究的主要課題，通常基于更為廣泛的社交網絡上的數據，并將其作為參與評價科研水平的一部分，打破將出版的學術刊物及其引用作為評估科研水平的唯一依據，其對學術評價體系的改變有著重要的影響力。很多學者嘗試將Altmetrics指標與Citation指標進行對比分析，如將Mendeley和CiteULike參考工具類指標與引文數進行對比分析，認為其更具有廣泛性和時效性[4-5];Waltman L等通過學術期刊的文章收錄情況，對比F1000推薦和引用的關系[6];Shema H等將Blog數據融入到引文計量分析中，創新性地提出博客引文可以作為學術評估的一種依據[7];Costas R等也嘗試將Altmetrics多指標與Citation指標進行對比，認為其對發現高被引期刊有一定的指導作用[8];Luis Ortega認為Altmetrics可以作為文獻計量學的補充工具來評估學術維度[9]。國內學者也逐漸開始關注Altmetrics，有的學者將其運用到機構知識庫中[10-12]，也有嘗試將其運用到學術評估[13]和期刊利用統計中[14]，但是相關研究仍多為綜述性研究[15-18]，針對性的探索研究相對較少。可見，將Altmetrics部分指標與citation指標進行對比分析是近年來研究的主要方向，但是鮮有將Altmetrics工具研究應用到科研評估中。目前，國外比較成熟的Altmetrics的工具包括：Altmetrics.com、PlumX、Impactstory以及PLOS的ALMs。其中包含指標最多、涉及范圍最廣的工具為PlumX[19]。José Luis Ortega通過共時法，對來自PlumX 6個維度數據以及引用數據進行生命周期分析，推斷不同指標對文章的影響力[20-22];Meschede C等將PlumX和Altmetric.com作為研究對象，通過不同來源數據對比分析，找出兩者之間的相關性，以此佐證替代計量學指標可以作為傳統文獻計量學的補充[23];Torres-Salinas D等將PlumX中18個指標運用到評估學術書籍，并衡量不同指標之間的互補程度[24];劉春麗以PlumX為例，研究了Altmetrics工具與機構知識庫的整合效果[25]。但是，值得注意的是，針對PlumX的文獻研究數據鮮有針對學科進行研究，事實上，Altmetrics指標對于不同學科的影響是不同的，并不能一概而論。因此，本文擬將PlumX運用到某一學科的文獻計量中，不僅有利于分析影響文獻的主要因素，更有利于評估學科的影響因素。

1數據來源

目前，人文社科領域學術成果的評估并沒有一個公認的計量方式[26]，傳統的引文計量對于該領域有一定的局限性[27]，替代計量學作為補充性工具對人文社科領域的影響較理工科領域更明顯。因此，本文選取替代計量學評價指標最為全面的PlumX作為工具，PlumX Metrics是Plum Analytics的全面的、項目級別的度量，它提供了在線環境中人們與單個研究成果（文章、會議記錄、書籍章節等）交互的方式的洞察力。2017年2月，Plum Analytics宣布加入Elsevier，Plum Analytics和Scopus平臺以集成PlumX度量作為Scopus上文章級度量的主要來源（以及其他Elsevier平臺和產品），取代了之前由Altmetrics.com提供的計量學。為了支持相似分析，并幫助理解所涉及的大量數據，它們被分成5類：使用率（USAGE）、捕獲數指標（CAPTURES）、提及數（MENTIONS）、社交媒體（SOCIAL MEDIA）以及引用數（CITATIONS），見表1。使用率（USAGE）是研究者在引用之后想知道的第一個統計數，其作為一種信號來表征是否有人在閱讀文章或以其他方式進行研究。Taylor & Francis最近發布了他們的年度開放訪問調查，這是他們對2012年發表文章的作者所做的一項調查。60%的受訪者表示，使用和下載統計數據對于評估未來10年的研究價值將變得非常重要。

目前，研究日益走向開放的網絡，網絡指標來衡量社會的影響可能有一個更廣泛的受眾的環境。其中，捕獲數（CAPTURES）可以是引用的先導指標。研究人員可以從大量的在線工具中選擇來幫助他們進行科研的管理，包括文摘和文獻數據庫、社會書簽網站、參考文獻管理軟件。這些工具中提供了訂制和跟蹤其用戶與所提供的內容的交互，并據此評估與特定研究成果的接觸或使用;社交媒體（SOCIAL MEDIA）可以很好地衡量某項研究的進展情況。通過追蹤社交媒體的度量，你可以考量研究人員是如何促進他們的工作的，這有助于早期的職業研究者來開展學術研究;提及數（MENTIONS），如新聞文章或博客文章的研究，提到是一種告訴人們真正參與研究的方式。可見，PlumX的指標通過收集所有類型的學術研究成果，匯集適當的研究指標來指導科學研究者進行學術活動。

本文選取科睿唯安集團Web of Science平臺核心合集2008-2017年SSCI收錄的文章，篩選出信息科學與圖書館學（INFORMATION SCIENCE& LIBRARY SCIENCE）領域中文獻98 433篇，其中被ESI（Essential Science Indicators）收錄高被引文章431篇。數據采集日期為2018年9月。通過DOI輸入PlumX網站（https：//plu.mx/plum）獲取PlumX指標，找出引文量與替代計量學指標的相關性關系。

2數據分析

2.1引文分析

引文分析主要包括兩個層面：一是引文本身以及引文所承載的相關特征信息的直接計量問題，也就是有關引文的作者、主題、期刊、年代、國家、機構等的分布規律;二是引文以及引文所承載的相關特征信息之間的關系的定性與定量分析，也就是與引文網絡相關的問題，包括引文之間的藕合、共引以及形成的特定網絡的特性等問題[28]。本文選取ESI收錄信息科學與圖書館學領域（INFORMATION SCIENCE& LIBRARY SCIENCE）高被引文章431篇，其被引頻次的數據來源于WoS平臺，因此以WoS平臺被引數據為依據具有參考性，具體其文獻被引情況見表2，該被引數據為逐年引用，如2008年文獻分別在2008-2017年每年的被引次數。通過數據可見，人文社科專業的文獻發表后的第2年為被引增長率最快的一年，被引次數基本為逐年上升，并未出現文獻老化引起的被引數量下降趨勢。

2.2PlumX指標

本文依據SSCI平臺收錄的ESI數據庫信息科學與圖書館學領域（INFORMATION SCIENCE & LIBRARY SCIENCE）領域高被引文章DOI號，輸入PlumX網站（https：//plu.mx/plum），得到相應的PlumX指標見表3。

不同的指標來源數值差距比較大，使用數方面，摘要瀏覽的數值影響最大，其次是全文的瀏覽和鏈接;捕獲數方面，文獻參考軟件Mendeley數值影響最大，其擁有200多萬用戶，作為數據來源的主要來源活躍程度較Citelike高，這也表征文獻在學術平臺上使用情況的人數較多;提及數方面，Twitter與Facebook研究的主要指標數值較高，有研究人員認為該指標在人文社科領域的活躍度比較明顯，多數學者通過社交軟件進行學術交流[29-30];引用數方面，數值影響最大的為Scopus引用，其次是Crossref以及Pubmed Central。Scopus數據庫是目前全球規模最大的文摘和引文數據庫，該數據庫提供引文數據，并且2010年開始，Elsevier公司由英格蘭高等教育撥款委員會（EFCE）牽頭，聯合多所知名高校開啟雪球指標計劃，逐步將替代計量學的指標融入到Scopus數據庫論文度量指標。2018年其將涉及范圍更為全面的PlumX作為其替代計量學的工具。

3引文量與PlumX指標相關性分析

本文選取2008-2017年ESI收錄信息科學與圖書館學領域（LIBRARY AND INFORMATION SCIENCE）專業高被引相關文獻431篇作為數據來源，通過PlumX網站（https：//plu.mx/plum）獲取使用數、捕獲數、提及數、社交媒體以及引用數指標，運用SPSS20.0軟件中的相關性分析、因子分析等方法，對引文量和PlumX多指標進行相關性分析，具體結果見表4。

3.1引文量與各指標相關性分析

通過表4可見，ESI被引頻次與使用數和捕獲數相關系數分別為0.725和0.718，在0.05的水平上顯著相關，說明文獻的閱覽和下載以及文獻管理軟件對文獻引用有一定的影響，數據主要來源于EBSCO和Mendeley。Mendeley軟件用戶量龐大，主要用戶為高校及研究所的科研人員，因此科研人員的行為對引用量有正相關性。ESI被引頻次與引用數的相關系數為，說明兩者之間是極強相關。PlumX中的引用數據主要包括Scopus、CrossRef和PubMed Central等引用數據，其中影響最大的是Scopus引用數據，說明WOS平臺與Scopus平臺雖然數據來源不同，但是其對文章引用數的表征一致。ESI被引頻次與提及數和社交媒體的相關系數小于0.4，相關性較弱，說明ESI高被引論文與提及數和社交媒體沒有必然相關性。ESI處理的數據僅限于ISI收錄的期刊論文（科技論文、評述論文、會議論文以及研究報告）。編輯信件、更正通知、摘要、圖書、圖書的章節以及未被ISI索引的期刊論文，均不被考慮在內[31]。而社交媒體（Twitter、Facebook、Google+等）和提及數（News、Blogs、Wikipedia等）指標則是基于社會網絡的學術評價方法，其底層數據源并不支持WOS數據庫。通過利用PlumX工具收割社交網絡工具以及文獻管理系統中涉及某一研究成果的相關信息（下載量、引用次數、瀏覽次數、評論、轉發等），通過對這些數據進行聚類分析和統計計算，測量該研究成果的指標[32]。由此可見，兩者之間的數據來源范圍和數據計算方法均沒有共通性，相關性也相對較弱。社交媒體和提及數的相關系數為0.991，在0.01的水平上顯著相關。說明社交媒體的傳播與在線學術討論的次數互相影響力比較高。

通過數據可見，PlumX的指標間都有一定的相關性，使用數、捕獲數和引用數具有較強的相關性;與社交媒體及提及數相關性較弱，相關系數并不大，但是通過Facebook、Twitter和社交媒體的相互作用，對學術文獻的推廣有一定的積極意義。

3.2綜合指標分析

本文運用SPSS軟件將ESI引文數，PlumX指標中的“使用數”、“捕獲數”、“引用數”、“提及數”和“社交媒體”的數值進行因子分析，見表5。通過數據可見，KMO數值為0.772，其值大于0.7，證明所選樣本可以使用因子分析法;Bartlett球形檢驗的值為305.137（自由度為15），伴隨概率值為0.000<0.01，達到了顯著性水平，說明拒絕零假設而接受備擇假設，即相關矩陣不是單位矩陣，適合進行因子分析。由碎石圖可見，其中兩個因子數值大于1，且累計方差率也達到了較高的比例，用其反映學術水平說損失的信息量不多，所以本文認為這兩個公因子能夠反映學術水平。

如圖2所示，旋轉后的因子負載矩陣可以明顯地看出兩個主因子的分布，第一主因子主要包括使用數、捕獲數和引用數，可見使用數、捕獲數和引用數對ESI引用的作用比較明顯;第二主因子主要包括提及數和社交媒體。可見，PlumX的5個指標可以歸納為兩個主要公因子：第一是基于傳統文獻使用方式的論文傳播情況，包括文獻的下載使用、文獻管理軟件的使用以及引文數量的影響;第二是以新興媒體行為為代表的大眾媒體對學術論文的影響，包括Twitter、Facebook、Blogs和Wikipedia等。綜上所述，兩個因子從不同角度表征了文獻的影響力，可以作為綜合指標來評估論文的影響力。

4結論與展望

本文篩選WoS平臺ESI圖情專業高被引論文作為數據源，運用替代計量學指標中涵蓋數據范圍最廣的PlumX工具作為依據，探求引文量與替代計量學相關性，以此來驗證替代計量學是否能作為傳統引文計量學的補充指標，彌補引文分析存在的滯后性、偏倚性等弊端。通過研究得到以下結論：

替代計量學并非對傳統文獻計量學引文指標的純粹補充，其能測度引文指標無法涵蓋的領域，例如文獻管理軟件應用、學術視頻的影響力、學術博客的社會影響力等。替代計量學也并非全盤否定基于引文的傳統指標，而是從學術追蹤和交流等方面進行計量。PlumX作為替代計量學重要的指標，不僅涵蓋了新興網絡傳媒對文獻傳播的影響分析，還融入傳統文獻計量學引文數的重要指標，其在評價論文水平方面具有一定的意義。

ESI高被引論文引用數與使用數和捕獲數有一定的相關性，說明研究人員的推廣對文章的引用起到的作用較大。而ESI高被引論文引文數與社交媒體和提及數沒有明顯的相關性，說明高被引論文并不依賴社會媒體宣傳度，且通過SPSS分析可見，兩者具有明顯的側重性，因此引文量與社交媒體平臺相互獨立性，將兩者結合評估學術水平將更全面客觀。ESI高被引論文引用數和PlumX指標引用有高度相關性，說明PlumX能夠包含引用數據的指標。因此，PlumX不僅擁有替代計量學指標及時性、便捷性的特點，更有效地填補了傳統引文分析的弊端，能夠作為補充性指標對該領域的學術水平進行綜合評價。

目前替代計量學領域的實證研究數據主要來自于外文文獻，鮮有針對國內文獻的替代計量學研究。通過研究可見，本文研究的PlumX指標的數據獲取主要依靠文章DOI號，DOI注冊服務是由IDF批準的全球9個RA（DOI注冊機構）進行運行和推廣。2007年3月，中國科技信息研究所和萬方數據公司于聯合申請，由IDF批準成立了我國首個RA，并建立運行了“中文DOI”（http：//www.chinadoi.cn）服務。現階段，中文DOI已推出DOI多重解析服務，與國外的Springer，Elsevier等大型出版商以及SCI、EI等文摘數據庫通過DOI進行被引文獻、施引文獻的相互鏈接以及資源統計。隨著國內科研水平的不斷提高，中文DOI服務的不斷發展，替代計量學的相關研究必將成為中文文獻研究的主要方向。

但是，本文仍存在一定的不足。主要在兩個方面：第一，樣本的選擇相對較少，雖然考慮到引文周期的因素，時間跨度為10年以上，但是由于學科的特殊性，使得數據量不夠充分;第二，替代計量學指標數據與引文量在學術文獻評價中所占比重并沒有一個確切的數據支持，這一方面將在后續的研究中進一步討論和探索。

替代計量學對于促進科學交流的網絡化是必然趨勢，既是提高科學交流效率的需要，也是網絡時代科學家交流偏好變化的產物。本文希望通過探求替代計量學指標PlumX與引文量之間的關系，找到綜合評價學術評價的合理方式，豐富學術評價體系，更全面地提供學術評價的方法，為進一步提高科研水平提供理論支持。

參考文獻

[1]Bornmann L，Daniel H.What Do Citation Counts Measure？A Review of Studies on Citing Behavior[J].Journal of Documentation，2008，64（1）：45-80.

[2]Gorraiz J，Gumpenberger C，Schlgl C.Usage Versus Citation Behaviours in Four Subject Areas[J].Scientometrics，2014，101（2）：1077-1095.

[3]楊思洛.引文分析存在的問題及其原因探究[J].中國圖書館學報，2011，37（3）：108-117.

[4]Bornmann L.Alternative Metrics in Scientometrics：A Meta-analysis of Research Into Three Altmetrics[J].Scientometrics，2015，103（3）：1123-1144.

[5]Peters I，Peters I，Bar-Ilan J，et al.Coverage and Adoption of Altmetrics Sources in the Bibliometric Community[J].Scientometrics，2014，101（2）：1145-1163.

[6]Waltman L，Costas R.F1000 Recommendations as a Potential New Data Source for Research Evaluation：A Comparison With Citations[J].Journal of the American Society for Information Science & Technology，2014，65（3）：433-445.

[7]Shema H，Bar-Ilan J，Thelwall M.Do Blog Citations Correlate with a Higher Number of Future Citations？Research Blogs As a Potential Source for Alternative Metrics[J].Journal of the American Society for Information Science & Technology，2014，65（5）：1018-1027.

[8]Costas R，Zahedi Z，Wouters P.Do“Altmetrics”Correlate with Citations？Extensive Comparison of Altmetric Indicators with Citations from a Multidisciplinary Perspective[J].Journal of the Association for Information Science & Technology，2014，66（10）：2003-2019.

[9]Ortega J L.Relationship Between Altmetric and Bibliometric Indicators Across Academic Social Sites：The Case of CSICs Members[J].Journal of Informetrics，2015，9（1）：39-49.

[10]邱均平，張心源，董克.Altmetrics指標在機構知識庫中的應用研究[J].圖書情報工作，2015，（2）：100-105.

[11]王聰，劉春麗.Altmetrics在我國高校機構知識庫應用分析[J].情報雜志，2016，35（12）：116-120.

[12]劉春麗.Altmetrics工具與機構知識庫的整合與效果——以PlumX為例[J].圖書情報工作，2015，59（24）：39-46.

[13]趙蓉英，郭鳳嬌，譚潔.基于Altmetrics的學術論文影響力評價研究——以漢語言文學學科為例[J].中國圖書館學報，2016，42（1）：96-108.

[14]陳銘.期刊利用統計與Altmetrics的興起[J].圖書與情報，2014，（1）：12-17.

[15]邱均平，余厚強.論推動替代計量學發展的若干基本問題[J].中國圖書館學報，2015，41（1）：4-15.

[16]王睿，胡文靜，郭瑋.常用Altmetrics工具比較[J].現代圖書情報技術，2014，（12）：18-26.

[17]衛垌圻，譚宗穎.Altmetrics國內外研究中的問題與挑戰[J].圖書情報工作，2015，59（2）：93-99.

[18]趙蓉英，魏明坤，汪少震.Altmetrics的發展動態探析[J].情報科學，2017，（2）：171-176.

[19]楊柳，陳銘.常用替代計量學工具之比較研究[J].情報理論與實踐，2015，38（9）：114-119.

[20]Ortega J L.The Life Cycle of the Altmetric Impact：A Longitudinal Study of Six Alternative Metrics from PlumX[J].Journal of Informetrics，2017，12（3）.

[21]Ortega J L.To Be or Not to Be on Twitter，and Its Relationship with the Tweeting and Citation of Research Papers[J].Scientometrics，2016，109：1-12.

[22]Ortega J L.Reliability and Accuracy of Altmetric Providers：A Comparison Among Altmetric.com，PlumX and Crossref Event Data[J].Scientometrics，2018，116（3）：2123-2138.

[23]Meschede C，Siebenlist T.Cross-metric Compatability and Inconsistencies of Altmetrics[J].Scientometrics，2018，115（4）：1-15.

[24]Torres-Salinas D，Robinson-Garcia N，Gorraiz J.Filling the Citation Gap：Measuring the Multidimensional Impact of the Academic Book At Institutional Level with PlumX[J].Scientometrics，2017，113（4）：1-14.

[25]劉春麗.Altmetrics工具與機構知識庫的整合與效果——以PlumX為例[J].圖書情報工作，2015，59（24）：39-46.

[26]Trowler，Paul.Academic Tribes and Territories[M].Open University Press，2001.

[27]Nederhof A J.Bibliometric Monitoring of Research Performance in the Social Sciences and the Humanities：A Review[J].Scientometrics，2006，66（1）：81-100.

[28]梁永霞.引文分析學的知識計量研究[D].大連：大連理工大學，2009.

[29]Holmberg K，Thelwall M.Disciplinary Differences in Twitter Scholarly Communication[J].Scientometrics，2014，101（2）：1027-1042.

[30]Hellqvist B.Referencing in the Humanities and Its Implications for Citation Analysis[J].Journal of the American Society for Information Science & Technology，2010，61（2）：310-318.

[31]王穎鑫，黃德龍，劉德洪.ESI指標原理及計算[J].圖書情報工作，2006，50（9）：73-75.

[32]Piwowar H.Introduction Altmetrics：What，Why and Where？[J].Bulletin of the American Society for Information Science & Technology，2013，39（4）：8-9.

（責任編輯：郭沫含）