辯證思維視角下Altmetrics在科研成果評價中的應用研究

摘要：開放科研環境下，科研成果的產出形式及傳播方式都發生了變化，而與之相適應的科研成果評價方式也呈現出多元趨勢。Altmetrics基于學術社交網絡及開放存取平臺提取的社會評價指標，對全面評價科研成果社會影響力提供了重要參考，但由于Altmetrics自身的特點在科研成果評價中需要謹慎的使用。文章在闡述Altmetrics理論背景的基礎上，依據Altmetrics指標來源歸納了Altmetrics指標類型，并在分析Altmetrics優劣勢的基礎上從辯證思維視角對Altmetrics在科研成果評價中的應用提出建議。

關鍵詞：科研成果；Altmetrics；科研評價；開放科研環境

中圖分類號：G353.1?? 文獻標識碼：A

DOI：10.13897/j.cnki.hbkjty.2023.0033

0 引言

開放數據環境下科研主體、科研方法以及科研成果的傳播載體都呈現出了多樣的趨勢。尤其是Web2.0的出現，加速了學術交流的傳播，Nathan ［1］認為開放的數據環境能夠讓科研工作者通過在線合作和網絡社區分享，推進科學進程。在這樣的科研環境下，科研成果的產出形式及傳播方式都發生了變化，而與之相適應的科研成果評價方式正在發生變化。

傳統的科研成果評價方法，在經歷行政審批評議、同行評價兩個階段后已發展到以定量指標為主的評價階段。定量評價階段最早始于指標定量評價方式，指標定量是首先為評價對象制定量化的指標標準，然后再由專家對照標準對科研成果進行打分，但由于交叉科學的迅猛發展，定量指標的設定過程及權威性越來越受到人們的質疑。隨著各數據庫平臺技術的發展，以引證分析、詞頻分析等為主的文獻計量手段逐步應用到科研成果評價中，并迅速成為國內外科研成果評價的主流。目前，文獻計量評價已成為國內外數據庫系統的主要服務功能之一，比如Web of Science、Scival、ESI、DI、JCR等涵蓋多種類型科研成果評價的綜合數據平臺。這些平臺的收錄和引證也已成為我國現階段科研成果評價的主要依據［2］。但隨著開放科研環境的到來，單純依托某一數據庫平臺的引證數據已經不能全面反映科研成果的利用和引用情況，在這種情況下，Altmetrics應運而生，并廣泛應用于Nature、Elsevier、Wiley等主流出版商平臺的科研成果評價體系中。

從目前對Altmetrics的研究現狀來看，越來越多的研究者加入到本領域的研究，同時也出現了越來越多的相關成果，涵蓋了Altmetrics工具［3-5］、方法［6-8］和應用［9-10］研究，這在一定程度上顯示了Altmetrics在科研成果評價中的應用具有巨大的潛力。但針對Altmetrics應用于科研成果的評價研究缺乏辯證的系統研究。

1 Altmetrics的理論背景

Altmetrics作為科研成果評價的計量指標最早是由北卡羅來納大學Jason Priem在2010年Twitter上提出的，并在同年10月與其他學者聯合發布了《Altmetrics：A Manifesto》宣言［11］。Altmetrics提出后引發了學術界的很大關注。國內最早對Altmetrics開展研究的是中國醫科大學圖書館的劉春麗［12-13］，她在2012年最早將Altmetrics引介到國內，并將Altmetrics譯為“選擇性計量學”，隨后對Altmetrics譯名做了全面而深入的辨析和考證，并考察Altmetrics的早期理論假說、術語提出的方式和過程，提出Altmetrics是對傳統引文方法的補充，而不是替代，Altmetrics測量的重點是科學研究的關注度和影響力。邱均平等［14］和由慶斌等［15］先后從不同的角度綜述了Altmetrics，并分別翻譯為“替代計量學”和“補充計量學”。其中邱均平等明確提出狹義的替代計量學主要研究的是區別傳統文獻計量指標的網絡在線數字計量指標及其應用，廣義的替代計量學研究在線新型科學交流體系和面向學術成果的全面影響力評價指標體系。雖然目前對Altmetrics并沒有一個統一的定義，但Altmetrics是一個開放的在線評價方法，其在科研成果評價中應用的意義得到了研究者的重視。

Altmetrics產生的原因在于認識到傳統指標在捕捉與科研成果產出相關的所有活動和影響方面的能力有限，并試圖通過整合更廣泛的在線數據源來解除這些限制。長期以來，文獻計量學一直依賴引文分析來衡量學術成果的質量和影響，但它因局限性和偏見而受到批評。例如，引用受出版地點、學科、時間和作者國籍的影響。此外，引用僅反映了部分學術影響，缺乏研究的使用、傳播和反饋。相比之下，Altmetrics試圖通過整合各種在線數據源，如社交媒體、博客、新聞媒體等來補充和拓寬文獻計量學的視角。這些來源提供了廣泛的利益相關者，如研究人員、從業者、政策制定者、社會大眾等各方的實時關注和參與。

隨著越來越多的研究人員使用數字平臺來共享、協作和交流他們的科研成果，這些平臺生成了大量的交流數據，這些數據已超出傳統指標的衡量范圍。Altmetrics的出現更好地反映了這種學術交流帶來的變化，補充和拓寬了文獻計量學的視角。但Altmetrics方法和指標在不斷發展，在科研成果評價中的應用仍然存在很大的挑戰，比如人們擔心在線數據的可靠性和有效性以及Altmetrics評價指標存在的潛在偏見和誤用。所以在Altmetrics的應用中需要意識到其局限性，并繼續開發和改進Altmetrics指標的計量方法。

2 基于不同來源的Altmetrics指標類型

Altmetrics指標是超越傳統引用指標跟蹤科研成果影響范圍的指標。本部分基于Altmetrics指標來源的不同，歸納主要的Altmetrics指標類型包括社交媒體指標、新聞報導指標、在線討論覆蓋率指標、書簽和參考文獻管理指標和政策指標五種類型。

2.1 社交媒體指標

社交媒體指標是指科研成果在Twitter、Facebook、LinkedIn等社交媒體平臺上被提及次數、分享次數、點贊和關注量。這些指標衡量的是科研成果在社交媒體上的影響力。值得注意的是，雖然社交媒體指標可以為科研成果的影響力評價提供有價值的參考，但它們并不是研究成果本身質量或有效性的可靠指標。此外，社交媒體指標通常會受到偏差和限制的影響，例如使用特定平臺的用戶的人口統計數據或者確定向特征用戶顯示推送內容的算法。因此，社交媒體指標在科研成果評價中應與傳統計量指標結合使用，以提供更完整、更準確的研究成果影響評價。

2.2 新聞報導指標

新聞報導指標是指依托傳統媒體或網絡媒體對科研成果的報導所產生的可量化數據。主要的新聞報導指標包括：新聞文章量、媒體管道、訪問量、分享量等。比如THE VERGE 作為一家知名的科技新聞網站，涵蓋了科技行業的新聞、評論和分析等內容，是提供Altmetric 新聞提及次數的可靠來源［16］。新聞報導指標是研究人員了解他們的科研成果在傳統研究社區之外的影響和傳播的重要工具。值得注意的是，新聞報導指標與其他Altmetrics指標一樣，并不代表科研成果本身的質量。新聞報導的范圍和質量會受到多種因素的影響，包括科研成果的新聞價值、研究資金的可用性以及研究人員的公共關系網絡等因素。

2.3 在線討論覆蓋率指標

在線討論覆蓋率指標是指科研成果通過在線討論平臺或是博客文章、博客評論和其他在線平臺提及的數量。研究人員或研究機構可以使用這些指標來確定其科研成果的知名度和公眾參與度。主要指標包括瀏覽量、分享次數、評論量以及影響者參與度。比如scienceforums論壇，研究人員可以瀏覽不同主題下的文章和討論，也可以通過注冊賬戶在論壇上發表自己的文章和評論，與其他用戶進行交流和討論［17］。通過分析在線討論覆蓋率指標，研究人員或是研究機構就可以評估其科研成果的影響力和影響范圍。

2.4 書簽和參考文獻管理指標

書簽和參考文獻管理指標指一篇研究文章或其他科研成果在書簽網站（如Mendeley或CiteULike）上被保存、共享或引用的次數。這些指標包括書簽次數、查看次數、下載、引用和分享次數。比如Mendeley既是一個學術社交平臺，也是一個參考文獻管理軟件［18］。當某個用戶在Mendeley中將自己的文章添加到個人庫后，其他人就可以在Mendeley上保存或引用該用戶的文章，比如這篇文章被保存到了多少個用戶的個人庫中，被引用了多少次，以及被多少個用戶標記為“喜歡”。通過這些Altmetrics指標，研究人員或機構能夠了解他們的科研成果如何被使用以及被誰使用。

2.5 政策指標

政策指標是指衡量科研成果對政策制定產生的影響力的指標。這種影響力可以通過計算科研成果在各種政策相關材料（如政府報告、政策文檔和其他政策相關材料）中被引用或參考的次數來確定。通過政策指標可以衡量科研成果在制定政策及輔助決策方面的廣泛認可度和影響力。比如Policy Common 作為共享和討論政策文檔和政策研究成果的社區，提供了超過350多萬份有關政策文檔和政策研究成果的Altmetrics數據［19］。目前政策指標已越來越多的用于評估科研成果對公共政策的影響。此外，研究人員也可以使用政策指標來確定政策相關材料中更有可能被引用的研究文章和主題的類型，并相應地調整他們的研究重點。所以說，通過政策指標來評估科研成果可以為研究人員或研究機構提供有價值的信息，以提高其研究的影響力并有效地分配資源。

3 Altmetrics應用于科研評價的優勢及劣勢分析

3.1 Altmetrics的優勢分析

首先從指標獲取的時效性方面來看，傳統文獻計量指標都是基于文獻出版后一段時間才能獲取相關的引用信息，依靠傳統文獻計量指標進行科研成果評價最理想的時間周期是成果出版的2-3年。但Altmetrics計量指標則不同，每小時每天每周都可以成為測量周期，能夠實時監測科研成果被關注、被引用以及被討論或被報導的情況。其次，從指標來源方面來說，傳統文獻指標主要來源于各出版類型文獻之間的相互引用關系，限制于正式出版物，指標獲取來源主要是來自于各正式的數據庫平臺；但Altmetrics覆蓋的來源包括Blog、News、Twitter、Facebook等各類社交及開放數據平臺。再次，Altmetrics擴展了不同主體的評價維度。對于科研成果的作者而言，Altmetrics能夠幫助作者及時了解讀者的評價，同時通過討論及關注能夠提升其社交影響力，擴大作者的知名度；對于讀者而言，Altmetrics能夠在更開放的環境中參與作者文章的討論，甚至可以與作者直接溝通，更有利于研究成果的改進和創新；對于出版機構而言，科研成果位于一個易于使用的基于Web的平臺，它允許用戶瀏覽和傳播每一個學術內容的所有Altmetrics計量指標數據，更有利于提升出版機構的影響力，提升出版質量；對于研究機構而言，Altmetrics能夠從更廣大的范圍揭示機構的學術水平和社會影響力，開放網絡中的討論及關注更能夠提升社會關注度，擴大機構的知名度。

3.2 Altmetrics的劣勢分析

Altmetrics與任何其他評價方法一樣，既有優勢也有劣勢。首先，Altmetrics的數據源來自社交媒體和新聞媒體等，由于網絡用戶范圍、用戶類型的多樣性以及社交網絡自身的引導性和偏向性，導致數據缺乏一定的可靠性或準確性，因此很難比較和解釋不同研究的結果。其次，數據采集缺乏標準化，目前用于收集、分析和解釋Altmetrics數據的方法標準化的缺失會導致數據中的差異和不一致。比如Altmetrics數據動態性既有時效性的優勢，也有時間窗的受限和挑戰。在使用Altmetrics時，時間范圍設定和控制對評價結果影響很大。再次，數據的覆蓋范圍有限，目前Altmetrics數據僅適用于一小部分研究成果，并沒有涵蓋整個學術領域，這可能導致對研究影響的扭曲看法，并限制Altmetrics在科研成果評估中的有用性。所以，雖然Altmetrics為科研成果評價提供了有價值的參考，但需要科學、謹慎的使用。

4 Altmetrics應用于科研成果評價的建議

4.1 Altmetrics指標數據獲取的情境化

Altmetrics指標數據獲取的情境化是指在應用于科研成果評價時需要考慮的影響因素，包括科研成果的類型、受眾、評價目標等因素。例如，一篇在社交媒體上被廣泛分享、新聞提及次數多的文章可能被認為在公眾參與度和興趣度高的領域更有影響力，說明這篇文章具備較高的社會影響力。但同時要了解Altmetrics的優勢和局限性，這些指標并不能反映文章的學術影響力，學術影響力更多的是需要通過傳統計量指標（如引用）或是同行評議的定性指標去體現。所以，采用Altmetrics指標數據評價科研成果時，一定要考慮特定的情境，按情境的需要結合使用傳統計量指標和同行評議進行綜合評價。

將Altmetrics數據置于情境中并理解其優勢和局限性對于在科研成果評價的有效性和準確性至關重要，能夠更全面地獲取科研成果的多元評價。

4.2 考慮Altmetrics指標數據時間窗口的影響

Altmetrics數據會隨著時間的變化而變化，因此在使用Altmetrics數據評價科研成果時，需要重點考慮時間窗口的選擇對評價結果的影響。例如，在科研成果出版后的第一個月內獲得大量社交媒體提及的作品可能在一年后具有不同的影響。所以在采集Altmetrics指標數據時，要考慮不同時間段（例如每月、每季度或每年）的數據，以全面了解科研成果的影響力變化是如何隨時間范圍的不同而發生變化的。在對科研成果的影響力評價時，也需要考慮科研成果的生命周期，因為有些科研成果可能會產生長期影響，而另一些可能會產生短期的影響。這些變化反映在Altmetrics數據中，例如，一些著作在出版后很長時間內繼續受到關注和參與，而另一些著作可能隨著時間的推移而受到較少關注。所以，在使用Altmetrics數據時，需要同時考慮數據的時間范圍和科研成果的生命周期。

4.3 促進Altmetrics指標使用的透明度和開放性

Altmetrics指標數據來源的多樣性為科研成果評價提供了多元化的價值參考，但同時由于數據來源的多樣性，使得數據的真實性和完整性缺少相應的保障，容易受到社交媒體或網絡平臺的纂改從而影響數據的真實和完整。促進透明度和開放性對于使用Altmetrics評價科研成果的影響很重要。Altmetrics使用的透明度是指要公開提供用于收集和分析數據的方法，包括數據來源、用于選擇數據的標準以及用于分析數據的方法，公開這些方法和標準，研究人員或其他機構能夠更好地理解Altmetrics的數據基礎并評估數據和方法的有效性。此外，Altmetrics使用的開放性指的是數據是可以通過公開訪問獲取，包括獲取原始數據以及數據分析的結果。開放性可以允許其他人獨立驗證結果，保證了評價結果的可靠性。透明度和開放性將有助于推進Altmetrics在科研成果評價中的廣泛使用。

4.4 Altmetrics指標和傳統計量指標相結合

鑒于Altmetrics指標與傳統文獻計量指標相比，存在優勢，但同時存在一定的局限性。將Altmetrics指標和傳統計量指標結合能夠為科研成果的評價提供更全面的參考。Altmetrics指標和傳統計量指標的結合可以通過多種方法實現。一是通過歸一化方式將Altmetric.com、Plum Analytics和Scopus等平臺提供的Altmetrics指標數據以及引文、影響因子等傳統指標進行一個通用尺度的轉換，然后進行橫向的比較和組合。例如將Altmetrics指標數據標準化為0-100的范圍，然后與傳統計量指標進行比較。二是通過加權組合的方式，根據每個指標的相關性和重要性為每個指標分配權重。比如，如果評價目標側重科研成果的學術性，就可以將傳統計量指標的權重設定高于其他社交媒體提及的權重；如果評價目標側重科研成果的社會影響力，則需要加大社交媒體提及的權重。

5 結語

隨著開放科學和社交網絡的不斷發展，Altmetrics在科研成果評價中發揮的作用越來越重要。Altmetrics通過捕捉廣泛的在線活動和互動，為科研成果評價提供了更全面的維度和視角，但也存在Altmetrics數據質量不可靠、數據范圍受限、數據采集缺乏標準化等問題。所以，在使用Altmetrics評價科研成果時，需要了解Altmetrics的局限性和缺點，謹慎、科學的采集數據，并將它們與其他傳統計量指標結合使用，以更全面的評價一項科研成果的學術水平以及學術影響力。Altmetrics領域目前在國內的相關研究仍然處于初期的探索階段，為充分理解和發揮其潛力，需要研究人員、機構、政策制定者等利益相關者的共同努力，進一步改進收集和分析Altmetrics指標數據的方法、擴大數據的覆蓋面以充分發揮Altmetrics在科研成果評價中的潛力。

參考文獻

［1］Nathan Ingraham. Open science movement uses online collaboration and social sharing to speed up the scientific process［EB/OL］.［2022-12-20］.http：//www.theverge.com/2012/1/18/2715752/open-science-movement-online-collaboration.

［2］于會萍，郭少坤，田永超，等.基于多元文獻計量指標的大學學術競爭力研究［M］.長春：吉林大學出版社，2018.

［3］金路，郭勝偉.Altmetrics：基于社交網絡的新測度工具［J］.科技視界，2018（19）： 90-93.

［4］Wang X， Lv T， Hamerly D. How do altmetric sources evaluate scientific collaboration？ An empirical investigation for Chinese collaboration publications［J］. Library Hi Tech， 2020， 38（3）： 563-576.

［5］Babu R， Vysakh C.Citations v/s altmetric attention score： a comparison of top 10 highly cited papers in nature［J］.Library Philosophy and Practice， 2019， e2992： 5-19.

［6］孟偉花，向菲.基于情感分析的altmetrics學術質量評價方法研究［J］.圖書情報工作，2016，60（11）： 107-112.

［7］韓征征，羅靜.基于共詞分析的國內替代計量學研究［J］.情報探索，2020（9）： 131-134.

［8］Ebrahimy S， Setareh F， HosseinChari M. Assessing the relationship between the alternative metrics of visibility and social bookmarking with citation index in PLOS Altmetrics［J］. Iranian Journal of Information Processing and Management， 2022， 31（3）： 693-693.

［9］李江波，張梁，姜春林.Altmetrics視角下的人文社會科學學術專著影響力評價研究——基于BkCI、Amazon和Goodreads的比較分析［J］.情報學報，2020，39（9）： 896-905.

［10］趙蓉英，張揚，陳婧.Altmetrics在論文影響力評價中的應用研究［J］.情報科學，2018，36（6）： 3-8，39.

［11］Priem， Jason， Dario Taraborelli， Paul Groth， and Neylon， Cameron. 2010. “Altmetrics： a Manifesto–Altmetrics.org.” Altmetrics： a Manifesto.26.［EB/OL］.［2022-12-27］.http：//altmetrics.org/manifesto/.

［12］劉春麗.Web 2.0環境下的科學計量學：選擇性計量學［J］.圖書情報工作，2012，56（14）： 52-56，92.

［13］劉春麗.Altmetrics：從理論假說、術語提出到內涵的重新界定［J］.圖書情報工作，2015，59（6）： 82-89.

［14］邱均平，余厚強.替代計量學的提出過程與研究進展［J］.圖書情報工作，2013，57（19）：5-12.

［15］由慶斌，湯珊紅.補充計量學及應用前景［J］.情報理論與實踐，2013，36（12）：6-10.

［16］Vox Media. About The Verge ［EB/OL］.［2023-01-21］. https：//www.theverge.com/about-the-verge.

［17］[JP2]Invision Community. Scienceforums ［EB/OL］.［2023-01-21］. https：//www.scienceforums.net/.

［18］Elsevier. About Mendeley ［EB/OL］.［2023-01-22］. https：//www.elsevier.com/solutions/mendeley.

［19］[JP2]Coherent Digital. Policycommons ［EB/OL］.［2023-01-22］. https：//coherentdigital.net/policycommons.

作者簡介：

于會萍（1978），女，華北電力大學圖書館副研究館員。研究方向：圖書館學。

（收稿日期：2023-02-07 責任編輯：孫 煒）