開放獲取資源評價模式的研究：基于單篇論文質量評價*

劉菊紅　黃凱文

開放獲取資源評價模式的研究：基于單篇論文質量評價*

劉菊紅黃凱文

論文分析開放獲取出版的發展態勢，研究開放獲取期刊的質量評價方法，指出開放獲取期刊在發展的進程中，逐漸表現出與傳統期刊的差異，采用傳統評價方法應用于開放獲取期刊評價已經具有明顯的局限性，并揭示了基于開放獲取期刊的評價已經開始向基于單篇論文的質量評價過渡，分析了基于單篇論文質量評價的主要指標、應用情況、評價體系以及評價效果。

開放獲取論文質量評價Altmetrics

科學出版在歷經了350年的緩慢發展之后，目前已邁入以快速出版和普遍分享為特征的互聯網時代，一些新型出版模式正在挑戰傳統出版模式，其典型代表就是開放獲取（以下簡稱OA）模式。隨著OA運動的深入發展，涌現出了一批具有嶄新特點的開放獲取期刊（以下簡稱OAJ），這些期刊從出版速度、出版容量、媒體表現形式、語義化出版等方面，都顯示出了與傳統期刊不同的特點，采用傳統文獻計量學指標來評價OAJ，已經顯示出局限性。因此，針對OAJ本身的特點來設計評價指標，已經成為一項具有重要意義的研究課題。

1　OA資源出版態勢分析

1.1在數量上顯著增加

OA自提出以來，以其先進的理念，于21世紀取得了長足發展。國際權威的OAJ收錄代表——2003年5月由瑞典隆德大學（Lund University Libraries）圖書館創辦的OAJ目錄（Directory of Open Access Journal，簡稱DOAJ）截至2014年5月，收錄的OAJ已經達到9834種，OA文章約1 659 880篇，見圖1。始于2005年1月的“開放存取知識庫名錄”（Direct of Open Access Repositories，OpenDOAR）是公認的收錄OA知識庫最為權威的目錄網站，截至2014年5月，在OpenDOAR注冊的OA知識庫已達2604家。OAJ和機構知識庫的迅速發展，體現出OA運動迅猛發展的潮流。據一項歐盟資助的研究同時表明，已經有一半的論文在發表兩年內可以免費訪問。研究的第一作者艾瑞克·阿爾尚博（Eric Archambault）認為，這表明OA出版已經抵達一個拐點［1］。

圖1　DOAJ收錄OAJ數量

1.2在質量上持續提高

Web of Science數據庫收錄的研究成果代表著世界基礎科學研究的最高水準。通過Web of Science核心合集檢索顯示，2004年共發表29 394篇OA論文，而截至2014年5月，OA論文總量已經達到1 063 036篇；且OA論文數量占論文總量的百分比一直在增加，由2004年僅占2.54%上升到2013年占比高達16.61%（詳見圖2）。這說明隨著OA運動的深入發展，已經得到了高水平科研人員、科研機構、出版機構的認同，愿意在OAJ上發表論文的研究人員越來越多。

圖2　SCI核心合集收錄OA論文數量占全部論文數量的百分比

2　OAJ質量評價方法研究綜述

自OA誕生以來，其質量問題就成為學術界關注的焦點，國內外研究人員圍繞OAJ、OA論文的質量和影響力展開了較為廣泛的實證研究。早期國外諸多學者比較了同一學科領域同一期刊或者影響因子接近的期刊、或質量接近的會議論文中，OA論文與非OA論文獲得的引用數量的差異，探討OA對促進學術傳播、提高學術成果可見度、增加引用數量的影響［2-6］。國內對OAJ的質量評價，可以劃分為以下幾個類型：

（1）早期的研究，從學科分布、檢索特性、影響因子等角度，將OAJ與傳統著名期刊進行對比［7，8］。

（2）基于文獻計量學指標構建評價體系。經過初期的探索后，眾多學者開始采用傳統文獻計量學指標如載文量、篇均作者數、總被引頻次、平均引文率、影響因子、即時因子、h指數、論文合著率、國際論文比、作者合作度、擴散因子、特征因子（Eigenfactor）、SJR等指標構建OAJ質量評價指標體系［9-14］。

（3）基于文獻計量學結合網絡計量學、被權威索引體系收錄指標構建OAJ質量評價指標體系。因OAJ是源生數字、源生開放的，期刊的出版流程及用戶利用行為如作者投稿、同行評議、論文發表、論文閱讀、全文下載、同行討論等都以在線形式展開，因此，OAJ的成敗，除了與文章內容質量密不可分之外，還受到依托網站各項指標的影響，比如網站響應速度、界面友好性、檢索入口數目、網絡載文量、總網頁數、網絡引文率、鏈接流行度、網絡述及、總網絡影響因子、外部網絡影響因子、PageRank值、IP訪問量、頁面瀏覽量、人均頁面瀏覽量等指標。因此，學術界在使用傳統文獻計量指標的基礎上，聯合網絡計量學指標以及被權威文摘工具收錄情況，構建OAJ質量評價指標體系［15-19］。

（4）從定性和定量兩個角度設計OAJ質量評價指標體系。定性指標包括期刊規劃？出版機構的權威性？審稿是否嚴格、標準是否規范、版權保護方案、文字表達、科學創新、數據處理、研究方案等，定量指標包括文獻計量學指標、網絡計量學相關指標［20，21］。

但隨著OAJ的深入發展，OAJ本身開始呈現出與傳統期刊不同的特征，如：出版周期不固定、出版容量無限制、出版內容多媒體化、開放獲取的全文可計算等。OAJ的種種期刊特征日趨模糊化，與傳統期刊的分野日益明顯。在傳統文獻計量學指標廣受詬病、OA論文快速激增，科研人員呼吁新型學術工具以解決日益嚴竣的論文選擇矛盾的困境下，OA領域新型評價指標開始出現。

3　OA出版呈現新特點

3.1出版速度快

OA的宗旨之一在于加快同行評審期刊的出版，加快學術成果的傳播速率。傳統紙質期刊有明確的出版周期，但網絡出版無需受到紙質期刊按期出版的限制，可實現按篇即時出版，因此相對紙質出版可以有效縮短出版時滯，加快科研成果的傳播。例如，美國光學學會主辦的《Optics Express》 和《Optical Materials Express》，提供了“Issues in Progress”欄目，顯示已錄用并完成編輯加工的文章，每隔一周，會集中將此處的文章集合成為一期，作為最新一期出版。《PLoS One》充分利用互聯網優勢，采用即時出版，無明確的出版周期。只要稿件經過了嚴格的質量體系審查，就可以在每個工作日在線發表。所以在《PLoS One》網站只要點擊“Browse articles”，就可以看到當天或最近一周出版的文章。據趙樹慶和劉永勝研究報道2010年中國的20種科技期刊，3164篇論文的平均發表時滯為11.6個月（約348天）［22］，與OAJ的差距巨大。

3.2出版容量大

在過去的十年間，涌現出了《PLoS One》、《OPTICS》等發文量大、增速較快的OAJ。創刊于2006年的《PLoS One》，2007年全年發表論文4077篇，2013年全年共發表論文32 986篇，7年間年均發文量增長了10倍多，截止2014年5月8日止，共發表文章86 837篇（詳見圖3），其文章總量超過了1945年創刊，迄今已有59年歷史的《The New England Journal of Medicine》，后者截止2014年5月8日止，共發表文章69 972篇。OA的重要意義之一在于加快科學研究成果的傳播速度，《PLoS One》在一天中出版的文章量比某些傳統期刊一年出版的文章數量還要多。

圖3　《PLoS One》歷年發表文章數量

3.3富媒體出版

傳統的紙質出版只能局限于文本和圖形方式的線性展示，而網絡出版提供了更多的可能。首先可以展現多種資源形式，如圖片、音頻、視頻、動畫、圖表、模擬動畫、數據模型、流程圖等，因此可以傳達更多的信息。目前，由中國科學院長春光學精密機械與物理研究所與自然出版集團（Nature Publishing Group，NPG）以OA模式合作出版的《Light》網絡版以xml標準出版，提供了各種信息之間的交叉鏈接，并具有全文檢索功能。同時，允許作者在發表文章時，以pdf、wav、gif、ppt等格式出版補充資料，以進一步補充說明論文中的論點［23］。這種富媒體出版，極大地方便了讀者使用資源。

3.4富語義出版

Web技術可以幫助網絡期刊論文實現多種形式的語義標記和語義增強，比如論文可以包含與論文直接相關的信息及網站的鏈接，如作者的個人主頁、供應商目錄、數據庫及引用的論文；論文中的關鍵術語和概念被識別和區分出來，并通過在線網絡服務提供鼠標懸停彈窗式語義定義、公式和數據庫條目的鏈接；提供交互式圖表，通過語義鏡頭揭示圖表中的數值數據，鼠標彈窗提供與文本引用的上下文有關的引文節選，重新排序參考文獻列表；將論文中的數據與數據庫中存在的相似信息相融合，比如論文中有關地理位置的數據可以KML文件的形式在谷歌地圖中查看等。David Shotton對OAJ的語義增強層級進行了詳細的研究，并將其劃分為5個層級［24］。

3.5內容單元可計算

與傳統紙質期刊及基于訂購的數字期刊不同，刊載于OAJ的論文是源生數字、源生開放的，其全文數字內容可以立即獲取，其知識單元可以被解析、被描述、被關聯、被組織，從而為各種自動化、智能化的知識發現提供了可能，為基于論文內容的服務提供了更為豐富的空間。

4　基于單篇論文的計量指標的興起

4.1出現背景

4.1.1傳統計量指標的局限性

由于OAJ已經呈現出版速度快、出版容量大、并能實現富媒體、富語義出版等顯著特征，OA論文規模增速加快。隨著科研文獻海量激增，科研人員所面臨的主要困難，已經不再是文獻資源不足，而是如何從海量的文獻信息資源中，快速、高效地發現自己所需要的文獻。傳統文獻計量學所采用的主要計量指標被引次數、影響因子等積累需要很長的時間周期，經統計，從論文發表到被引用一般需要1～3年甚至更長時間，引文分析法無法及時反映論文的影響力，這與以快速出版、即時出版為特征的開放獲取資源體現出不匹配性。同時，引用指標還面臨著評價指標不全面［25］、容易產生馬太效應等問題?；诖耍瑖庀嚓P學者認為計量學領域也需要進行一次Web2.0革命，不但要解決傳統評價方式存在的問題和缺陷，同時要結合網絡時代的特點進行計量學創新，基于單篇論文的計量指標就在這樣的背景下誕生。

4.1.2科研行為的網絡化

科研人員越來越多地將日?？蒲泄ぷ鬓D移到網絡上進行?？茖W家在網上建立學術博客，就科學問題展開討論并交流觀點，在網上搜索、下載學術文章，將學術文獻的題錄保存在網頁版個人文獻管理軟件中、閱讀網絡學術文章、對文章進行評級、打分、發表評論、制作標簽等。這些社會網絡行為產生了豐富的在線活動“印跡”，為計量學研究發展提供了新興測度方法和多元化指標，而這些指標在以往是不可能得到的。參考文獻管理軟件Zotero和Mendeley聲稱儲存了超過400萬的文獻數量，這比PubMed的文獻總量還要大。有1/3的科研人員在使用Twitter，使用學術博客、微博的科研人員也在增長。這些多種多樣的行為形成了一個復雜的可以追蹤的比以往任何時候都要更豐富的監測指標。

4.1.3基于單篇論文評價指標的出現

OA出版商不僅致力于出版優質的科研內容，促進科學交流與傳播，改善因數據庫價格門檻形成的科學交流障礙，還針對影響因子以刊評文、時滯太長的顯著弊端、開發了新一代論文評價體系?；诳蒲腥藛T豐富的在線科研活動“印跡”，開發了針對單篇文章的各種利用指標，體現論文被社會各界閱讀、下載、收藏、保存、討論、分享、引用的情況，相當于將同行評議眾包給社會大眾，實現廣泛的同行評議功能。

4.2兩種主要的評價體系

4.2.1Altmetrics

“Altmetrics”（別稱alternative metrics）是Web2.0環境下一種新興的計量方法，于2010年由J.Priem最先在Twitter上提出［26］，是對傳統科學計量學的繼承和補充，國內將其譯為補充計量學［27］、替代計量學［28］、選擇性計量學［29-30］、另類計量學［31］、網絡選擇計量學［32］。學者P.Analytics研究了所有的研究成果采用的以及可用的評價指標，將Altmetrics分為5類，分別是被使用情況、被獲取情況、被提及情況、社交媒介和引用情況。被使用情況是指評測論文的使用或利用情況，包括下載量、訪問量、館藏數量等指標；被獲取情況是指評測論文被讀者閱讀、保存、收藏、添加書簽等；被提及情況是指評測論文指論文被博客、新聞報道、維基百科、評論中提及的次數；社交媒介是指讀者在社交網絡中對論文的分享、推薦、排名和喜愛情況；引用情況則是指文章被其他學者的引用數量［33］。它的特征是利用補充性指標和引用指標共同去評價待評價的對象，這些對象不僅僅是論文，還可能是數據集、程序段或者論文中的片段等，研究的是評價對象在開放平臺的使用情況以及讀者在社交媒體中的交流活動。Piwowar認為它提供的影響力分析更為細致，學術產出的閱讀、討論、存儲和評論都可被計算；提供實時更新的數據，可以評估一天而不是一年的影響力；可以評估網民對學術產出的影響；該指標受到各種不同受眾的影響［34］。

4.2.2Article Level Metrics

2009年3月末，PLOS實施了一項“Article Level Metrics”計劃，即“論文層面計量”，提供來自期刊開放存取平臺和學術社交網絡的評價數據，反映每篇論文的多維使用情況和傳播水平。Article Level Metrics是PLOS在線出版商提出的一種評價體系，評價的對象是發表在PLOS出版平臺上的文章。

4.2.3兩種評價指標體系采用的主要指標

來自Altmetric.com的Altmetrics指標和PLoS平臺提供的Article Level Metrics是目前影響力最大、使用范圍最廣泛的兩大評價體系之一，前者的用戶包括大型OA出版集團BioMed Central，以及著名數據庫出版商NPG、愛思唯爾（Elsevier）、施普林格（springer）等。兩大體系采用的主要指標見表1：

表1　兩種論文級計量指標體系包含的指標

4.3基于單篇論文的評價指標被廣泛應用

Haustain等對文獻計量學專家發表論文在社會化媒體中覆蓋程度進行調查，發現82%的論文被Mendeley收藏，有一半的被調查者擁有Twitter帳號［35］。調查顯示，目前15%-24%的文章擁有Altmetrics指標，社會科學、人文科學、醫學和生命科學擁有Altmetrics的文章數量最多，預示這幾個學科是Altmetrics有特殊價值的領域。Rodrigo Costas等調查了2011、2012、2013年 SCI數據庫收錄論文擁有Altmetrcs指標的情況，其比率分別為10.8%、23.8%、25%，可見擁有Altmetrcs指標的文章比例在逐年增加。對2011年7月至11月間發表的具有DOI的500 229篇SCI論文的調查顯示，有75 569篇論文（15.11%）擁有Altmetrcs指標，其中生物醫學、健康科學領域比例最高，22.83%，其次是社會科學和人文科學領域，達22.50%（見表2）、生命、環境科學15.94%［36］。

表2　Altmetrics指標被采用情況

在各類Altmetrics指標中，Twitter的使用率最高，達到13.3%。其他指標的應用率都相對偏低，Facebook的使用率為2.5%，Blogs的使用率為1.9%，Google+、News outlets的使用率則還不到1%（見表3）。

表3　Altmetrics各項指標的流行情況

4.4Altmetrcs指標的評價效果分析

Altmetrcs誕生還不足5年的時間，其指標選擇、評價體系、應用效果還處在大規模的驗證、探索階段。相繼有學者針對Altmetrcs與引用指標之間的關系展開研究。Thelwall研究了《nature》《science》發表的文章在Mendeley和CiteUlike中的收藏情況，發現與Web of Science引用數據有顯著相關性［37］。Gunther Eysenbach研究了應用Twitter數據預測引用的可能性［38］。由于對Altmetrcs是否有效缺乏系統性的證明，Rodrigo Costas等開展了一次大樣本研究，以彌補這一缺陷。通過對SCI數據庫收錄的、具有DOI的50余萬篇論文的11項Altmetrcs指標與引用之間的相關性研究表明，Twitter、Facebook wall posts、research highlights、blogs、mainstream media and forums與引用成正相關關系，Google+ posts則未顯示出類似的規律，LinkedIn、Pinterest、question and answer sites、Reddit與引用關系的證據則不足。Altmetrcs分值對高被引文章的預測能力不如期刊被引次數；Altmetrcs分值（特別是在博客中被討論的次數）對高被引文章的預測能力高于期刊被引次數，但其查全率比較低。目前，Altmetrcs指標更適合作為引文分析的補充工具，而不是替代引文分析。

5　結語

引用數據的偏態分布使得將期刊影響因子用于評價單篇論文飽受詬病，OA運動的深入發展、社交網絡的流行與普及、學術界對建立學術過濾機制的強烈需求共同推動了基于單篇論文評價指標體系的誕生。但目前的評價體系還存在諸多的局限性，距離正式納入科研評價系統還有很多工作要做，但它代表了未來的發展方向，為計量學在Web 2.0時代的發展打開了新的局面。

［1］Commission E.Proportion of Open Access Peer-Reviewed Papers at the European and World Levels［EB/ OL］.［2013-12-13］.http：//apo.org.au/research/proportion-open-access-peer-reviewed-papers-europeanand-world-levels-2004-2011.

［2］Antelman K.Do open-access articles have a greater research impact？［J］.College&research libraries，2004，65（5）：372-382.

［3］ Hajjem C，Harnad S，Gingras Y.Ten-year crossdisciplinary comparison of the growth of open access and how it increases research citation impact［J］. arXiv preprint cs/0606079，2006.

［4］Schwarz G J，Kennicutt J R C.Demographic and citation trends in astrophysical journal papers and preprints［J］.arXiv preprint astro-ph/0411275，2004.

［5］Metcalfe T S.The citation impact of digital preprint archives for solar physics papers［J］.Solar Physics，2006，239（1-2）：549-553.

［6］Kurtz M J，Eichhorn G，Accomazzi A，et al.The effect of use and access on citations［J］.Information Processing&Management，2005，41（6）：1395-1402.

［7］劉輝．網絡環境下開放獲取期刊的現狀和評價［J］．深圳特區科技，2005（z1）：452-455．

［8］劉輝．開放獲取期刊的現狀與評價分析［J］．圖書館建設，2006（4）：44-47．

［9］胡德華，常小婉．開放存取期刊論文質量和影響力的評價研究［J］．圖書情報工作，2008（2）：61-64．

［10］白振田．因特網環境下期刊論文評價體系設計與構建 ［J］．佛山科學技術學院學報：社會科學版，2009（3）：90-93．

［11］方卿，王玨．開放存取期刊學術質量評價（一）：基于總被引頻次視角的分析［J］．出版科學，2011（6）：67-70．

［12］王玨，方卿．開放存取期刊學術質量評價（二）：基于影響因子視角的分析［J］．出版科學，2011（6）：70-74．

［13］王玨，方卿．開放存取期刊學術質量評價（三）：基于即年指標視角的分析［J］．出版科學，2011（6）：74-78．

［14］韓鵬鳴．基于特征因子的開放存取期刊學術影響力評價研究［J］．圖書館工作與研究，2012（8）：29-31．

［15］張紅芹，黃水清．開放獲取期刊質量評價的指標體系構建與評價實踐：以化學類期刊為例［J］．情報理論與實踐，2008（3）：386-390．

［16］胡德華．生物醫學類開放存取期刊學術質量評價及其評價體系研究［D］．中南大學，2009．

［17］董文鴛，陳清文．圖情領域開放存取期刊學術影響力評價［J］．圖書館建設，2009（5）：104-107．

［18］陳銘．開放存取期刊評價模型構建［J］．圖書情報工作，2010（14）：11-15．

［19］袁順波，華薇娜．基于引文與網絡鏈接的開放存取期刊學術影響力評價［J］．大學圖書館學報，2010（6）：107-115．

［20］侯集體．開放存取期刊質量評價指標研究［J］．圖書情報工作，2009，53（12）：140-143．

［21］尹天久，宗乾進，袁勤儉．開放存取論文開放評價方法［J］．圖書情報工作，2012，56（16）：75-79，107．

［22］趙樹慶，劉永勝．20種科技期刊2010年論文發表時滯調查［J］．編輯學報，2011（6）：491-493．

［23］常唯，馬健，白雨虹．開放獲取期刊國際影響力的培育：談Light辦刊體會［J］．科技與出版，2013（12）：9-12．

［24］Shotton D.The five stars of online journal articles-a framework for article evaluation［J］.D-Lib Magazine，2012，18（1-2）：27.

［25］Macroberts M H，Macroberts BR.Problems of citation analysis［J］.Scientometrics，1996，36（3）：435-444.

［26］Priem J，Taraborelli D，Groth P，et al.Altmetrics：A manifesto［EB/OL］.［2014-05-02］.http：//altmetrics.org/ manifesto/.

［27］由慶斌，湯珊紅．補充計量學及應用前景［J］．情報理論與實踐，2013（12）：6-10．

［28］邱均平，余厚強．替代計量學的提出過程與研究進展［J］．圖書情報工作，2013（19）：5-12．

［29］劉春麗．Web 2.0環境下的科學計量學：選擇性計量學［J］．圖書情報工作，2012（14）：52-56．

［30］王賢文，張春博，毛文莉，等．科學論文在社交網絡中的傳播機制研究［J］．科學學研究，2013（9）：1287-1295．

［31］顧立平．開放數據計量研究綜述：計算網絡用戶行為和科學社群影響力的Altmetrics計量［J］．現代圖書情報技術，2013（6）：1-8．

［32］陳銘．期刊利用統計與Altmetrics的興起［J］．圖書與情報，2014（1）：12-17．

［33］Overview：Plum Metrics［EB/OL］.［2014-05-01］.http：// www.plumanalytics.com/metrics.html.

［34］Piwowar H.Introduction altmetrics：What，why and where？［J］.Bulletin of the American Society for Information Science and Technology，2013，39（4）：8-9.

［35］Haustein S，Peters I，Bar-Ilan J，et al.Coverage and adoption of altmetrics sources in the bibliometric community［J］.Scientometrics，2013：1-19.

［36］Costas R，Zahedi Z，Wouters P.Do altmetrics correlate with citations？Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective［J］.arXiv preprint arXiv：1401.4321，2014.

［37］Li X，Thelwall M，Giustini D.Validating online reference managers for scholarly impact measurement［J］.Scientometrics，2012，91（2）：461-471.

［38］Eysenbach G.Can tweets predict citations？Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact［J］.J Med Internet Res，2011，13（4）：e123.

劉菊紅廣州中醫藥大學圖書館館員。廣東廣州，郵編：510405。

黃凱文廣州中醫藥大學圖書館研究館員。廣東廣州，郵編：510405。

Research on the Evaluation Model of Open Access Resource：Quality Assessment based on the Occasional Papers

Liu Juhong，Huang Kaiwen

This paper analyzes the developing trend of open access publishing，researches the quality assessment method of open access journals（OAJs）.It points out that in the development of OAJs，they have changed a lot.Using the traditional assessment method is outdated.It also announces that the assessment based on journals is transferring to the quality assessment based on the occasional papers，analyzes the main indexes，popularity，assessment system，and performance.

Open Access.Paper.Quality assessment.Altmetrics.

G252.8

*本文系廣東省圖書館科研課題“開放獲取資源評價模式的研究”（項目編號：GKTK0915）的研究成果。

（2014-07-15編校：劉勇定）