開放獲取期刊學術影響力評價指標體系研究*

孫萌月 趙志耘 高芳 賈曉峰 李夢薇

（中國科學技術信息研究所，北京 100038）

自20世紀70年代末開放獲取運動興起以來，開放獲取已經由先前的倡議階段轉變為如今的實踐階段。受“OA2020”和“S計劃”的大力推動，當下開放獲取已呈現前所未有的蓬勃發展之勢。2020年新型冠狀病毒肺炎疫情的突發，更使得科技信息資源的開放與共享成為世界各國遏制疫情、共同促進科學研究和保障公共衛生安全的關鍵[1]，在一定程度上促進了開放獲取的發展。全球各界普遍把創辦開放獲取期刊作為推動開放獲取的重要舉措。2020年9月，由中國科學技術協會發表的《中國科技期刊發展藍皮書（2020）》顯示，2016—2019年，中國作者在金色OA與混合OA上發表論文數量增加101.7%，其增速約是中國作者發表論文總量增速的1.5倍。截至2021年7月，權威開放獲取數據庫——開放獲取期刊目錄（Directory of Open Access Journals，DOAJ）共收錄了全球16 450種開放獲取期刊，其中來自印度尼西亞的期刊占11.09%、來自英國的期刊占10.81%，來自美國的期刊占5.65%，而來自我國的期刊只占1.03%[2]，說明我國期刊的開放程度較弱，且質量較低，這與我國以影響因子為核心的傳統學術評估體系有一定關聯。開放獲取期刊作為一種新的學術成果交流與傳播模式，需要一套符合當前開放獲取運動特點與趨勢的多元評價指標體系，對開放獲取期刊學術影響力進行科學評價。

目前國內外有關開放獲取期刊學術影響力評價的研究，前期主要集中在對開放獲取期刊的學術質量進行評價，較少關注開放獲取期刊的自身屬性，后期則偏向于評價開放獲取期刊帶來的社會關注，削弱了開放獲取期刊學術質量的重要性，對開放獲取期刊的全面協調可持續發展極其不利。基于此，本文嘗試解析開放獲取期刊學術影響力的理論內涵，結合傳統期刊評價指標和開放獲取期刊的特征，以及社會公眾在社交網絡平臺的影響，構建一套開放獲取期刊學術影響力的綜合評價指標體系，最后選取樣本期刊對該評價指標體系的合理性和科學性進行驗證。

1 相關研究

伴隨著開放獲取運動在學術共同體、圖書館聯盟以及大型學術出版商等各利益相關方的不斷推進下蓬勃發展，學界對開放獲取期刊也展開了不少相關研究。其中關于開放獲取期刊學術影響力的評價，國內外學者分別從不同視角出發，針對不同階段，利用各種評價方法展開研究。

從評價維度來看，一類是從期刊的角度出發。例如：李亞芳[3]基于開放獲取期刊的出版流程，從期刊論文撰寫、編輯審稿、論文發表、用戶使用4個方面對開放獲取期刊的質量進行評價；李姍姍[4]從期刊來源、期刊被引、期刊網絡因素3個角度對開放獲取期刊的質量進行評價研究；Vundavalli等[5]從期刊被收錄情況、獲獎情況，以及是否為核心期刊來評價期刊的質量。另一類是從學術交流的角度出發。例如：周金娉[6]和吳帆[7]針對學術交流過程圖譜中的主體角色，從期刊自身、作者、讀者、論文、機構、網絡、網站等方面構建開放獲取期刊學術影響力評價體系；趙蓉英等[8-9]按照米哈伊洛夫科學交流理論中的正式交流和非正式交流，把學術期刊影響力分解為原生影響力和次生影響力兩個層面進行評價研究。

從評價方法來看，國內外針對開放獲取期刊學術影響力的評價方法主要有3種：以文獻計量學為基礎的引文分析評價法，以網絡計量學為基礎的鏈接分析評價法，以Altmetrics理論為基礎的社交網絡評價法。引文分析評價法主要是借助數學和統計學原理，通過對期刊被引用頻次的研究達到評價期刊學術水平的目的。如趙鐵漢等[10]、韓鵬鳴[11]、路世玲[12]、Polat等[13]都基于引文分析的方法對開放獲取期刊的學術質量進行評價。鏈接分析評價法主要利用網頁間的鏈接關系收集網站中網頁的鏈接頻率，依據一定的算法計算網頁的等級值，界定網頁內容的質量與重要程度。如Vaughan等[14]、袁順波等[15]、Solomon等[16]等利用鏈接分析法對開放獲取期刊的網絡影響力進行評價。社交網絡評價法主要通過對期刊文獻層面的數據進行統計獲得學術論文在社交網絡平臺上被提到、標引、收藏、引用的次數，從而對其學術影響力進行評價。如陳銘[17]、郝若揚[18]、趙蓉英等[19]基于Altmetrics理論的社交網絡評價法對開放獲取期刊的社會影響力進行評估。

綜上所述，由于評價維度和評價方法的不同，國內外學者構建的開放獲取期刊學術影響力的評價體系各有側重，大部分研究更偏重期刊的學術質量水平，這與傳統期刊評價體系的影響密不可分。隨著互聯網技術的快速發展，學術成果的在線交流和社會傳播日益廣泛，也有部分學者針對Altmetrics指標對開放獲取期刊學術影響力進行評價研究，由于Altmetrics理論還在發展中，并且只是反映用戶對期刊文獻的關注度，不能真實反映期刊的學術質量，所以單獨用來評價學術期刊有失偏頗。總的來說，很少有學者考慮開放獲取期刊的“開放”屬性（期刊開放程度）而提出開放獲取期刊學術影響力評價體系框架。因此，本文認為，從開放獲取期刊學術影響力的概念出發，充分考慮開放獲取期刊的開放屬性，以及開放獲取期刊借助社交網絡平臺對社會公眾產生的社會影響，構建一套多元的開放獲取期刊學術影響力評價指標體系非常必要。

2 開放獲取期刊學術影響力評價指標體系構建

2.1 開放獲取期刊的特征

與傳統學術期刊相比，開放獲取期刊強調自由、免費、開放、共享的理念，具有以下較為明顯的特征：在學術傳播和交流方式上，用戶借助互聯網就能免費獲得文獻，減少了獲取學術信息的阻礙，并且用戶之間可以進行簡單直接的交互，減少了學術交流的時滯性；在學術文獻的使用權限上，用戶只要是在遵守許可協議的前提下，出于合法目的使用并保證文獻的完整性，就可以對文獻進行任何操作，不受任何法律和經濟的限制；在學術文獻質量方面，開放獲取期刊遵守嚴格的同行評議機制，文獻內容格式規范，在一定程度上可以有效控制質量水平；在版權所有方面，開放獲取期刊的版權屬于作者，極大維護了創作者的權益，在共享和傳播文獻時也更加方便；在付費方式上，開放獲取期刊實行“作者付費發表，讀者免費獲取”的運營手段，為快速傳播科研成果創造了前提條件。

2.2 開放獲取期刊的學術影響力

學術影響力是期刊質量發展的根基和生命力的保障，反映期刊向社會傳播知識的本質，能夠直接體現期刊在相關學科領域的學術地位、國際影響力，以及受眾對期刊的認可程度。期刊學術影響力的大小不僅對科研人員的投稿取向產生影響，而且對期刊的管理、編輯、發行、出版等環節產生非常重要的導向作用。盡管學術界對期刊學術影響力的研究比較豐富，但是很少有學者明確提出開放獲取期刊學術影響力的定義。周金娉[6]從學術交流過程的角度，界定開放獲取期刊學術影響力是測度開放獲取期刊在某個時期內的引證次數，并且通過創新、社會、傳播等影響范圍反映開放獲取期刊在相關研究領域活動的影響深度和接受廣度。但這種界定類似于傳統期刊的學術影響力，并沒有體現出開放獲取期刊免費獲取、付費發表、文獻使用權限等方面的特性。

本文將開放獲取期刊學術影響力界定為：在某一段時期內，發表在開放獲取期刊上的學術論文被學術界認可、引用并進行知識再創造，從而有可能實現其學術價值和應用價值的程度，以及被社會公眾關注和傳播的范圍。與已有相關研究相比，本文中的開放獲取期刊學術影響力強調的是開放獲取期刊廣義的學術影響力，涵蓋期刊產生的影響深度和影響廣度。

本研究設置學術水平和期刊聲譽兩個維度來評價期刊的影響深度。鑒于國際上普遍把期刊被引的次數作為衡量期刊學術水平的基礎，而期刊發表的學術論文中國際學者所占的比例以及受基金資助的比例能夠反映期刊的國際學術交流水平和期刊等級的重要性，故選取影響因子、CiteScore值、被引半衰期、H指數、被引頻次極差、基金論文比6個指標作為評價期刊學術質量的指標，選取國際論文比和國際編委構成比作為期刊國際化水平的評價指標。通常期刊發表學術論文的作者所在研究機構比較權威，其學術論文會有一定的保障，對期刊聲譽也能起到很好的維護作用，而期刊所屬出版機構擁有較好的聲譽，其旗下所屬的期刊的聲譽也能有一定保證，并且期刊的學術規范化和標準化也是維護期刊良好信譽的關鍵，故選取SJR指數、研究機構聲望和出版機構權威性3個指標評價期刊的聲望。此外，國際出版倫理委員會（Committee on Publication Ethics，COPE）在《期刊編輯行為準則》和《最佳實踐指南》中比較全面地涵蓋了同行評審流程、質量控制機制、學術誠信和學術不端行為等內容，對于評價期刊聲譽具有重要的參考價值，故選取是否為COPE會員作為期刊信譽的評價指標。

本研究設置傳播力度和受關注度兩個維度來評價期刊的影響廣度。期刊的市場規模在一定程度上能夠影響其對自身的宣傳力度，發表在期刊上的學術論文作者和機構的數量能夠潛在影響期刊傳播范圍的大小，期刊發表論文的速度代表期刊學術成果能被傳播的速度，而期刊開放的程度代表了學術論文能夠被用戶自由免費共享與獲取的程度，更能凸顯期刊被傳播范圍的大小。文章處理費（Article Processing Charges，APC）的合理性和經濟性能夠反映作者對刊物的可接受度，從而影響期刊被選擇傳播的可能性，故本文選取研究機構數、APC水平和作者篇均合著量3個指標代表期刊能被用戶潛在傳播的范圍，選取開放獲取年限、開放使用許可、金色開放份額比3個指標代表期刊能被潛在開放傳播的程度，選取出版周期和市場占有率2個指標代表期刊能被潛在傳播的速度和能力。開放獲取期刊大多擁有自身的官方網站，網站每天的用戶訪問量越多，以及網站越權威越能代表期刊受歡迎的程度。伴隨著學術交流的社交網絡化，大量的學術成果在社交網絡平臺上被閱讀、下載、保存、討論、推薦，給期刊帶來了不小的影響。AAS值是期刊論文在新聞媒體、博客、社交網站、學術論壇、在線文獻管理系統（不包含Mendeley）等社交平臺上被提及次數的加權求和值，代表社會公眾對學術期刊的綜合關注度；Mendeley的用戶主要是科研人員，其讀者數代表期刊學術論文在學術界的受關注情況；PR（PageRank）是谷歌進行網頁排名的一種算法，PR值越大，代表其網站越受歡迎。因此選取PR值和日均IP訪問量2個指標評價用戶對期刊網站的關注程度，選取AAS值和Mendeley讀者數評價用戶在社交網絡平臺對期刊的社會關注程度。他引率反映了期刊對外部產生的影響力，以及向其他學科擴散的走向，可以衡量期刊對外學術交流的范圍，故選取他引率評價學術期刊被外部關注的程度。

2.3 開放獲取期刊學術影響力評價指標體系

在上述研究的基礎上，本文最終構建開放獲取期刊學術影響力評價指標體系（見圖1），具體包括學術水平、期刊聲譽、傳播力度、受關注度4個一級指標和影響因子、CiteScore值、SJR值、研究機構聲望、作者篇均合著量、他引率等25個二級指標。其中，主要針對開放獲取期刊特征的指標有COPE會員、開放獲取年限、金色開放份額比、開放使用許可、APC水平。

圖1 開放獲取期刊學術影響力評價指標體系

開放獲取期刊學術影響力評價指標體系是一個多層次的綜合評價體系，在對開放獲取期刊學術影響力的評價中，各指標之間存在內在的聯系，不同的指標從不同的角度反映開放獲取期刊的學術影響力大小。影響開放獲取期刊學術影響力的因素有很多，具有一定的層次性和復雜性。因此，本研究選擇層次分析法對開放獲取期刊學術影響力的評價指標進行賦權，并采取專家問卷調查法，按照Saaty評分標度法對任意兩個評價指標進行重要性對比，得到各指標的重要性權數。為了保證指標權重的科學合理和有效性，問卷的發放對象限定為從事期刊評價研究和開放獲取方面研究的相關領域專家以及期刊編輯部的編委，共發放了20份問卷，回收問卷14份，其中4位是做科技期刊評價研究的領域專家，6位是做開放獲取相關研究的專家，4位是期刊編輯部的編委。

借助yaahp軟件對專家所構造的判斷矩陣分別進行一致性檢驗，檢驗通過后得到各專家賦予的指標權重值，進行數學平均化后得到各指標的最終權重值（見表1）。

表1 開放獲取期刊學術影響力指標權重

不同的評分者對同一指標的評定等級通常不一樣，這時產生的誤差主要是由于評分者的差異，當評分者人數超過2時，測量評價結果的可信度則需要借助肯德爾和諧系數進行檢驗，而肯德爾和諧系數作為對多個等級變量的相關性進行測度的一種相關統計量[20]，是測量評分者信度檢驗的一種方法。本文利用肯德爾和諧系數對14位專家的各個指標權重值設定進行一致性檢驗，得出專家協調系數Wa值為0.442，卡方值為74.223。通過查詢卡方界值表，自由度為24時，大于卡方臨界值，p值為0.000（p＜0.05），具備統計學意義，可以認為專家們的指標權重值具有一致性，其間的判斷協調性較好，一定程度上能夠說明本文指標權重設定的合理性和科學性。

3 實例驗證

3.1 數據來源與處理

本文選取醫學領域的10種開放獲取期刊作為實證對象，為保證評價結果的準確性和客觀性，評價指標數據需要人工進行多渠道的收集核對，參考以往研究并經過反復驗證，最終確定各指標的數據來源（見表2），數據收集時間為2021年4月。

表2 評價指標數據來源

開放獲取期刊學術影響力評價指標體系是一個綜合評價體系，各指標度量單位不一致，指標數據差距過大，不具備可比性，所以在進行數據分析前，需要對指標原始數據進行標準化處理，消除數據自身量綱不同產生的誤差。由于正向指標和負向指標數據代表不同的含義，正向指標數據值越大影響力越大，負向指標數據值越低影響力越大，所以，對其進行數據標準化處理時需要采用不同的算法。

3.2 評價結果一致性分析

經上述數據處理標準化后，與各指標權重值進行加權處理計算，得到綜合值（見表3），由于目前學術界判斷期刊好壞的標準普遍依據影響因子的高低，故將本文指標體系評價出來的期刊的綜合指數值排序與JCR中期刊的影響因子排序進行對比分析。結果發現，表3中的期刊排序發生了一定的變動，其中“0”表示在本文的評價結果中期刊的排序結果與影響因子排序一樣，“-”代表在本文的評價結果中期刊的排序結果相比單獨的影響因子排序下降，其他則代表上升。可以看出，綜合值排名比較靠前的期刊既存在影響因子較高的情況，又存在影響因子較低的情況，影響因子排序靠前的期刊也存在綜合值較低的情況。這表明開放獲取期刊學術影響力的多元評價指標體系評價的結果與影響因子評價的結果既保有一致性，也存在差異性。造成這種變化的原因是因為本文的評價體系中加入了反映社會公眾傳播影響因素和開放獲取期刊開放屬性等指標，這也說明多元評價指標體系相比于單一的影響因子更加全面、科學。

表3 開放獲取期刊學術影響力評價結果

為了進一步驗證本評價指標體系的合理性和科學性，本文運用肯德爾相關系數來檢驗本評價綜合值與影響因子的相關關系，探究不同評價結果的一致性。

借助SPSS軟件計算得到10種醫學樣本刊的綜合排序與影響因子排序的肯德爾相關系數，綜合排序與影響因子排序的相關系數值為0.600，并且在0.05級別顯著相關，表明雖然本評價指標體系評價出來的結果和影響因子有所變動，但在評價開放獲取期刊學術影響力時還是存在一定的一致性，一定程度上能夠說明本研究構建的指標評價體系存在合理性和科學性。

4 結論

本研究針對開放獲取期刊相較于傳統學術期刊所具有的特性，從學術水平、期刊聲譽、傳播力度、受關注度4個維度界定開放獲取期刊的學術影響力，同時結合傳統期刊評價指標構建了一套包含4個一級指標和25個二級指標的多元評價指標體系，并選取了醫學領域的10種開放獲取期刊對構建的評價指標體系進行實例驗證。主要研究結論如下。

（1）以往對開放獲取期刊學術影響力的評價研究更偏向其學術質量水平，或者只單獨評價期刊的社會影響，這樣的評價結果有失偏頗，而開放獲取期刊本身是期刊的一種新型模式，有些傳統期刊指標用來評價其學術影響力同樣適用，但開放獲取期刊還擁有不同于傳統學術期刊的獨特屬性，因此需要加入新的評價指標。此外，受到社交網絡化的影響，社會公眾借助社交網絡平臺進行科研學術信息的在線交流和傳播，為期刊文獻帶來學術影響和社會影響，所以從理論上來說，本研究依據開放獲取期刊學術影響力的概念內涵所構建的多元評價指標體系較為全面和完善。

（2）驗證了評價指標體系的合理性，通過對實證結果進行一致性分析，本研究構建的評價指標體系由于加入了能夠反映開放獲取期刊開放屬性的指標和社交網絡指標，與傳統影響因子單獨評價的結果相比有所變動，但在一定程度上還存在一致性，說明本文構建的開放獲取期刊學術影響力的多元評價指標體系相對來說具有一定的合理性和科學性。

本研究在對開放獲取期刊學術影響力的評價指標進行梳理時，參考前人相關研究中的評價指標，而對開放獲取期刊學術影響力產生影響的因素有很多，不能保證全覆蓋，并且在篩選和確定評價指標時，更多考慮的是評價實踐中指標的可操作性以及指標數據的可獲取性問題，如期刊是否開放同行評審和期刊論文數據是否開放共享等因素并未考慮進來，隨著開放獲取期刊的進一步成熟和標準化、規范化發展，未來還需要對評價指標體系逐步完善。此外，本研究選取的評價指標具有普遍性，所以理論上構建的評價指標體系有一定的普適性，但由于時間問題，這里只選取了某一學科領域的樣本期刊進行驗證，后續還需要選取多個學科以及綜合學科領域的期刊進行進一步檢驗。