動態權重的百分位數指標在跨學科期刊評價中的應用

【摘要】設計一種基于等級百分位區間的動態權重百分位數（D*PRS）指標，實現對現有跨學科期刊評價指標的改進。以JCR數據庫中5個學科的317種期刊為研究對象，對期刊的D*PRS和現有的文獻計量學指標進行相關性分析，并重點對比分析和實證D*PRS、PRS兩個指標的異同。結果表明：D*PRS與PRS、CNCI、SNIP、SJR等指標均高度相關，可用于跨學科期刊評價，且D*PRS更能兼顧各百分位等級區間的數量和質量，具有更精準合理的評價功效。

【關? 鍵? 詞】百分位區間；動態權重系數；跨學科評價；評價指標

【作者單位】萬丙晟，福建教育學院雜志社。

【中圖分類號】G237.5【文獻標識碼】A【DOI】10.16491/j.cnki.cn45-1216/g2.2023.10.013

1955年，尤金·加菲爾德（Eugene Garfield）博士首次提出影響因子的概念［1］，至今該概念已由最初只對期刊的評價逐步發展到廣泛應用于個人、機構、地區和國家等科研績效的評價［2］，但與此同時，僅憑影響因子對期刊進行評價日益受到人們的質疑，尤其是不同學科的論文被引差異明顯，以影響因子絕對數值評價不同學科的期刊會產生嚴重的失真現象。例如，在InCites數據庫中，2022年，應用化學學科排名第一的期刊Journal of Energy Chemistry的影響因子為13.599，但其在細胞生物學學科中只能排在第32位。隨著現代科學技術的迅猛發展，學科之間往往呈現相互交叉、相互融合的高度綜合化特征，對不同學科期刊進行科學合理的學術評價顯得愈發重要且必要。

目前，基于文獻計量學的跨學科評價方法主要以科研實體（個人、期刊、機構、地區和國家）在給定的時段內待評價科研成果集合的被引頻次和發表數量為基礎，通過對這兩項數值進行差異化處理，從而實現對科研實體質量的跨學科評價。例如，1983年，Schubert等提出相對引用率（Relative Citation Ratio，RCR）指標，即待評價科研實體的論文實際被引頻次之和除以該科研實體論文所屬期刊全部論文平均被引頻次之和。若該科研實體屬于某學科論文，則此種方法可實現跨學科學術評價。以萊頓大學的科學技術研究中心采用的皇冠指標（Crown Indicator，又稱“CPP/FCSm”）［3］、平均標準化引文分數（MNCS）［4］，以Scopus數據庫采用的SCImago期刊排名（SCImago Journal Rank，SJR）、來源標準化篇均影響力（Source Normalized Impact per Paper，SNIP）［5］等為代表的基準線法，均以待評期刊所屬學科所有論文的預期被引頻次為相對基準值，以待評期刊的實際被引頻次除以該基準值，從而實現不同學科引文差距的校正。

然而，由于待評期刊論文集合的被引頻次大多呈非正態分布，因此大多數學者認為基準線法不能完全真實反映論文集合學術影響力的情況。近年來，有研究者認為可采用科研實體在所屬學科中的排序位置來進行跨學科評價。如：期刊引證報告（Journal Citation Reports，JCR）將某一個學科所有期刊在上一年的影響因子按照降序進行排列，再將其劃分為4個比例相等均為25%的區，即一區為前25%，二區為25%～50%，三區為50%～75%，四區為75%～100%，從而實現不同學科直觀上的大致評價；2011年，Bornmann等引入百分位等級分數（Percentiles Rank Scores，PRS）；Leydesdorff結合百分位論文的數量和等級設計了I3指標［6］；Vinkler基于對高影響力論文的關注提出百分位數位置（Percentage Rank Position，PRP）指標；劉雪立等將論文集合劃分為8個百分位等級，并對每個百分位等級賦予不同的權重，建立了期刊的PR8指標［7］；舒予等提出了一種基于動態權重的DPRS（Dynamic Weight Percentile Rank Score）指標，實現從“量”和“序”兩個角度對論文進行跨學科評價［8］。本研究提出一種新的基于動態權重的百分位數指標D*PRS，以對現有的跨學科期刊指標PRS、DPRS進行改進，并選取5個學科進行實證分析。

一、百分位等級區域賦分方法

1．PRS和DPRS指標計算方法

由于參考集合論文的被引頻次往往是偏態分布的，因此Bornmann等提出先將所有參考集合論文按照被引頻次分為若干個百分位區間并賦予其相應的權重，再計算待評價期刊論文進入各百分位區間的比例，對各個百分位區間的權重和論文比例進行線性加權，最后得到百分位數指數（PRS）［6］，其計算式如下：

式中N表示百分位區間的個數，xi表示第i個百分位區間的權重系數，p（xi）表示處于第i個百分位區間的待評價期刊論文數量與該期刊所有論文的比值。PRS指標的本質是一種線性加權的概率密度算子，其基本思路是對高被引論文所處的百分位區間賦予更高的權重，而對同處于一個百分位區間的論文賦予相同的權重。然而，即便如此，對于處于同一個百分位區間的不同論文被引頻次仍存在差距，且這種差距在高被引百分位區間表現得更為明顯。如2020年Journal Of Autoimmunity發表的兩篇文章，一篇被引頻次為1935次，另一篇引頻次為248次，但均被劃分為Top 1%的百分位區間并賦予相同的權重，這顯然與常規認知相悖。2016年，舒予等提出基于動態權重的DPRS指標［8］，其基本思路是以同一百分位區間的預期（學科）篇均被引頻次為基準，若待評價論文集合的被引頻次高于預期被引頻次，則該百分位區間應賦予更高的權重。具體計算式如下：

式中N表示百分位區間的個數，p（xi）表示處于第i個百分位區間的待評價期刊論文數量與該期刊所有論文的比值，為各百分位區間的動態權重系數，ci為待評價的論文集合在第i個百分位區間中的篇均被引頻次，ei為第i個百分位區間的學科所有論文的預期篇均被引頻次。2019年，舒予等對DPRS指標的應用進行進一步推廣，從只對學科實體的評價拓展到對期刊實體的評價［9］。

2．D*PRS指標計算方法

因DPRS指標實際是PRS指標的改進，在計算框架上仍遵循高被引百分位區間應賦予更高的權值原則，但指標中為非線性函數，在對不同百分位區間的權重系數進行調整時會出現調整過大或過小的問題。例如，處于前1%、前（95%，99%］、前（90%，95%］的Cell Reports論文集合權重系數分別為3.78、4.77、3.95，然而處于前1%的論文集合的篇均被引頻次高于前（95%，99%］、前（90%，95%］論文集合的篇均頻次。基于此，本研究提出一種新的權重系數調整方法，以保證調整后某百分位區間的權重系數介于上下相鄰百分位區間的權重系數，并從同一學科和不同學科下的指標性質對比進行分析驗證，具體計算式為：

式中為各百分位區間的動態權重系數，ci為待評價的論文集合在第i個百分位區間的篇均被引頻次，ei為在第i個百分位區間該論文集合所屬學科篇均被引頻次（預期篇均被引頻次），、分別為第i個百分位區間該學科所有期刊最大篇均被引頻次、最小篇均被引頻次。式中將最后一個低被引頻次對應百分位區間的x1權重系數賦值為1，是因為處于此百分位區間上的論文集合的篇均被引頻次較低，且不同學科間的篇均被引頻次相差較小，可認為處于此百分位區間的論文集合學術質量基本相當，且以1作為同一學科下最簡單的基準可方便計算和比較。上式既保證了位于同一百分位區間的待評價論文集合不論值相差多么微小，只要不相等賦分就會有所差別，也保證了高被引百分位區間被賦予更高的權重系數，且介于兩相鄰等級百分位區間所賦權重系數之間。

二、數據獲取與計算

1．評價對象的選擇

本研究對學科的選擇主要考慮到四個方面：一是學科均為自然科學領域；二是學科的篇均被引頻次存在明顯差距；三是學科具有一定規模（期刊數>20，論文數>50，000）；四是學科具有傳統穩定的特征，但在半衰期會體現一定的差距性。依此，本研究在JCR數據庫公布的2021年版期刊目錄中，按照Web of Science學科分類方法，剔除缺少Web of Science Documents（論文數量）、Times Cited（被引頻次）、5-Year Impact Factor（5年影響因子）、Category Normalized Citation Impact（學科規范化引文影響力，簡稱“CNCI”）、Citation Impact（引文影響力）、Immediacy Index（即時指數）、CiteScore、SNIP、SJR等指標的期刊，分別選取來自Otorhinolaryngology （耳鼻喉科學，21種）、 Chemical Engineering（工程化學，? 73種）、Immunology（免疫學，102種）、Statistics and Probability（統計學和概率學，73種）、Astronomy & Astrophysics（天文學與天體物理學，48種）5個學科共317種期刊作為評價對象。

2．數據獲取

首先，筆者登錄InCites數據庫，選擇“Analyze（分析）”，點擊“Research areas（研究方向）”進入學科檢索頁面，在頁面左側“Filters（篩選）”的“Publication Date（出版周期）”處將時間周期設定為“2016—2020年”（保證各學科有充分的累積引用周期），在“Document Type（文獻類型）”處選擇“Article”“Review”（以下統稱“論文”），在“Publication Source（出版物來源）”處選擇“Journal”，在頁面上側搜索框逐一輸入5個學科名稱，在“Add indicator（添加指示器）”處選擇文獻數、被引頻次、5年影響因子、學科規范引文影響力、篇均被引頻次、即時指數等選項，并下載輸入學科的所有期刊。

其次，筆者依次點開輸入學科的每種期刊，下載每種期刊的所有論文數據，包括Article Title（論文標題）、Authors（作者）、Source（來源期刊）、Research Area（研究領域）、Document Type（文獻類型）、Publication Date（出版日期）、Times Cited（被引頻次）等，將所有文獻數據以CSV格式文件導出合并，刪除部分數據不全的條目，得到共590，068條論文數據。

最后，筆者登錄Scopus數據庫，在頁面上側“Enter subject area（進入主題區域）”搜索框逐一輸入5個學科名稱，在“View metrics for year（查看年度指標）”處選擇“2021年”，在頁面左側“來源類型”處選擇“Journal”，下載5個學科下所有期刊的CiteScore、SNIP、SJR數據，通過和InCites數據庫下載數據比對，選擇名稱完全重合的317種期刊。所有數據獲取的截止日期為2023年2月20日。

3．數值計算

以免疫學（Immunology）學科為例，該學科包含102種期刊，2016年到2020年間，免疫學學科相關論文共計發表158，307篇。因PRS設定6個百分位等級區間，為方便比較分析，筆者按被引頻次的高低順序將百分位區間同樣設定為Top 1%、95%～99%、90%～95%、75%～90%、50%～75%和50%以下共6個百分位等級區間，可計算出在各個百分位區間的被引頻次和篇均被引頻次，具體見表1。

以免疫學學科下的雜志Journal of Experimental Medicine（《實驗醫學雜志》）為例，計算其PRS和D*PRS。首先按上述6個百分位等級區間計算該雜志在各百分位區間的論文比例和篇均被引頻次，具體見表2。

其次將表2中的數據結合公式（1），計算出該雜志的PRS ≈ 3.43，將表1、表2中的數據結合公式（4），計算其在各百分位區間調整后的權重系數，分別為

最后，將上述數據結合公式（3）可計算該雜志的D*PRS ≈ 3.55。按上述方法，可同樣計算其他316種期刊的PRS和D*PRS指標值。

三、結果分析

理想的跨學科學術期刊評價指標應具有理想的同學科評價功能。為此，筆者先對D*PRS指標在同一學科的評價效果進行分析。

1．同一學科下各指標相關性

同樣以免疫學（Immunology）學科為例，利用SPSS 26.0軟件對已下載計算的102種期刊的PRS、D*PRS、論文數、被引次數、5年影響因子、學科規范化引文影響力指標、篇均被引頻次、即時指數、CiteScore、SNIP、SJR等11個指標做 Spearman 等級秩相關分析，結果見表3。

由表3可得到以下結論。

第一，D*PRS與SNIP、SJR、CNCI等3個指標的相關系數均大于0.8，呈強相關性。SNIP、SJR、CNCI均被公認為具有消除不同學科領域和不同出版年份的論文引文差異、對期刊質量進行跨學科評價的功能，故D*PRS也可用于跨學科期刊質量評價。

第二，D*PRS與CiteScore（2018—2020年發表文

章在2021年的被引頻次除以2018—2020年發表論文總數）、5年影響因子、篇均被引頻次（2016—2020年的年篇均被引頻次）的相關系數分別為0.869、0.924、0.950，呈高度相關性，說明D*PRS同樣可有效測度評價期刊的質量。

第三，D*PRS與論文數的相關系數為0.297，呈弱相關性，這說明D*PRS與評價期刊所發表論文的多少并無直接關聯，其本質只是一個排序指標，故無法從期刊的研究規模和廣度方面反映期刊的情況。

2．不同學科下各指標相關性

筆者利用SPSS26.0軟件對耳鼻喉科學、工程化學、免疫學、統計學和概率學、天文學與天體物理學5個學科共317種期刊作Spearman等級秩相關分析，具體見表4。

由表4可知：D*PRS與SNIP、SJR、學科規范引文影響力等3個跨學科評價指標的相關系數均大于0.8，呈強相關性，這進一步驗證了D*PRS的跨學科評價功效；再對比表3與表4，D*PRS除與CiteScore相關系數由0.869降至0.755外，其被引次數、篇均被引頻次、即時指數等指標相關系數均小于0.7，即由原來的強相關變為弱相關，其原因是這些指標均為同一學科下的絕對數指標，無法實現對不同學科的期刊質量評價。由此說明，D*PRS在跨學科期刊評價中無法從傳播廣度、傳播速度方面反映期刊的情況。

3．D*PRS指標特征

（1） 同一學科下的D*PRS指標特征

第一，D*PRS指標可整體反映期刊的影響力。以免疫學學科下的14種期刊為例，由表5可知，整體上D*PRS與5年影響因子、篇均被引頻次在排序上保持正相關，但也出現個別異常情況。如Autoimmunity Reviews和Journal of Allergy and Clinical Immunology兩種期刊的D*PRS為前者大于后者，但5年影響因子、篇均被引頻次卻是前者小于后者。由表6可知，Journal of Allergy and Clinical Immunology和Autoimmunity Reviews在Top 1%、［95%，99%）、［0%，50%）等3個百分位區間的論文比例更小，但在另外3個百分位區間的論文比例更大；同時，Autoimmunity Reviews在除［95%，99%）的5個百分位區間有更高的篇均被引頻次，故其獲得了更高的D*PRS值。這說明期刊的5年影響因子、篇均被引頻次雖可從整體層面反映期刊的學術影響力，但更易受少量高被引和大量低被引論文集合的影響，而D*PRS可以很好地彌補這一缺陷。

第二，D*PRS指標可表征期刊穩定的發展狀態。由表5可知，Seminars in Immunology和Journal of Allergy and Clinical Immunology的D*PRS、篇均被引頻次均為前者大于后者，但兩種期刊的5年影響因子卻是后者大于前者，這是因為5年影響因子在數據集選取上只與統計年的被引頻次有關，而D*PRS、篇均被引頻次均基于5年累計被引頻次構造相關計算式，D*PRS更多描述的是發展較為成熟穩定的期刊狀態。

（2）不同學科下的D*PRS指標特征

由表3、表4可知，D*PRS和PRS均呈顯著相關性。這是因為D*PRS實質是PRS的延伸，兩者在計算框架的設計上高度相似。盡管如此，仍有一些期刊的D*PRS和PRS呈現不同的排序。以耳鼻喉科學學科下的期刊Ear and Hearing和天文與天體物理學學科下的Space Science Reviews為例，由表7發現，這兩種期刊的D*PRS和PRS指標排序呈負相關。

第一，對比兩種期刊的6個百分位區間論文比例情況。Ear and Hearing在Top 1%、（95%，99%］、（90%，95%］、（0%，50%］4個百分位區間的論文比例均低于Space Science Reviews，但在（75%，90%］、（50%，75%］這兩個百分位區間的論文比例更高。這說明在高影響力論文比例上，Space Science Reviews明顯表現更好，而在中等影響力論文比例上，Ear and Hearing高于Space Science Reviews，且Ear and Hearing的低影響力論文比例也更小，最終計算得出Ear and Hearing的PRS大于Space Science Reviews的PRS。

第二，對比兩種期刊相對各自學科的年篇均被引頻次情況。表7中，Ear and Hearing在6個百分位區間的實際篇均被引頻次均小于預期（耳鼻喉科學）篇均被引頻次，Space Science Reviews在Top 1%、（95%，99%］、（75%，90%］這3個百分位區間的實際篇均被引頻次均大于預期（天文與天體物理學）篇均被引頻次。故Ear and Hearing在學科中處于平均線以下水平，而Space Science Reviews在學科中處于平均線以上水平，后者的學術影響力更大。這也說明僅按各百分位區間論文比例進行固定權重賦分，取線性加權值去評判這兩種期刊的學術影響力顯得較不公平。

第三，對比兩種期刊在各百分位區間調整后的權重系數。由表7可知，在Top 1%百分位區間上，由于Ear and Hearing的實際篇均被引頻次小于預期（學科）篇均被引頻次，且此百分位區間耳鼻喉科學的21種期刊中，篇均被引頻次最小值為68，則Ear and Hearing在Top 1%百分位區間調整后的權重系數為。在Top 1%百分位區間上，Space Science Reviews的實際篇均被引頻次大于預期（學科）篇均被引頻次，且此百分位區間的天文與天體物理學的46種期刊中，篇均被引頻次最大值為522，則Space Science Reviews在Top 1%百分位區間調整后的權重系數為。

第四，對比兩種期刊在所有百分位區間的線性加權值。一方面，經調整，兩種期刊在Top 1%百分位區間的線性加權差值0.192904，大于調整前的差值0.1836，從而在Top 1%百分位區間Space Science Reviews獲得了更大的優勢，且在（95%，99%］、（75%，90%］這兩個百分位區間亦是如此。另一方面，在（90%，95%］、（50%，75%］這兩個百分位區間，雖然兩種期刊的實際篇均被引頻次均小于各自學科的預期篇均被引頻次，但Space Science Reviews的篇均被引頻次差距更小，其仍獲得權重系數上的優勢。結合兩種期刊在各自百分位區間的論文比例情況，最終可得Space Science Reviews的D*PRS大于Ear and Hearing的D*PRS。

綜上所述，相比于PRS指標，D*PRS指標既考慮了待評期刊論文集合在各百分位區間上的論文比例，即相對數量，又兼顧了待評期刊論文集合相對參考論文集合的質量情況，從而實現了對期刊更細致精準的評價。

四、結語

跨學科研究已成為當前和未來重要的科學研究方向，許多重大的科學創新突破往往依賴多學科之間的交叉融合，因此對期刊進行跨學科科學合理的評價顯得格外重要。本研究以5個不同學科的期刊為研究對象，基于PRS指標創建了一種新的基于動態權重的百分位數指標D*PRS，并對其特征進行了初步探討。D*PRS指標綜合了待評期刊論文集合的相對數量和質量，是對現有跨學科評價機制的有益補充。但由于選定對象的局限性，D*PRS指標對于其他學科領域是否同樣適用有待進一步驗證。同時，由于在計算D*PRS指標值時，需統計的數據較為龐大，且計算式本身較為復雜，故未來如何優化改進，以創建更加科學合理的跨學科期刊評價指標仍需進一步研究。

｜參考文獻｜

［1］Garfield E.Citation Indexes for Science：A New Dimension in Documentation through Association of Ideas［J］. Science，1955（3159）：108-111.

［2］劉雪立，申小曼，郭瀟，等. JCR中一個新的跨學科評價指標：期刊引證指數（JCI）及其實證研究［J］. 中國科技期刊研究，2022（3）：361-370.

［3］Anthony F.J.v， an Raan. Measurement of Central Aspects of Scientific Research： Performance， Interdisciplinarity， Structure［J］. Measurement： Interdisciplinary Research and Perspectives，2005（1）：1-19.

［4］Opthof T，Leydesdorff L. Caveats for the journal and field normalizations in the CWTS （“Leiden”） evaluations of research performance［J］.Journal of Informetrics，2010（3）：423-430．

［5］Leydesdorff L，Opthof T. Scopus's source normalized impact per paper （SNIP） versus a journal impact factor based on fractional counting of citations［J］. Journal of the American Society for Information Science and Technology，2010（11）：2365-2369．

［6］Leydesdorff L. Alternatives to the journal impact factor： I3 and the top-10% （or top-25%？） of the most-highly cited papers［J］. Scientometrics，2012（2）：355-365．

［7］劉雪立，魏雅慧，盛麗娜，等. 期刊PR8指數：一個新的跨學科期刊評價指標及其實證研究［J］. 圖書情報工作，2017（11）：116-123．

［8］舒予，張黎俐. 基于動態權重的百分位數指標在學術影響力評價中的應用［J］. 圖書情報工作，2016（11）：93-99．

［9］舒予，胡靜，魏麗敏，等. 基于動態權重的百分位數指標在期刊評價實踐中的應用研究［J］. 中國科技期刊研究，2019（1）：70-76．