TOP期刊評價方法的改進及實證研究

□陳振英

1 引言

期刊評價方法因目的不同而有區分。無論是一般性的過關評價，還是分級評價，抑或是淘汰性的精品評價，均應有不同的評價標準［1］。目前中文期刊的評定中應用比較多的評價體系包括：北京大學研制的《中文核心期刊要目總覽》、南京大學中國社會科學研究評價中心研制的《中國社會科學研究計量指標體系》、中國社科院研制的《中國人文社會科學核心期刊要覽》、中國科學院文獻情報中心發布的《中國科學計量指標：期刊引證報告》、中國科學技術信息研究所按年度發布的《中國科技期刊引證報告》等。這些指標評價體系既綜合考慮了期刊評定的多種定量指標，又結合了中文期刊評定的一些本土化特征，無疑在很大程度上引導著科技期刊的評估。

期刊評價的初衷是有助于更科學的管理和改進期刊質量。近年來越來越多的績效考核部門將期刊評價結果引入考核依據。當期刊的評價被移植到這一新領域時勢必面臨許多新的問題：傳統的期刊評定方法是否適用？如何處理交叉學科期刊的評定？如何將國外TOP期刊甄選并分區？

目前代表性的TOP期刊評定方法當屬中科院的期刊四分區法，其主要對SCI期刊按照影響因子大小進行分區考核［2］。該方法曾為華東地區多數高校進行量化考核和決策評估的主要依據，但由于其衡量指標單薄，對于交叉學科沒有慎重考慮，應用過程中引起較大爭議。正如Polonsky［3］所說：“單一方法來評價期刊過于單薄”。Johns［4］也呼吁期刊的評價工作應當有一個綜合了客觀的引文分析法，主觀的同行評價法，以及更多標準的方法。

2 方法建立

TOP期刊評定因為直接用于各學科教師和科研人員的績效評價，學科特征鮮明且對每個學科的TOP期刊都有嚴格要求，既不能有重大遺漏也不能將普通期刊混入TOP行列。因此，TOP期刊評定首先考慮的是學科方向期刊的映射，然后在學科范疇內綜合運用定性與定量等多種評價方法甄選專業TOP期刊進行。下面將詳細闡述本文提出的TOP期刊評定方法。

2.1 學科期刊分類

TOP期刊評估的前提就是將期刊按學科分類，學科分得過寬或過細都會對備選期刊的數量產生影響。國內的期刊評價機構多是采用《中國圖書館分類法》為學科分類基礎，其學科體系有些部分已經滯后于科學技術的發展和學科自身的發展，所以我們在評價外文TOP期刊時采用了湯森路透公司的《期刊引證報告》（JCR）中的學科分類方法，共有227個學科分類。

2.2 TOP期刊評定

國內外期刊評價指標體系中應用最為普遍、不可或缺的當屬以引文為依據的科學計量評價指標——影響因子和總被引次數等。盡管具有受期刊的出版周期和發表時滯影響、受引用行為的不確定性影響、易被操縱性等不足，但在期刊評價指標中始終瑕不掩瑜，核心地位從未改變。筆者也毫無例外地將傳統的引文指標法作為TOP期刊評定的基本方法，具體做法是：當一種期刊的當年影響因子、最近兩年平均影響因子、總被引次數三個指標中的任一指標在所在學科相關JCR領域指標排名位于學科期刊總數的前10%（四舍五入法，如該領域共有235種期刊入選JCR，那么前10%取24種），就都可以入選基本TOP期刊集合。此方法核心要素為基于影響因子和總被引次數對期刊指標值做學科內排序，目前采用類似方法評定TOP期刊的有中科院等若干家單位。

同行評議法也是期刊評定較為常用的方法之一，但在具體學科TOP期刊制定過程中鮮有人用。因為同行評議法要調動更多范圍的專家參與才更有效，往往需要投入較多的精力，并在業內有相當的影響。所以我們嘗試在單位內部遴選學科專家進行同行評議。其評價優勢是專家代替學科外行，擁有對學術問題的決策權。

科技情報研究方法之一是以事實型數據為基礎，綜合集成“事實型數據＋專用方法工具＋專家智慧”［5］。這種方法論的基本思路是，在建立和累積、更新事實型數據庫的基礎上，針對某些科技問題，組織研究隊伍，采用各種定量與定性相結合的系統集成方法，對事實型數據進行深入分析，從中發現某種現象、規律，繼而通過專家智慧，提煉出可指導實踐的政策建議［6］。事實數據評定方法提供的依據更客觀，減少了主觀性［7］。

本文在TOP期刊評價中引入基于事實數據的情報學評價方法——“同行趨向法”，以期找到一種適合學科期刊評定的新方法。不難發現，頂級期刊的發文單位往往集中在知名大學或科研機構中。由此可以推理，領域內知名大學的熱點發文（即發文比較集中）期刊基本為領域內領先的期刊。“同行趨向法”就是依據本學科的TOP機構在Web of Science的相應學科發文為事實數據評價的基本依據來評定期刊的，TOP期刊選擇標準由發文量占該刊載文量的百分比決定，百分比取值依據不同學科的期刊基數而靈活確定。

以上三種方法都不是對期刊質量進行評定的唯一標準，任何方法都不可能十全十美。如：定量評價評定出的期刊也許僅僅是指標偏高，但與本校的學科主流方向背道而馳，而不適合列于學科TOP期刊目錄當中；定性評價也難免因部分專家自律不嚴或不是所有研究方向都有足夠的專家參與評議，所選專家僅限于本機構內的同行等而存在一些問題。所以，每種評價方法都有其存在的必要性，實際運用時切忌割裂使用，而應作為一個評價整體綜合使用。

3 方法實證

任何一種新方法都要經過實踐驗證，以下把三種期刊評定方法運用于計算機學科TOP期刊評定，并對評價結果進行統計學分析，對分析結果展開討論。

3.1 數據獲取

由計算機學院專家將JCR的學科領域與本校的計算機學科研究方向相映射得到9個領域，分別為：計算機，人工智能（COMPUTER SCIENCE，ARTIFICIAL INTELLIGENCE）；計算機，硬件與結構（COMPUTER SCIENCE，HARDWARE ＆ARCHITECTURE）；計算機，信息系統（COMPUTER SCIENCE，INFORMATION SYSTEMS）；計算機，交叉學科應用（COMPUTER SCIENCE，INTERDISCIPLINARY APPLICATIONS）；計算機，軟件工程（COMPUTER SCIENCE，SOFTWARE ENGINEERING）；計算機，理論與方法（COMPUTER SCIENCE，THEORY ＆ METHODS）；應用數學（MATHEMATICS，APPLIED）；數學在多學科的 應 用 （MATHEMATICS，INTERDISCIPLINARY APPLICATIONS）；機器人（ROBOTICS）。根據引文指標法（下稱方法一），在JCR數據庫中將此9個領域的期刊分別按照當年影響因子、最近兩年平均影響因子、總被引次數三個指標排序，排名位于學科期刊總數前10%的，則列為備選TOP期刊，共有56種期刊入選。

我們邀請了本校計算機學科各相關領域的專家參與同行評議，他們均具有副高以上的專業職稱和較高的學術造詣，了解本學科國際領域前沿的發展動態。用此方法（下稱方法二）篩出備選TOP期刊34種。

依據“同行趨向法”（下稱方法三），首先由學科專家從“2009年世界大學與科研機構分22個學科的科研競爭力排行榜”［8］中選出與本校計算機研究方向接近的前五所TOP高校（Massachusetts Institute of Technology、University of Illinois－Urbana－Champaign、Stanford University、University of California－Berkeley、Carnegie Mellon University）作為目標學校。對上述五所目標學校近五年中在9個計算機相關JCR領域中的Web of Science發文做期刊分析，然后取在某刊的發文量占該刊載文量的百分比。在此，針對計算機學科期刊基數特點，取百分比大于等于5%的期刊進入備選TOP期刊集合 （n＝24）。

用以上三種方法得出了三個期刊集合，經去重后共有期刊101種；其中方法三與方法一和方法二所得期刊集合中各有6種期刊重合，還有12種未與方法一或方法二中的任意期刊重合，方法二與方法一僅有一種重合。采集各組期刊的JCR2009數據庫中的全部期刊評價指標數據（包括總被引次數、影響因子、即年指標、載文量、引證半衰期、特征因子、論文影響分值）作為統計分析數據源。

3.2 統計學分析

運用SPSS13.0軟件對三組期刊的各指標值進行統計學分析。為進行幾組數據之間的差異比較，統計學方法采用秩和檢驗（Kruskal Wallis Test），計量資料采用均數（最小值，最大值）［M（min，max）］表示。

統計結果（如表1）顯示：除總被引次數、載文量、特征因子三個指標外，其余幾項指標（2009年IF、5年IF、即年指標、引證半衰期、論文影響分值）的組間差異均無統計學意義（P＞0.05）。載文量指標具有組間差異無可厚非；總被引次數指標由于受載文量影響會產生組間差異也較易理解；但引起特征因子組間差異的原因還不能草率判定為由載文量引起。

為進一步判定總被引次數和特征因子在評定TOP期刊中是否受載文量影響，對三組期刊的載文量、總被引次數和特征因子指標再次進行統計分析。統計方法采用一般線性模型，做協方差分析（以載文量作為協變量）。結果如表2所示：總被引次數與特征因子的模型擬合度非常好（P＜0.01）；協變量的差異均具有統計學意義（P＜0.01）；總被引頻次的組間差異無統計學意義（P＞0.05），特征因子的組間差異具有統計學意義（P＜0.05）。

3.3 結果與討論

（1）三種方法篩選所得期刊組的影響因子指標沒有統計學差異，這說明同行評議法與同行趨向法在評定TOP期刊時具有同傳統的引文指標法相同的區分度和有效性，可以將TOP期刊有效地甄別出來。

（2）有學者認為特征因子受期刊載文量影響，載文量小的期刊不會得到較高的特征因子分值；特征因子值高的期刊一般都具有較多的平均論文數［9］［10］；本文統計結果表明：特征因子雖然受載文量影響，但載文量大小最終不會影響TOP期刊整體的特征因子水平。由此可見，特征因子是一個可以用于甄選TOP期刊的有效指標。

（3）同樣作為TOP期刊評選方法，三種方法間也存在差異。我們知道特征因子間微小的差別就能區分期刊之間的差距［11］。由表1可知，三種期刊評定方法確定的期刊組中，特征因子值具有統計學差異；特征因子從高到低分別為：“同行趨向”組、“同行評議”組、“引文指標”組。根據特征因子的定義可知，其值越高代表期刊的影響力越強，一般來說質量也越高。所以，可以認為同行趨向法不僅可以作為評定TOP期刊的有效方法，而且具有比其他兩種方法區分度更強的優點。

（4）對于方法一來說，國內外學科映射是前提也是關鍵。本實證為計算機學科，屬于一個中等大小學科，在與JCR學科映射時比較理想。然而并不是所有學科都能成功地實現學科映射，以下三種情況需要引起注意。一、對于一些大的交叉學科切不可將所有期刊涉及的JCR領域都選入內。如：化工學科的主要期刊共對應31個JCR領域，但事實上只有18個領域是主流領域，另外13個領域如農業工程、電化學等僅僅只有個別期刊與化工學科交叉，不應作為主流領域放入，否則會引入諸多的不相關期刊。二、對于一些交叉學科，即使JCR領域內排名較差也不能武斷地認為該刊不能列為TOP刊。如：制藥工程學科沒有專門的JCR領域向對應，只能選擇最為接近的工程，化工和農業工程作為主流JCR領域，如將這兩個領域內排名前10%的期刊作為制藥工程學科的TOP期刊顯然不盡合理，因為真正制藥工程學科領域內公認的TOP期刊很可能在工程，化工和農業工程兩個領域都排不上前10%。三、對于一些小的學科，任一JCR領域都已經超過其對應范圍。如：電力電子學科映射到JCR領域為工程，電氣電子，而這個JCR領域主要對應的有三個學科，即電氣工程，電力電子、電子，故也不能將電力電子學科強行映射為工程，電氣電子JCR領域。

根據本文的實證研究，同行趨向法是一種不受JCR領域映射影響且效果等同的一種TOP期刊選定方法。因此，上述三種情況的學科TOP期刊確定可以用國外TOP學校相應院系的發文，即同行趨向法來確定學科TOP期刊。

（5）本實證以計算機學科為例，但沒有將五年影響因子同時作為評價指標引入，因為計算機學科知識更新非常迅速，但評估被引用周期很長的特定領域期刊（如人文社科期刊）時五年影響因子也應作為一個重要的評價指標。

（6）同行趨向法在使用時要應靈活運用。如果某刊在各機構的發文比較分散，就會存在按發文占載文量百分比方法篩選期刊也有遺漏的情況，作為彌補可以根據該學科期刊基數適當放寬百分比的限定，甚至也可以采用按發文量排序篩選期刊的方法，兩者結合使用。基于Web of Science的同行發文趨向的期刊評價結果是對引文指標評價結果和專家評議方法的有效補充。

表1 三組間JCR指標比較結果（Kruskal Wallis Test）

表2 載文量作為協變量的一般線性模型分析結果

4 結語

TOP期刊的評定關鍵在于結合不同專業的特點進行綜合評價，所以學科不同，方法亦可有所變化，不可千篇一律，應用過程中遇到的各種問題都應區別對待。本文提出了一種結合定性評價、定量評價的期刊評價創新方法，并進行了實證研究，期望彌補傳統的TOP期刊定量評價方法對于交叉學科期刊評定的不足。當然，本文的定量評價方法都是基于以基礎學科數據為主的Web of Science和JCR兩個數據源，故不一定適用于工程、建筑等應用性學科的評估。

致謝：浙江大學葉鷹教授對本文的撰寫給予了指導，在此深表謝意。

1 葉繼元.學術期刊質量評價與核心期刊評價之異同.圖書情報工作2009，53（18）5－16

2 王凌峰，陳松青.基于中國科學院SCI期刊分區的科研管理量化考核標準研究.現代情報，2007，4：52－55

3 Polonsky M.J.Journal Rankings：Dose One Size Fit All？Australasian Marketing Journal，2004，12（2）：64

4 Johns M.T.Brain，Pendleberry M.Journal Evaluation Methodologies：A balanced Response.Omega，Int Mgmt Sci，1996，24（5）：607－612

5 賀德方.事實型數據：科技情報研究工作的基石.情報學報，2010，29（5）：771－776

6 賀德方.基于事實型數據的科技情報研究工作思考.情報學報，2009，28（5）：764－770.

7 Porter A.L.QTIP：Quick Technology Intelligence Processes.EU－US Seminar：New Technology Foresight，Forecasting＆Assessment Methods，2004：13－14.

8 邱均平.2009年世界一流大學與科研機構學科競爭力評價研究報告.北京：科學出版社，2009

9 竇曦騫，祁延莉.特征因子與論文影響力指標初探.大學圖書館學報，2009（6）：57－62

10 米佳，濮德敏.特征因子原理及實證研究.大學圖書館學報，2009（6）：63－68

11 任勝利.特征因子（Eigenfactor）：基于引證網絡分析期刊和論文的重要性.中國科技期刊研究，2009，20（3）：415－418

12 劉金芝.利用圖書館學科優勢正確認識和利用SCI.圖書館工作與研究，2010（7）：91—93