論文評價中影響因子搭便車現象

〔摘要〕影響因子IF2被廣泛用于學術評價，IF2采用所有論文的被引次數計算均值，基本假設是論文被引用次數大致相當，但實際上這一假設絕大多數情況下并不成立，由此出現論文評價中的影響因子搭便車現象。以2010年JCR收錄人工智能領域60本期刊數據為基礎，得到同一分組期刊TM-IF5絕對值比IF2大幅度降低，最大降幅80%、多數為50%左右，表明論文被引次數不均勻分布對影響因子計算結果影響顯著，換言之影響因子搭便車現象普遍。因此，影響因子只適用論文的短期評價，此外需要采取輔助措施來降低影響因子的評價誤差。

〔關鍵詞〕學術評價；影響因子；截尾影響因子；搭便車

〔中圖分類號〕G255.2〔文獻標識碼〕A〔文章編號〕1008-0821（2013）02-0012-03

影響因子IF2在全球已被廣泛應用于學術評價、績效考核、學術資源配置，著名生物醫學期刊《The PLoS Medicine》在2006年發表題為《The Impact Factor Game》的社論指出：“The impact factors of journals have been used to decide whether or not authors get promoted，are given tenure or are offered a position in a department，or are awarded a grant.In some countries，government funding of entire institutions is dependent on the number of publications in journals with high impact factors”。

從統計學角度看，影響因子指標的數學實質是以期刊發表全部論文的被引預期值（也就是均值）來替代對每一篇論文本身的直接評價。但是，統計學早已表明，均值容易受到少數偏離值影響，具體到期刊影響因子計算就是少數高被引論文拉高了大部分論文被引預期，《晶體學報A》就是一個很好的例子。

SCI收錄期刊Acta Cryst A（中文名《晶體學報A》），2008年該期刊影響因子只有2.05，2009年卻高達49.93，影響因子1年之間竟然增長24倍，堪稱世界學術期刊中的奇跡。原因是德國學者Sheldrick開發的晶體結構分析程序SHELX以及Bruker SHELXTL被學術界廣泛使用，2008年Sheldrick在SHELX軟件主頁上寫到“At last there is a paper that should be cited whenever any program that begins with“SHELX…”（including the Bruker SHELXTL）is used：A short history of SHELX.Sheldrick（2008）.Acta Cryst.A64，112-122。很多程序使用者撰寫論文時都按Sheldrick要求引用該文，于是2008年、2009年2年該文獲得6 605次引用，而兩年間《晶體學報A》發表122篇論文，6 605被引次數除以122，影響因子從2猛升到50。ACTA CRYSTALLOGR A影響因子在2012年又大幅度下降為0.6。

那么，《晶體學報A》現象是不是個例與孤案？本文擬從學科領域的水平與層次對此進行一個案例討論。

1數據

1.1期刊來源

目前全球最有代表性的國際性引文數據庫即美國ISI公司的WOS數據庫、歐洲Elsiver公司的SCOPUS數據庫。學科領域選擇考慮本文篇幅限制，選擇JCR收錄期刊數量較少領域，此外還考慮與SCOPUS數據庫的共同收錄情況，最終選擇計算機學科下的人工智能領域，計60本期刊。

1.2數據來源

2010年度JCR報告取得討論期刊的影響因子、在SCI數據庫中獲得計算截尾均值影響因子值相關數據。由于工作量較大，沒有扣除期刊自引以及只計算研究論文（research paper或original paper）的被引次數。

1.3方法

描述1組數據整體特征的描述統計指標很多，其中不容易受到個別偏離值影響的最常見統計量有調和均值、眾數、中位數、截尾均值等。考慮到數據收集方便程度以及與影響因子計算方法的平滑銜接，選擇截尾均值。本文將截尾均值比例確定為5%的原因是：統計學上一般認為5%是小概率事件，計算1本期刊發表95%論文被引次數均值已經有足夠大代表性。

對于1本期刊去掉最高被引與最低的合計5%論文被引次數后計算的影響因子（為行文方便，以下使用英文縮寫簡稱TM-IF5）與沒有去掉之前的影響因子相同或者變化不大，則自然說明該期刊論文被引情況相同或者很接近，影響因子搭便車問題不嚴重可以接受。統計時間確定為5年的原因是：多數學科的多數論文被引高峰都出現在發表后5年之內。當然也可以根據研究與科研管理的實際需要采用其他統計時間。

進行分組的必要性與理由在于：（1）期刊影響因子本身是對論文質量的一種間接評價方法，不宜過度強調影響因子之間的細微差別。（2）同一學科領域內部的期刊影響因子差異不大，排名對取值敏感，很小的絕對值差別會導致較大的排名差異，分組對影響因子取值變化敏感度大大降低。（3）分組討論也有利于抑制數據統計等各種誤差。（4）除了影響因子最高的幾本期刊外，其余絕大多數期刊影響因子分布比較均勻，沒有表現出很明顯的聚類趨勢，因此采用最為直觀的絕對值分組。

影響因子、截尾均值影響因子均分5組，由高到低為ABCDE。影響因子分組標準直觀的為：大于4為A組、3～4為B組、2～3為C組、1～2為D組、小于1為E組。截尾均值影響因子分組標準為：大于2為A組、1.5～2為B組、1～1.5為C組、0.5～1為D組、小于0.5為E組。

兩個指標分組尺度不同的原因是：截尾均值影響因子對影響因子進行了扣除，一般地一本期刊的截尾均值影響因子會小于其影響因子。表12010年SCI人工智能領域60本期刊分組

分組

由表2可以看到，同一分組期刊TM-IF5值比IF2值大幅度降低，A組降低幅度最大為80%之多，B組為25%，其余CDE組均為50%，非常接近。比值越小說明少數高被引論文拉高期刊影響因子的程度越嚴重，表2數據表明上述期刊中大部分論文被引次數不高、論文之間的被引次數差異很大，也就是說論文質量存在較大差異，不能因為都發表在同一本期刊上就認為論文質量相當。

2.2對比分組變動情況（表3）表3IF2與TM-IF5分組變化

表3顯示，分組等級變化最大的是A組，變化最小的是E組，其余中間水平各組變化程度大致相當，在50%左右。出現上述變化格局的原因很明顯：影響因子沒考慮論文被引次數的內部差異，而高影響因子期刊往往由少數高被引論文拉高影響因子，按照截尾均值影響因子進行計算，少數高被引論文被剔除計算，所以A組期刊分級情況變化最劇烈。同樣道理，E組期刊被引次數整體少，內部差異變化也不大，故而E組分級情況變化最小。

表46本期刊對比

編號11期刊名稱11影響因子11分組11截尾均值

表4顯示，編號為3、4、5、6的4本期刊影響因子與截尾均值影響因子之比均在100%左右波動，換言之即4本期刊發表論文之間被引次數差異相對較小，故而其分組上升。一個突出的反面例子即編號1期刊，影響因子與截尾均值影響因子之比大于2倍之多。因此，編號1期刊所在分組由影響因子的A組急劇下滑到截尾均值影響因子的E組。

3結語

評價研究工作價值大小的根本標準是解決問題重要性、解決程度、解決方法優劣，研究工作發表在何種期刊上只是形式問題，一些諾貝爾獎論文并沒有發表在高影響因子期刊上。本文的分析也表明1本期刊的影響因子往往由極少數（本文討論前2.5%被引論文的貢獻）論文貢獻，因此以期刊評價論文存在一定誤差。正是如此，影響因子只適合于短期論文評價，具體而言即中國高校目前盛行的年度考核與分配確定依據之應用。要比較可靠得分評價1篇論文價值，需要直接對論文本身進行評價，此外需要較長時間來進行評價。

當然，作為第一個被提出的影響因子類指標，IF2盡管存在諸多不足，長期應用已經使其成為事實上的期刊評價標準或者說主要標準之一。加菲爾德指出[1]：“兩年影響因子并不是評價論文質量的完美工具，但目前也沒有比這個方法更好的方法。除了個別，絕大多數情況下每一專業最好雜志其影響因子也是較高的，在其上發表論文也是最難的。評價單篇的論文或某個作者理想做法是評價者閱讀每篇文章來做出判斷，但是要使評審者意見趨于統一相當困難。此外，大多數的評價者都沒有時間來閱讀所有的相關論文”。換言之，影響因子在當代學術職業從業者眾多、嚴格同行評議成本過高的實際情況下有一定的科研管理價值。

為了提高影響因子在短期論文評價中的積極作用與價值，還可以考慮一些具體改進措施如：（1）影響因子相鄰年份增長速度明顯過大的（比如一年之間增長1倍或者50%等）者不能簡單按照影響因子來進行評價，還需要結合其發文數量等指標來考慮論文分級歸屬。（2）采用一些改進的影響因子，如正確影響因子[2]、ACIF指數[3]、累積影響因子[4]等。（3）限制低影響因子發表論文的獎勵額度，提高在高影響因子期刊上發表論文的獎勵，以消除一些國內高校尤其是非名牌高校管理層為了快速提升SCI論文數量指標，對SCI論文重金獎勵，但設計獎勵政策時沒有區分不同質量的期刊，一些研究人員抓住政策漏洞，在低影響因子期刊上發表幾十篇低質量論文而獲得巨額獎勵的不正常現象。

致謝：本文數據由桂林電子科大商學院2009級工商管理專業謝雄、王萍整理。

參考文獻

[1]Garfield.The History and Meaning of the Journal Impact Factor[J].冷懷明，編譯.編輯學報，2006，（6）：90-93.

[2]Modeh，Van Leeuwen.Impact Factors Can Mislead[J].Nature，1996，（381）：186.

[3]Markpin，Boonradsamee，Ruksinsut et al.Article-Count Impact Factor of Materials Science Journals in SCI Database[J].Scientometrics，2008，（2）：251-261.

[4]Garfield.Impact of Cumulative Impact Factors[OL].http：∥www.garfield.library.upenn.edu/papers/impactofcumimpfacs.pdf.

（本文責任編輯：馬卓）