國內(nèi)學(xué)術(shù)期刊質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建探索與實(shí)證研究

●魏曉峰（河北建筑工程學(xué)院 圖書館，張家口 075024）

近年來，國內(nèi)外有關(guān)學(xué)術(shù)期刊評(píng)價(jià)的理論探討與實(shí)證研究日趨深入，多種學(xué)術(shù)期刊評(píng)價(jià)指標(biāo)與期刊評(píng)價(jià)體系相繼提出和廣泛應(yīng)用。指標(biāo)選取上，一級(jí)指標(biāo)邏輯性不強(qiáng)，不能有效體現(xiàn)與衡量期刊學(xué)術(shù)質(zhì)量；而二級(jí)指標(biāo)往往力求細(xì)致全面，既增加了數(shù)據(jù)收集與統(tǒng)計(jì)難度，又不利于各類指標(biāo)的有機(jī)組合與應(yīng)用。指標(biāo)權(quán)重賦值上，目前各評(píng)價(jià)體系普遍采用層次分析法和專家調(diào)查法，一般僅限于期刊管理或圖書情報(bào)而缺乏各學(xué)科或?qū)I(yè)領(lǐng)域?qū)＜艺{(diào)查，由此確定的指標(biāo)權(quán)重不能有效體現(xiàn)各學(xué)科之間的差異性。此外，利用不同的評(píng)價(jià)體系進(jìn)行期刊質(zhì)量評(píng)價(jià)的結(jié)果也不盡相同，勢(shì)必會(huì)出現(xiàn)相互沖突或矛盾之處，影響期刊選購、職稱評(píng)定、科研評(píng)價(jià)等工作績效。當(dāng)前國內(nèi)大多涉及針對(duì)某種期刊評(píng)價(jià)指標(biāo)的研究，僅有少數(shù)研究涉及某一類型或?qū)W科領(lǐng)域期刊評(píng)價(jià)指標(biāo)體系。因此，本文對(duì)學(xué)術(shù)期刊評(píng)價(jià)體系進(jìn)行整合研究與實(shí)證分析以供參考。

1 國內(nèi)學(xué)術(shù)期刊質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建

評(píng)價(jià)指標(biāo)選取在全面性、科學(xué)性、易獲取性和整個(gè)評(píng)價(jià)體系的簡練性下，以增強(qiáng)期刊評(píng)價(jià)的時(shí)效性、公正性和高效率。在指標(biāo)權(quán)重分配方面，需要綜合考慮和兼顧圖書情報(bào)以及其他學(xué)科或?qū)I(yè)領(lǐng)域?qū)＜业脑u(píng)議意見，以確保權(quán)重分配的專業(yè)性和體現(xiàn)指標(biāo)評(píng)價(jià)的學(xué)科特色。

1.1 期刊評(píng)價(jià)指標(biāo)選取

期刊的學(xué)術(shù)質(zhì)量主要通過期刊的學(xué)術(shù)含量和對(duì)外界的學(xué)術(shù)影響力兩個(gè)方面體現(xiàn)，一般分別選用期刊來源（或載文） 指標(biāo)和被引（或影響力） 指標(biāo)進(jìn)行衡量。本文以目前國內(nèi)學(xué)術(shù)界比較公認(rèn)的、影響較大的6種期刊評(píng)價(jià)工具［1－6］以及3篇最具代表性的期刊評(píng)價(jià)體系研究論文［7－9］為參考依據(jù)，在詳細(xì)考察各類評(píng)價(jià)指標(biāo)屬性、功效和使用頻次的基礎(chǔ)上，最終選取了9個(gè)期刊評(píng)價(jià)核心指標(biāo)。其中，期刊來源指標(biāo)包括基金論文比、篇均參考文獻(xiàn)數(shù)和篇均作者機(jī)構(gòu)數(shù)，期刊被引指標(biāo)包括篇均被引頻次、影響因子、他引量、他引刊數(shù)、即年指標(biāo)和Web即年下載率。由于考慮到期刊學(xué)術(shù)質(zhì)量評(píng)價(jià)主旨、期刊所屬地域區(qū)分度較小、當(dāng)前學(xué)科交叉滲透發(fā)展趨勢(shì)明顯以及“同類可比”的期刊評(píng)價(jià)原則等因素，本文沒有選用載文量、國際論文比、本學(xué)科論文比、被引半衰期和其他使用頻次較小的指標(biāo)。

1.2 評(píng)價(jià)指標(biāo)權(quán)重分配

上述9個(gè)指標(biāo)雖然都是從定量角度反映期刊的學(xué)術(shù)質(zhì)量，但是對(duì)于期刊評(píng)價(jià)結(jié)果的貢獻(xiàn)各不相同，而且由于各學(xué)科之間的差異性，各指標(biāo)在不同學(xué)科中應(yīng)用價(jià)值也不一致，因此需要結(jié)合評(píng)價(jià)目的等主觀因素進(jìn)行分析，賦予各指標(biāo)不同的權(quán)重和充分考慮學(xué)科因素。本文選擇半定性的層次分析法來確定各指標(biāo)權(quán)重值，并將權(quán)重劃分為基礎(chǔ)權(quán)重和學(xué)科權(quán)重兩部分；前者是指由圖書情報(bào)領(lǐng)域?qū)＜摇W(xué)術(shù)期刊編輯與圖書館員得出的權(quán)重，后者是指由某一專業(yè)或?qū)W科領(lǐng)域?qū)＜业贸龅臋?quán)重。在綜合上述分析和參考《中國人文社會(huì)科學(xué)核心期刊要覽》 （2008年版）的指標(biāo)權(quán)重處理辦法的基礎(chǔ)上，本文將基礎(chǔ)權(quán)重和學(xué)科權(quán)重分別賦權(quán)值為0.7和0.3，二者加權(quán)后的權(quán)重值之和即為某學(xué)科領(lǐng)域?qū)W術(shù)期刊質(zhì)量評(píng)價(jià)指標(biāo)體系的綜合權(quán)重。

（1）構(gòu)建評(píng)價(jià)指標(biāo)層次結(jié)構(gòu)模型。本文運(yùn)用層次分析法構(gòu)建指標(biāo)層次結(jié)構(gòu)模型，依次包括目標(biāo)層（期刊評(píng)價(jià)指標(biāo)綜合值）、準(zhǔn)則層（包括期刊來源指標(biāo)和被引指標(biāo)兩項(xiàng)）、子準(zhǔn)則層（期刊被引指標(biāo)下設(shè)影響強(qiáng)度、廣度和速度三類）和指標(biāo)層。

（2）構(gòu)造評(píng)價(jià)指標(biāo)判斷矩陣。根據(jù)上述模型，本文構(gòu)建了6個(gè)判斷矩陣。準(zhǔn)則層的2個(gè)1級(jí)指標(biāo)構(gòu)成1個(gè)2維判斷矩陣，子準(zhǔn)則層的3個(gè)2級(jí)指標(biāo)構(gòu)成1個(gè)3維判斷矩陣，指標(biāo)層的9個(gè)3級(jí)指標(biāo)按其類別構(gòu)成4個(gè)判斷矩陣，分別是由3個(gè)期刊來源指標(biāo)構(gòu)成的1個(gè)3維判斷矩陣和由6個(gè)期刊被引指標(biāo)構(gòu)成的3個(gè)2維判斷矩陣。［10］根據(jù)Saaty權(quán)威性建議，采用數(shù)字1-9及其倒數(shù)為標(biāo)度來確定各指標(biāo)權(quán)重值。

（3）問卷設(shè)計(jì)與調(diào)查。本文設(shè)計(jì)了專家調(diào)查問卷，其中一級(jí)指標(biāo)權(quán)重專家評(píng)分表如表1所示，其他層次指標(biāo)權(quán)重專家評(píng)分表均以此類推。筆者采用電子郵件方式對(duì)國內(nèi)一些具有副高級(jí)以上職稱的圖書情報(bào)領(lǐng)域高校教師與圖書館員（各占73.1%和17.1%）以及學(xué)術(shù)期刊編輯進(jìn)行訪問調(diào)查，共計(jì)發(fā)放問卷100份，回收問卷89份。利用yaaph0.5.2軟件再對(duì)全部問卷調(diào)查數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，共計(jì)82份有效問卷均通過了層次單排序與總排序一致性檢驗(yàn)，由此表明該調(diào)查問卷設(shè)計(jì)較為科學(xué)合理，評(píng)價(jià)指標(biāo)層次結(jié)構(gòu)模型與判斷矩陣具有較好的適用性。

表1 調(diào)查問卷中一級(jí)指標(biāo)權(quán)重專家評(píng)分表

（4）計(jì)算評(píng)價(jià)指標(biāo)權(quán)重。本文采用專家評(píng)分法和層次分析軟件yaaph0.5.2，對(duì)指標(biāo)體系內(nèi)同層指標(biāo)進(jìn)行兩兩比較，得到判斷矩陣，計(jì)算矩陣對(duì)應(yīng)的特征向量，再依次進(jìn)行層次單排序和層次總排序及其一致性檢驗(yàn)，從而確定各指標(biāo)權(quán)重。根據(jù)全部的層次單排序統(tǒng)計(jì)結(jié)果，可以計(jì)算出指標(biāo)層內(nèi)各指標(biāo)的層次總排序權(quán)重。判斷矩陣一致性檢驗(yàn)是指檢驗(yàn)專家對(duì)各指標(biāo)進(jìn)行兩兩比較時(shí)所作出的判斷思維是否一致。本文引入Saaty提出的判斷矩陣平均隨機(jī)一致性指標(biāo)值進(jìn)行具體的統(tǒng)計(jì)檢驗(yàn)，然后計(jì)算出每份有效問卷中獲得的各指標(biāo)層次總排序權(quán)重的算術(shù)平均值，即各指標(biāo)基礎(chǔ)權(quán)重，如表2所示。在具體評(píng)價(jià)某學(xué)科領(lǐng)域?qū)W術(shù)期刊質(zhì)量時(shí)，還需要對(duì)領(lǐng)域?qū)＜疫M(jìn)行問卷調(diào)查以獲取各指標(biāo)學(xué)科權(quán)重，進(jìn)而得出各指標(biāo)的綜合權(quán)重值。

2 實(shí)證研究

本文堅(jiān)持“同類可比”的評(píng)價(jià)原則，選擇數(shù)學(xué)期刊進(jìn)行實(shí)證研究以體現(xiàn)基礎(chǔ)與學(xué)科權(quán)重之間的差別。

2.1 問卷調(diào)查與指標(biāo)權(quán)重確定

本文選擇2011年國內(nèi)“211工程”大學(xué)中數(shù)學(xué)專業(yè)綜合排名前30所高校中具有副高級(jí)及其以上職稱（正高與副高職稱比例各為37.6%和62.5%）的數(shù)學(xué)領(lǐng)域?qū)＜覟檎{(diào)查對(duì)象，以保證調(diào)查的較高權(quán)威性與可信度。共計(jì)發(fā)放問卷40份，回收問卷36份，其中32份有效問卷全部通過層次單排序和總排序一致性檢驗(yàn)。然后分別計(jì)算出各評(píng)價(jià)指標(biāo)的學(xué)科權(quán)重值，通過加權(quán)進(jìn)而算出各指標(biāo)的綜合權(quán)重值，如表2所示。從表中可知，兩類權(quán)重值相差較大的指標(biāo)有基金論文比、篇均被引頻次、影響因子和Web即年下載率，這在一定程度上反映出不同學(xué)科領(lǐng)域?qū)＜覍?duì)學(xué)術(shù)期刊質(zhì)量的不同理解與認(rèn)知。

表2 數(shù)學(xué)期刊各評(píng)價(jià)指標(biāo)的三類權(quán)重值分布

2.2 期刊選取和數(shù)據(jù)統(tǒng)計(jì)源

在參照國內(nèi)多種期刊分類或?qū)Ш侥夸浀幕A(chǔ)上，本文選取15種有代表性的數(shù)學(xué)期刊進(jìn)行實(shí)證研究；同時(shí)選擇《2009年版中國期刊引證報(bào)告（擴(kuò)刊版）》和《中國學(xué)術(shù)期刊綜合引證報(bào)告（2009年版）》為主要數(shù)據(jù)來源，以CNKI中國引文數(shù)據(jù)庫同期數(shù)據(jù)為補(bǔ)充，以保證統(tǒng)計(jì)分析的科學(xué)有效性。通過直接檢索或輔助人工統(tǒng)計(jì)得到各刊評(píng)價(jià)指標(biāo)原始數(shù)據(jù)，如表3所示。數(shù)據(jù)檢索與統(tǒng)計(jì)處理日期為2012年8月15～16日。

由于同一個(gè)指標(biāo)體系內(nèi)的不同指標(biāo)數(shù)據(jù)之間存在較大差異，因此需要對(duì)各指標(biāo)數(shù)據(jù)進(jìn)行歸一化規(guī)范處理，以便在同一個(gè)數(shù)量級(jí)上進(jìn)行橫向比較與評(píng)價(jià)。歸一化處理的思路是將各指標(biāo)中的最高值設(shè)置為1，其他數(shù)據(jù)依據(jù)相應(yīng)比例取值，通過加權(quán)綜合得到各指標(biāo)綜合評(píng)價(jià)值，其降序排列結(jié)果如表4所示。

表3 數(shù)學(xué)期刊各評(píng)價(jià)指標(biāo)原始數(shù)據(jù)分布

表4 數(shù)學(xué)期刊各評(píng)價(jià)指標(biāo)歸一化處理后的數(shù)據(jù)與綜合評(píng)價(jià)值分布

2.3 評(píng)價(jià)指標(biāo)相關(guān)性分析

本文基于皮爾遜（Spearman）積差相關(guān)系數(shù)，利用SPSS17.0軟件分別對(duì)評(píng)價(jià)指標(biāo)體系中的目標(biāo)層（即指標(biāo)綜合評(píng)價(jià)值）與各指標(biāo)層及單項(xiàng)指標(biāo)間的相關(guān)性進(jìn)行分析，以考察各指標(biāo)層對(duì)于上一層級(jí)設(shè)置的合理性。

（1）評(píng)價(jià)指標(biāo)體系的總體分析。據(jù)統(tǒng)計(jì)，準(zhǔn)則層與目標(biāo)層之間的兩個(gè)相關(guān)系數(shù)r分別為0.538和0.958，P值均小于0.01，表明本文構(gòu)建的期刊評(píng)價(jià)指標(biāo)體系中的準(zhǔn)則層指標(biāo)與目標(biāo)層之間在0.01水平（雙側(cè)）上顯著相關(guān)，來源與被引指標(biāo)的設(shè)置對(duì)于整個(gè)評(píng)價(jià)體系而言是合理的。三個(gè)子準(zhǔn)則層指標(biāo)與準(zhǔn)則層之間顯著性相關(guān)（相關(guān)系數(shù)r分別為0.852、0.768和0.646，P值均為0.000），表明三個(gè)被引指標(biāo)的設(shè)置也是較為合理的。此外，三個(gè)來源指標(biāo)與準(zhǔn)則層之間（r分別為 0.958、0.881和 0.550，P值分別為 0.000、0.000和0.002）、兩個(gè)影響強(qiáng)度指標(biāo)與子準(zhǔn)則層之間（r分別為0.810和0.802，P值均為0.000）、兩個(gè)影響廣度指標(biāo)與子準(zhǔn)則層之間（r分別為0.986和0.957，P值均為0.000），以及兩個(gè)影響速度指標(biāo)與子準(zhǔn)則層之間 （r分別為 0.838和 0.670，P值均為 0.000） 均在0.01水平（雙側(cè)）上顯著相關(guān)，表明各項(xiàng)指標(biāo)的設(shè)置對(duì)于整個(gè)評(píng)價(jià)體系而言均是較為合理的。

（2） 單項(xiàng)指標(biāo)與目標(biāo)層的相關(guān)性分析。限于篇幅，本文僅列出Web即年下載率與目標(biāo)層之間相關(guān)性分析結(jié)果及相應(yīng)的散點(diǎn)圖，如圖1所示。其中，篇均

數(shù)、篇均被引頻次、影響因子、他引量和他引刊數(shù)與目標(biāo)層之間在0.01水平（雙側(cè)）上顯著相關(guān)（r值分別為 0.601、0.051、0.831、0.794和 0.654），而基金論文比、篇均作者機(jī)構(gòu)數(shù)、即年指標(biāo)和Web即年下載率與目標(biāo)層之間在0.05水平（雙側(cè)）上顯著相關(guān)（r值分別為0.429、0.395、0.423和0.411）。由此可知各項(xiàng)指標(biāo)與目標(biāo)層之間存在不同程度的正相關(guān)性，評(píng)價(jià)指標(biāo)體系構(gòu)建在整體上較合理。

圖1 Web即年下載率指標(biāo)與目標(biāo)層之間相關(guān)性分析結(jié)果及相應(yīng)的散點(diǎn)圖

2.4 與《中文核心期刊要目總覽》的比較分析

由于《中文核心期刊要目總覽》 （2011年版） 中共列出17種數(shù)學(xué)核心期刊排名情況，因此本文選擇其與上述期刊評(píng)價(jià)結(jié)果進(jìn)行對(duì)比分析，以探尋兩者間的差異性及其原因，對(duì)比情況如表5所示。需要說明的是，表中“升降幅度”一列是指某刊在本文研究中排名與其在《總覽》中排名相比下的升降位數(shù)，正負(fù)數(shù)分別表示排名升與降，“/”表示某刊在《總覽》中為非核心期刊。

表5 本文研究的數(shù)學(xué)期刊綜合評(píng)價(jià)值排名與《總覽》中排名的對(duì)比情況

從表中可知，《數(shù)學(xué)學(xué)報(bào)》等4種期刊在兩個(gè)評(píng)價(jià)體系中排名均相同，《數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)》等4種期刊以及《系統(tǒng)科學(xué)與數(shù)學(xué)》等2種期刊的排名分別有不同程度的上升或下降。由于本文與《總覽》中的指標(biāo)構(gòu)成、評(píng)價(jià)時(shí)段與方法不盡相同，兩者的評(píng)價(jià)結(jié)果必然存在一定差異。僅以排名變動(dòng)較明顯的《數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)》和《應(yīng)用數(shù)學(xué)學(xué)報(bào)》為例，兩刊的來源指標(biāo)值排名均普遍靠后，而前者的被引指標(biāo)值排名多數(shù)較靠前，而后者多數(shù)較靠后。從表4中可知，來源與被引指標(biāo)權(quán)重分別約占總權(quán)重的20%和80%。如果期刊各項(xiàng)指標(biāo)排名均居前列，則其綜合排名必定靠前，如《應(yīng)用數(shù)學(xué)學(xué)報(bào)》；如果來源指標(biāo)排名較靠后，而被引指標(biāo)排名較靠前而且競爭優(yōu)勢(shì)較明顯，則其綜合排名也會(huì)相對(duì)靠前，如《數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)》。此外，《總覽》的評(píng)價(jià)指標(biāo)中有6項(xiàng)量效指標(biāo)和4項(xiàng)信息棧指標(biāo)（如被索引量、被摘量、獲國家獎(jiǎng)或被國內(nèi)外重要檢索工具收錄數(shù)等）均受期刊載文量的較大影響，一定程度上削弱了被引指標(biāo)的評(píng)價(jià)效果。

本文構(gòu)建的評(píng)價(jià)指標(biāo)體系比較突出期刊學(xué)術(shù)影響力的評(píng)價(jià)效用，也能體現(xiàn)一定的期刊學(xué)術(shù)含量，有效避免了由于期刊編輯出版隨意改進(jìn)來源指標(biāo)（如增加載文、被摘、Web下載、自引等數(shù)量）以獲得較高評(píng)價(jià)績效所帶來的不良影響。因此，本文構(gòu)建的期刊評(píng)價(jià)指標(biāo)體系在總體上具有一定的科學(xué)合理性，與《總覽》等傳統(tǒng)做法不同，能夠適用于不同學(xué)科領(lǐng)域期刊評(píng)價(jià)；在指標(biāo)選擇方面，既兼顧各類期刊的內(nèi)在特征和外在影響，又考慮不同期刊的辦刊特色或方向，能夠較公平和客觀地體現(xiàn)與評(píng)價(jià)期刊學(xué)術(shù)質(zhì)量；在指標(biāo)權(quán)重分配方面，既包含專業(yè)成分又融入學(xué)科特色，同時(shí)涵蓋基礎(chǔ)與學(xué)科兩類權(quán)重，一定程度上避免了專家偏向等主觀影響。

［參考文獻(xiàn)］

［1］朱強(qiáng)，等．中文核心期刊要目總覽（第六版）［M］．北京：北京大學(xué)出版社，2011：1－18.

［2］南京大學(xué)中國社會(huì)科學(xué)研究評(píng)價(jià)中心-來源期刊目錄 ［EB/OL］.［2012－08－16］．http://cssci.nju.edu.cn/news.as-p?ChannelID=9.

［3］中國科學(xué)引文數(shù)據(jù)庫項(xiàng)目組．中國科學(xué)計(jì)量指標(biāo):期刊引證報(bào)告（2011年卷）［R］.北京：知識(shí)產(chǎn)權(quán)出版社，2012：1－10.

［4］萬錦堃,薛芳渝.中國學(xué)術(shù)期刊綜合引證報(bào)告（2009年版）［R］.北京：科學(xué)出版社，2010：1－10.

［5］曾建勛．2010年版中國期刊引證報(bào)告（擴(kuò)刊版）［R］.北京：科學(xué)技術(shù)文獻(xiàn)出版社，2010：1－8.

［6］邱均平，等．中國學(xué)術(shù)期刊評(píng)價(jià)研究報(bào)告：RCCSE權(quán)威、核心期刊排行榜與指南 （2011－2012）［R］.北京：科學(xué)出版社，2011：8－26.

［7］龐景安,等.中國科技期刊綜合評(píng)價(jià)指標(biāo)體系的研究［J］.中國科技期刊研究，2000（4）：217－219.

［8］師昌緒，李廷杰．自然科學(xué)學(xué)術(shù)期刊綜合評(píng)價(jià)指標(biāo)體系研究［J］.中國科技期刊研究，2001，12（3）：165－168.

［9］蘇新寧.人文社會(huì)科學(xué)期刊評(píng)價(jià)指標(biāo)體系研究［J］.圖書館論壇，2006，26（6）：59－65.

［10］白景永．基于職業(yè)成長的高校教師科研能力評(píng)價(jià)體系設(shè)計(jì) ［J］.繼續(xù)教育研究，2011（7）：39－41.