回歸論文本位和學(xué)者本位的期刊論文評(píng)價(jià)模型創(chuàng)新
——模糊綜合評(píng)判法在SCI和CSSCI期刊論文評(píng)價(jià)中的應(yīng)用

邱香華，韓云波

(西南大學(xué) 期刊社，重慶 400715)

一、SCI與CSSCI：數(shù)據(jù)開(kāi)發(fā)還是期刊評(píng)價(jià)

改革開(kāi)放以來(lái)，中國(guó)學(xué)術(shù)研究成果不斷走向世界。今天，正值國(guó)家建設(shè)“雙一流”大學(xué)號(hào)角已經(jīng)吹響之際，在學(xué)術(shù)論文數(shù)量有了極大突破的基礎(chǔ)上，如何提升學(xué)術(shù)論文質(zhì)量而不僅僅是以數(shù)量取勝，已經(jīng)成為當(dāng)下的熱點(diǎn)話題。長(zhǎng)期以來(lái)，尤其是在高校的評(píng)價(jià)體系中，學(xué)術(shù)論文的數(shù)量和質(zhì)量一直是最重要的衡量指標(biāo)，并逐漸形成了一些共通性的評(píng)價(jià)指向。

在自然科學(xué)領(lǐng)域，1987年國(guó)家科委委托中國(guó)科技信息研究所調(diào)研中國(guó)在國(guó)際期刊上發(fā)表的科技論文，確定以SCI、EI、ISR、ISTP四大檢索系統(tǒng)為統(tǒng)計(jì)源[1]，幾年后剔除了ISR。目前，在大多數(shù)高校已經(jīng)形成以SCI為核心并根據(jù)JCR分區(qū)確定論文質(zhì)量權(quán)重的評(píng)價(jià)方式，從重視科研論文的數(shù)量逐步向重視質(zhì)量轉(zhuǎn)變。由于各高校具體情況的差異，在具體評(píng)價(jià)方式上，又出現(xiàn)了以在SCI收錄期刊的發(fā)文數(shù)、以SCI收錄期刊的影響因子、以SCI論文的被引次數(shù)、以h指數(shù)等作為評(píng)價(jià)指標(biāo)的不同方法[2]。也有學(xué)者提出，對(duì)于不同學(xué)科門(mén)類(lèi)之間論文的學(xué)術(shù)影響力，應(yīng)采用多指標(biāo)進(jìn)行綜合評(píng)價(jià)，并進(jìn)而論證了其合理性[3]。針對(duì)長(zhǎng)期以來(lái)存在的“評(píng)刊”還是“評(píng)文”的爭(zhēng)議，雖然各高校采用了種種辦法來(lái)使評(píng)價(jià)體系盡可能做到公平合理，但依然存在著種種不盡如人意之處。

在社會(huì)科學(xué)領(lǐng)域，與SCI相類(lèi)似，國(guó)際上也有SSCI和A&HCI等檢索系統(tǒng)，但由于中西方的具體情況存在差異，社會(huì)科學(xué)論文主要發(fā)表陣地是在國(guó)內(nèi)，目前已形成北京大學(xué)圖書(shū)館開(kāi)發(fā)的“中文核心期刊要目總覽”(亦稱(chēng)“北大核心”或“北核”)和南京大學(xué)中國(guó)社會(huì)科學(xué)評(píng)價(jià)研究中心開(kāi)發(fā)的“中文社會(huì)科學(xué)引文索引”(CSSCI)(亦稱(chēng)“南大核心”或“C刊”)等檢索系統(tǒng)。對(duì)于社會(huì)科學(xué)論文的評(píng)價(jià)而言，與自然科學(xué)論文的評(píng)價(jià)相似，長(zhǎng)期以來(lái)也主要是“以刊評(píng)文”，以是否進(jìn)入檢索系統(tǒng)收錄期刊為準(zhǔn)，尤其是目前多數(shù)高校將在CSSCI來(lái)源期刊發(fā)表的論文作為各類(lèi)考核要求的標(biāo)準(zhǔn)。在一些大學(xué)排行榜中，CSSCI發(fā)文量也是社科評(píng)價(jià)的重要數(shù)量指標(biāo)。由于CSSCI來(lái)源期刊學(xué)術(shù)影響力差異較大，一些學(xué)校也對(duì)CSSCI來(lái)源期刊進(jìn)行了類(lèi)似分區(qū)的權(quán)重劃分。盡管有各種努力，但出于“以文評(píng)刊”初衷的來(lái)源期刊遴選，依然囿于“以刊評(píng)文”而廣受“學(xué)術(shù)共同體”的詬病。盡管CSSCI自身也在不斷做出改進(jìn)，“努力探索數(shù)據(jù)及其發(fā)布方式的多元化”[4]，但依然如朱劍所指出的，“CSSCI雖然比較忠實(shí)地遵循了‘加氏定律’，但在其起步階段表現(xiàn)出了對(duì)核心期刊明顯的路徑依賴(lài)，對(duì)評(píng)價(jià)功能的過(guò)度宣傳，使其在影響迅速擴(kuò)大的同時(shí)背離了初衷，檢索工具變成了評(píng)價(jià)產(chǎn)品”，因而極力呼吁“對(duì)于‘三大核心’及所有的評(píng)價(jià)機(jī)構(gòu)來(lái)說(shuō)，明智的進(jìn)路選擇在于，退出學(xué)術(shù)評(píng)價(jià)，回歸評(píng)價(jià)數(shù)據(jù)開(kāi)發(fā)者的定位”[5]。但顯然，“三大核心”的用戶即高校和科研機(jī)構(gòu)對(duì)這樣的呼吁并不買(mǎi)賬，量化評(píng)價(jià)的客觀性成了跨越學(xué)科門(mén)類(lèi)多樣性與研究領(lǐng)域復(fù)雜性而保持相對(duì)公平的法寶，因而，CSSCI等的數(shù)據(jù)開(kāi)發(fā)反而進(jìn)一步強(qiáng)化了其評(píng)價(jià)性定位。

無(wú)論是SCI還是CSSCI，目前都存在著量化統(tǒng)計(jì)在標(biāo)準(zhǔn)一致的客觀性背景下勢(shì)必犧牲科學(xué)研究個(gè)體性特征的問(wèn)題，這對(duì)于原創(chuàng)性的科學(xué)研究尤其不利，反而是給那些貌似遵循學(xué)術(shù)規(guī)范而實(shí)際上內(nèi)容平庸的“中流”水平的科研成果大開(kāi)了方便之門(mén)。由此衍生出了三個(gè)方面差異極大的聲音：(1)數(shù)據(jù)開(kāi)發(fā)者試圖極力撇清其“評(píng)價(jià)”的功能，但是，評(píng)價(jià)功能就明明白白地?cái)[在那里，如果僅僅是單純的數(shù)據(jù)開(kāi)發(fā)而不講究將“優(yōu)質(zhì)”數(shù)據(jù)遴選出來(lái)提供給用戶，那么，數(shù)據(jù)開(kāi)發(fā)也就失去了意義。(2)科研管理者面對(duì)眾多的學(xué)科門(mén)類(lèi)和復(fù)雜的研究領(lǐng)域，如何能夠找到一個(gè)能夠進(jìn)行橫向比較的相對(duì)公平或熵值最小的評(píng)價(jià)標(biāo)準(zhǔn)，否則，管理者如何制定傾斜政策和確定發(fā)展規(guī)劃？(3)科研工作者希望自己的論文獲得更大的學(xué)術(shù)影響力，而傳播市場(chǎng)的不同平臺(tái)提供給論文的傳播效果顯然是不一樣的，不同期刊的傳播能力的差異所在，不僅僅是市場(chǎng)渠道，也有平臺(tái)美譽(yù)度，而數(shù)據(jù)在傳播能力形成及提升的過(guò)程中，毋庸置疑地充當(dāng)了十分重要的角色。

本文要思考的問(wèn)題是，能不能找到一種方法，在運(yùn)用SCI和CSSCI的評(píng)價(jià)功能時(shí)，對(duì)基于大數(shù)據(jù)的客觀描述進(jìn)行補(bǔ)充，引入模糊方法或質(zhì)性評(píng)價(jià)作為適當(dāng)補(bǔ)充，以此對(duì)基于數(shù)據(jù)的純客觀評(píng)價(jià)可能帶來(lái)的指標(biāo)體系一律化而導(dǎo)致的僵化刻板進(jìn)行補(bǔ)弊糾偏。本文擬分別就SCI和CSSCI的情況進(jìn)行說(shuō)明，提出相應(yīng)的思考和建議。

二、模糊綜合評(píng)判法與SCI期刊論文質(zhì)量評(píng)價(jià)

SCI作為國(guó)際上一種優(yōu)秀的科學(xué)論文檢索系統(tǒng)，幾十年來(lái)在科學(xué)界產(chǎn)生了極其重要的影響。改革開(kāi)放以來(lái)，SCI被引入到中國(guó)科研評(píng)價(jià)體系之中，目前SCI期刊論文發(fā)表的數(shù)量和質(zhì)量早已成為各大高校和科研院所職稱(chēng)評(píng)審、申報(bào)項(xiàng)目、課題驗(yàn)收、選拔各類(lèi)人才的重要標(biāo)準(zhǔn)。SCI進(jìn)入中國(guó)科研評(píng)價(jià)30余年來(lái)，初步擺脫了早期對(duì)SCI的盲目迷信，開(kāi)始對(duì)SCI評(píng)價(jià)機(jī)制與體系進(jìn)行反思與重構(gòu)。

(一)SCI運(yùn)用于期刊論文評(píng)價(jià)的現(xiàn)實(shí)困境

對(duì)于SCI期刊論文質(zhì)量的評(píng)價(jià)，各大高校也各有一套具體的評(píng)判標(biāo)準(zhǔn)，有的依據(jù)中科院JCR分區(qū)進(jìn)行評(píng)價(jià)，有的依據(jù)SCI的影響因子進(jìn)行區(qū)分，有的依據(jù)SCI期刊論文的引用頻次進(jìn)行評(píng)價(jià)，還有高校根據(jù)綜合分區(qū)和影響因子等制定了一套評(píng)價(jià)辦法。值得注意的是，這些評(píng)價(jià)標(biāo)準(zhǔn)的制定，大多是人為依據(jù)某些較單一的指標(biāo)進(jìn)而由科研管理部門(mén)或少數(shù)專(zhuān)家人為進(jìn)行的定性分析，由此劃定評(píng)價(jià)標(biāo)準(zhǔn)，在一定程度上缺乏經(jīng)過(guò)反復(fù)檢測(cè)的模型驗(yàn)證，因而具有一定的盲目性和主觀性。需要探索的是，如何利用SCI期刊的各種指標(biāo)對(duì)SCI期刊論文質(zhì)量進(jìn)行評(píng)價(jià)，從而更加合理地評(píng)價(jià)和選擇相應(yīng)的學(xué)術(shù)期刊，進(jìn)而實(shí)施科研人員的績(jī)效獎(jiǎng)勵(lì)，不僅有利于調(diào)動(dòng)科研人員的積極性，而且有助于建立更加和諧的科研環(huán)境和秩序。但由于SCI在各學(xué)科之間收錄的期刊不平衡，學(xué)科分布不協(xié)調(diào)，各個(gè)學(xué)科之間具有差異性，給獎(jiǎng)勵(lì)政策的制定帶來(lái)了困難和挑戰(zhàn)。各高校獎(jiǎng)勵(lì)政策的制定應(yīng)注重減少學(xué)科影響帶來(lái)的差別性待遇，進(jìn)而提高科研人員整體的積極性。為此，可考慮將SCI期刊論文質(zhì)量的評(píng)價(jià)進(jìn)行歸一化處理，結(jié)合“刊”和“文”的雙重因素，進(jìn)而制定相應(yīng)論文獎(jiǎng)勵(lì)政策。

反映SCI期刊論文質(zhì)量的因素有很多，常見(jiàn)的有論文下載量、SCI分區(qū)、影響因子和學(xué)術(shù)影響力等，其中論文下載量和影響因子顯然是量化的指標(biāo)。然而，簡(jiǎn)單地從數(shù)據(jù)來(lái)評(píng)判某篇論文的好壞并不具有很強(qiáng)的說(shuō)服力，還要結(jié)合學(xué)科結(jié)構(gòu)和期刊本身的特點(diǎn)來(lái)評(píng)判。論文下載量在一定程度上反映了文章質(zhì)量的好壞，研究?jī)?nèi)容前沿、研究方法新穎的文章一般會(huì)引起廣泛的關(guān)注，下載量會(huì)相對(duì)增加。SCI分區(qū)是廣泛參照的評(píng)價(jià)標(biāo)準(zhǔn)，被各大高校普遍采用。然而，單純以SCI分區(qū)來(lái)評(píng)判論文水平的體系存在的問(wèn)題正逐漸凸顯。SCI 期刊中的影響因子千差萬(wàn)別，從衡量期刊質(zhì)量的影響因子來(lái)看，不僅期刊與期刊之間存在著非常大的差別，而且學(xué)科與學(xué)科之間也有很大差異。學(xué)科間期刊影響因子的差異，使論文與影響因子直接掛鉤則會(huì)產(chǎn)生學(xué)科間不可比較的困難。此外，業(yè)內(nèi)人士也會(huì)關(guān)注論文的被引頻次，被引頻次的高低除了取決于期刊的論文質(zhì)量以外，與其所屬學(xué)科領(lǐng)域、研究群體的大小等也有直接關(guān)系。而且，同樣一篇論文發(fā)表在影響較大的期刊上和發(fā)表在一般期刊上，其引用情況可能會(huì)有很大的差異，這就不能單純從引用頻次來(lái)判斷論文質(zhì)量高低。綜合以上分析，SCI期刊論文的質(zhì)量評(píng)價(jià)是一項(xiàng)復(fù)雜的系統(tǒng)工程，無(wú)論是以上指標(biāo)中的任何一項(xiàng)，都不可避免地存在種種偏頗，甚至?xí)M(jìn)種種偶然性因素。本文旨在將影響SCI期刊論文的四個(gè)主要指標(biāo)作相應(yīng)處理，建立評(píng)判SCI期刊論文質(zhì)量的指標(biāo)體系，進(jìn)而實(shí)現(xiàn)高校SCI期刊論文評(píng)價(jià)的量化。

對(duì)于評(píng)價(jià)SCI期刊論文質(zhì)量的指標(biāo)體系研究已有大量的成果，有諸多文獻(xiàn)基于建立的指標(biāo)體系再進(jìn)一步利用模糊方法進(jìn)行研究。本文從SCI期刊論文下載量、分區(qū)、影響因子和學(xué)術(shù)影響力等四個(gè)方面建立SCI期刊論文質(zhì)量的評(píng)價(jià)指標(biāo)體系，利用模糊綜合評(píng)判法將SCI期刊論文質(zhì)量的定性分析轉(zhuǎn)換為定量評(píng)價(jià)分析。對(duì)影響SCI期刊論文的因素進(jìn)行量化處理，可以消除因?qū)W科間評(píng)價(jià)因素不均衡而給論文質(zhì)量評(píng)估帶來(lái)的不可比問(wèn)題，建立有效的學(xué)術(shù)評(píng)價(jià)標(biāo)準(zhǔn)，避免簡(jiǎn)單依據(jù)某種因素評(píng)判帶來(lái)的盲目性和主觀性，使得高校SCI期刊質(zhì)量論文評(píng)判更加科學(xué)合理。

(二)模糊綜合評(píng)判法的基本流程與指標(biāo)體系

模糊綜合評(píng)判法是一種基于模糊數(shù)學(xué)的評(píng)價(jià)方法，適合解決各種非確定性問(wèn)題，能有效克服傳統(tǒng)評(píng)價(jià)方法中可能出現(xiàn)的不同程度的人為因素和主觀因素的影響，比傳統(tǒng)的定性描述更加科學(xué)和準(zhǔn)確。其評(píng)價(jià)流程如圖1。

圖1 模糊綜合評(píng)判法評(píng)價(jià)流程

確定評(píng)價(jià)指標(biāo)體系是對(duì)SCI期刊論文質(zhì)量評(píng)價(jià)的基礎(chǔ)性工作，是評(píng)價(jià)的主要依據(jù)。為獲得有價(jià)值的評(píng)價(jià)效果，力求全面客觀地反映SCI期刊論文質(zhì)量，其具體要求有四：第一，確定評(píng)價(jià)因素集要與SCI期刊論文質(zhì)量評(píng)價(jià)的目標(biāo)一致。第二，要具有可測(cè)性，評(píng)價(jià)體系中SCI期刊論文質(zhì)量評(píng)價(jià)內(nèi)容可通過(guò)實(shí)際觀察加以直接測(cè)量來(lái)獲得明確結(jié)論。第三，評(píng)價(jià)SCI期刊論文質(zhì)量的各因素之間相互獨(dú)立，不存在因果關(guān)系，因素集的構(gòu)建具有層次性。第四，指標(biāo)要有可比性，指標(biāo)要反映SCI期刊論文質(zhì)量中共同的屬性。

科學(xué)、規(guī)范的評(píng)價(jià)指標(biāo)可以減少評(píng)價(jià)誤差，更精確地反映客觀事實(shí)，提高評(píng)價(jià)質(zhì)量。針對(duì)本文的研究?jī)?nèi)容，需要搜集的資料包括論文發(fā)表3個(gè)月、6個(gè)月和1年的下載量，論文發(fā)表當(dāng)年中科院分區(qū)和JCR國(guó)際分區(qū)，論文發(fā)表當(dāng)年發(fā)表期刊的影響因子以及該期刊前兩年的影響因子，論文所屬研究領(lǐng)域的權(quán)威人士對(duì)論文發(fā)表期刊的認(rèn)可度，論文發(fā)表1年內(nèi)的他引率等一些材料。本文建立的SCI期刊論文質(zhì)量評(píng)價(jià)指標(biāo)體系如表1。

表1 SCI期刊論文質(zhì)量評(píng)價(jià)指標(biāo)體系

(三)運(yùn)用模糊綜合評(píng)判模型進(jìn)行綜合評(píng)價(jià)

1．確定評(píng)價(jià)因素集和評(píng)價(jià)等級(jí)集

U={論文下載量(U1)，SCI分區(qū)(U2)，影響因子(U3)，學(xué)術(shù)影響力(U4)}；

U1={三個(gè)月內(nèi)的下載量(u11)，六個(gè)月內(nèi)的下載量(u12)，一年內(nèi)的下載量(u13)}；

U2={中科院分區(qū)(u21)，JCR國(guó)際分區(qū)(u22)}；

U3={當(dāng)期影響因子(u31)，前一年影響因子(u32)，前兩年影響因子(u33)}；

U4={業(yè)內(nèi)認(rèn)可度(u41)，期刊論文數(shù)量(u42)，引用率(u43)}。

本文確定的評(píng)語(yǔ)集為V={一類(lèi)(v1)，二類(lèi)(v2)，三類(lèi)(v3)，四類(lèi)(v4) }。

2．確定指標(biāo)權(quán)重

指標(biāo)體系中各層次指標(biāo)的權(quán)重通過(guò)熟悉論文評(píng)價(jià)的專(zhuān)家討論確定，其權(quán)重分配如表2。

表2 SCI期刊論文質(zhì)量評(píng)價(jià)體系中各級(jí)指標(biāo)權(quán)重

3．進(jìn)行一級(jí)綜合評(píng)判

假設(shè)評(píng)價(jià)小組成員由100人組成，為了克服專(zhuān)家主觀打分對(duì)分析結(jié)果的影響，采用數(shù)據(jù)調(diào)查法與專(zhuān)家打分法相結(jié)合。評(píng)價(jià)組人員對(duì)SCI期刊論文A的質(zhì)量情況進(jìn)行投票，其統(tǒng)計(jì)結(jié)果如表3。

表3 評(píng)價(jià)組成員對(duì)論文A的評(píng)價(jià)情況

由表3可得U1—U4的單因素評(píng)價(jià)矩陣Z1—Z4為：

由Z1—Z4和表2中的D1—D4可得U1—U4的綜合評(píng)價(jià)矩陣H1—H4，其中Hi=DiZi(i=1,2,3,4)。這里實(shí)施的主要是模糊矩陣的合成運(yùn)算。

H1=(0.4，0.3，0.2，0.02);H2= (0.5，0.32，0.16，0.04);

H3= (0.4，0.4，0.12，0.02);H4=(0.35，0.35，0.24，0)。

4．H1—H4組成單因素評(píng)價(jià)矩陣

求綜合評(píng)價(jià)矩陣R=BH=(0.3，0.3，0.24，0.04)。為方便處理,將R歸一化得:

R1=(0.3/0.88，0.3/0.88， 0.24/0.88， 0.04/0.88)=(0.34， 0.34， 0.27， 0.05 )。

5．對(duì)劃分的四類(lèi)論文進(jìn)行賦值并計(jì)算分值

表4 論文評(píng)價(jià)賦值及分類(lèi)指標(biāo)

取評(píng)分矩陣G= (95， 85， 75， 65)，則分值F=R1GT=84.77。

由此可得SCI期刊論文A的質(zhì)量屬于“二類(lèi)”，距離“一類(lèi)”還有一定的差距。事實(shí)上在實(shí)際操作中既可以對(duì)論文進(jìn)行“一類(lèi)、二類(lèi)、三類(lèi)、四類(lèi)”的評(píng)定，也可以從SCI期刊論文質(zhì)量的最終得分來(lái)判定論文質(zhì)量。

三、CSSCI/核心期刊論文質(zhì)量評(píng)價(jià)的模糊綜合化改進(jìn)

由于單純“以刊評(píng)文”很難對(duì)科研成果進(jìn)行準(zhǔn)確的評(píng)價(jià)，在社會(huì)科學(xué)領(lǐng)域，近年來(lái)從各大型數(shù)據(jù)庫(kù)及評(píng)價(jià)系統(tǒng)開(kāi)始，作出了各種改善評(píng)價(jià)的努力，在影響因子及被引頻次的基礎(chǔ)上，引入一些具有定性意義但又可以用定量方式表現(xiàn)出來(lái)的指標(biāo)，對(duì)單純的定量指標(biāo)進(jìn)行評(píng)價(jià)，并且落實(shí)到具體的單篇論文評(píng)價(jià)上，在大數(shù)據(jù)運(yùn)用中以模糊綜合化方式進(jìn)行改進(jìn)。基于對(duì)“以刊評(píng)文”現(xiàn)象的糾偏，本文列舉“以文評(píng)人”和“以文評(píng)文”兩類(lèi)嘗試，提出討論與建議。

(一)以文評(píng)人：《中國(guó)哲學(xué)社會(huì)科學(xué)最有影響力學(xué)者排行榜研究報(bào)告：基于中文論文的研究(2017版)》的指標(biāo)體系及運(yùn)用

《中國(guó)哲學(xué)社會(huì)科學(xué)最有影響力學(xué)者排行榜研究報(bào)告：基于中文論文的研究(2017版)》于2017年9月25日由長(zhǎng)安大學(xué)中國(guó)人文社會(huì)科學(xué)評(píng)價(jià)研究中心發(fā)布。該報(bào)告采集了8 100位學(xué)者的中文論文數(shù)據(jù)，發(fā)布三類(lèi)排行榜，其中一級(jí)學(xué)科排行榜3 150人、二級(jí)學(xué)科排行榜7 978人、交叉學(xué)科排行榜4 579人。該排行榜摒棄了以往單純依據(jù)CSSCI或核心期刊論文發(fā)表數(shù)量進(jìn)行排行的傳統(tǒng)做法，引入了更多具有質(zhì)性評(píng)價(jià)性質(zhì)的指標(biāo)。正如該指標(biāo)體系簡(jiǎn)介所稱(chēng)：“學(xué)術(shù)影響力是評(píng)價(jià)科研人員實(shí)力的重要內(nèi)容之一。但是，如何評(píng)價(jià)學(xué)者的學(xué)術(shù)影響力一直是學(xué)界的難題。本排行榜力圖構(gòu)建一套客觀、可重復(fù)、操作性強(qiáng)、多維的評(píng)價(jià)指標(biāo)體系。”[6]具體指標(biāo)如表5所示。

表5 學(xué)者排行榜指標(biāo)體系與權(quán)重分配

資料來(lái)源：《中國(guó)哲學(xué)社會(huì)科學(xué)最有影響力學(xué)者排行榜:基于中文論文的研究(2017版)指標(biāo)體系簡(jiǎn)介》，http://evaluation.chd.edu.cn/info/1003/1271.htm

在上述6個(gè)指標(biāo)中，近五年核心期刊發(fā)文量、他引總量、論文下載量3個(gè)指標(biāo)是傳統(tǒng)型指標(biāo)，具有明顯的量性特征；H指數(shù)、AR指數(shù)、高被引論文篇數(shù)3個(gè)指標(biāo)是特征型指標(biāo)，具有明顯的質(zhì)性特征。在3個(gè)特征型指標(biāo)中，H指數(shù)2005年由美國(guó)加利福尼亞大學(xué)圣地亞哥分校的喬治·希爾施提出，指作者發(fā)表的Np篇論文中有h篇每篇至少被引用了h次，而Np-h篇論文每篇被引次數(shù)均等于或小于h次，H指數(shù)用于綜合評(píng)判學(xué)者的產(chǎn)出數(shù)量與產(chǎn)出水平，將二者結(jié)合起來(lái)可以評(píng)定學(xué)者產(chǎn)出論文的平均被引水平。H指數(shù)自2005年以來(lái)得到廣泛運(yùn)用，但H指數(shù)的靜態(tài)指標(biāo)性質(zhì)，其弊端亦很快顯現(xiàn)出來(lái)，有學(xué)者指出其“缺乏靈敏度，缺乏區(qū)分度，缺乏波動(dòng)性”三個(gè)缺陷，因而提出了用于解決“h指數(shù)只升不降的問(wèn)題”的AR指數(shù)，“AR指數(shù)是在R指數(shù)解決了h指數(shù)的敏感度和區(qū)分度問(wèn)題的基礎(chǔ)上，試圖采用論文發(fā)表年齡這一因變量來(lái)解決h指數(shù)只升不降的問(wèn)題”[7]。在長(zhǎng)安大學(xué)的評(píng)價(jià)體系中，AR指數(shù)的意義在于“借鑒Page Rank算法的思路，將進(jìn)入重要作者的引用認(rèn)同視為同行評(píng)議的肯定性結(jié)果，對(duì)個(gè)體研究人員的學(xué)術(shù)影響力進(jìn)行評(píng)價(jià)”。在數(shù)據(jù)計(jì)算方面，該指標(biāo)體系指出：“由于各指標(biāo)的計(jì)量單位不同，在綜合結(jié)果中產(chǎn)生的影響不同，因此我們對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，以消除計(jì)量單位帶來(lái)的影響。所有指標(biāo)數(shù)據(jù)的綜合處理步驟如下：(1)統(tǒng)計(jì)TN、CN、DN、H指數(shù)和高被引論文篇數(shù)等指標(biāo)值；(2)建立AR矩陣，計(jì)算AR值；(3)對(duì)各指標(biāo)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；(4)運(yùn)用指標(biāo)體系計(jì)算學(xué)者的總體得分；(5)依據(jù)計(jì)算結(jié)果對(duì)各學(xué)科學(xué)者進(jìn)行排名。”

經(jīng)過(guò)我們對(duì)排行榜中部分學(xué)校和學(xué)科入選學(xué)者進(jìn)行同行評(píng)議的抽樣測(cè)評(píng)，由傳統(tǒng)指標(biāo)進(jìn)行量性評(píng)價(jià)再建立AR矩陣的方法，可以避免數(shù)量與質(zhì)量的較大誤差，其評(píng)價(jià)結(jié)果基本上符合同行評(píng)議結(jié)果。

(二)以文評(píng)刊：“中文學(xué)術(shù)出版物評(píng)測(cè)發(fā)布系統(tǒng)”的指標(biāo)體系及運(yùn)用

上文所述“以文評(píng)人”的做法，在傳統(tǒng)量化評(píng)價(jià)基礎(chǔ)上采用AR指數(shù)等進(jìn)行數(shù)據(jù)修正的做法，主要用于評(píng)價(jià)學(xué)者，并避免了產(chǎn)出水平不高和動(dòng)態(tài)分布不均勻等誤差。而南京大學(xué)中國(guó)社會(huì)科學(xué)評(píng)價(jià)研究中心開(kāi)發(fā)的“中文學(xué)術(shù)出版物評(píng)測(cè)發(fā)布系統(tǒng)”，則以論文成果為中心，預(yù)期可以實(shí)現(xiàn)“以文評(píng)刊”，進(jìn)而對(duì)量化評(píng)價(jià)中可能出現(xiàn)的偏頗實(shí)現(xiàn)有力的補(bǔ)救。

南京大學(xué)中國(guó)社會(huì)科學(xué)評(píng)價(jià)研究中心于2018年5月30日向各期刊社發(fā)出“評(píng)審專(zhuān)家邀請(qǐng)函”，邀請(qǐng)相關(guān)專(zhuān)家參與“CSSCI期刊論文測(cè)評(píng)”工作。邀請(qǐng)函中約定的評(píng)審專(zhuān)家入選條件如下：(1)熱愛(ài)社會(huì)主義祖國(guó)，擁護(hù)中國(guó)共產(chǎn)黨的領(lǐng)導(dǎo)；(2)具有上述專(zhuān)業(yè)學(xué)科領(lǐng)域博士學(xué)位或高級(jí)專(zhuān)業(yè)技術(shù)職稱(chēng)；(3)在學(xué)術(shù)出版機(jī)構(gòu)實(shí)際承擔(dān)責(zé)任編輯工作；(4)熱心公益，愿意積極參與CSSCI期刊論文質(zhì)量測(cè)評(píng)工作；(5)每位評(píng)審專(zhuān)家原則上每月應(yīng)完成不低于10篇的論文測(cè)評(píng)；(6)評(píng)審專(zhuān)家年齡一般在55周歲以下。中心隨后組建了兩個(gè)“CSSCI期刊論文評(píng)測(cè)項(xiàng)目”微信群。2018年7月1日，該評(píng)測(cè)項(xiàng)目先期為1 000位專(zhuān)家配置了賬號(hào)，以“中文學(xué)術(shù)出版物評(píng)測(cè)發(fā)布系統(tǒng)”的方式上線進(jìn)行試評(píng)。

和其他期刊評(píng)價(jià)系統(tǒng)公開(kāi)發(fā)布詳細(xì)的評(píng)價(jià)指標(biāo)體系及其權(quán)重、計(jì)算方法等不同，南京大學(xué)中國(guó)社會(huì)科學(xué)評(píng)價(jià)研究中心網(wǎng)站上雖然有“遴選標(biāo)準(zhǔn)”和“遴選程序”兩個(gè)欄目，但均為空白，因而無(wú)法獲得其正式的官方評(píng)價(jià)方法及程序的數(shù)據(jù)。但據(jù)相關(guān)信息透露，CSSCI的指標(biāo)主要是被引頻次和影響因子兩項(xiàng)，分別占不同權(quán)重。換言之，CSSCI的評(píng)價(jià)就是純量化評(píng)價(jià)，這一評(píng)價(jià)長(zhǎng)期以來(lái)受到主張應(yīng)由“學(xué)術(shù)共同體”進(jìn)行評(píng)價(jià)的學(xué)者們的強(qiáng)烈詬病。因而，“CSSCI期刊論文測(cè)評(píng)”項(xiàng)目的出臺(tái)，就是試圖以學(xué)術(shù)共同體同行評(píng)議的方式，對(duì)純量化評(píng)價(jià)進(jìn)行具有質(zhì)性評(píng)價(jià)意義的有力補(bǔ)充。

“中文學(xué)術(shù)出版物評(píng)測(cè)發(fā)布系統(tǒng)”公布的“十分制評(píng)分標(biāo)準(zhǔn)說(shuō)明”[8]，包含權(quán)重相等的4項(xiàng)指標(biāo)，每項(xiàng)評(píng)分均取1至10的整數(shù)值，最后得分為各項(xiàng)平均分，保留到小數(shù)點(diǎn)后兩位。每項(xiàng)指標(biāo)在說(shuō)明中均列出了優(yōu)質(zhì)論文和劣質(zhì)論文的評(píng)分說(shuō)明，而對(duì)中等質(zhì)量的論文未作說(shuō)明。本文根據(jù)其具體評(píng)分說(shuō)明，整理為表6。

上述4項(xiàng)指標(biāo)較好地反映了一篇優(yōu)質(zhì)論文應(yīng)當(dāng)具備的主要元素：創(chuàng)新程度、完備程度、難易程度分別反映了作者在論文構(gòu)思和寫(xiě)作過(guò)程中的主觀因素，成果價(jià)值則是論文完成之后的客觀效果。上述兩個(gè)方面，將論文的主客觀方面良好地結(jié)合起來(lái)，主觀方面通過(guò)論文反映作者的學(xué)術(shù)水平，客觀方面通過(guò)論文反映傳播的社會(huì)效益。

“中文學(xué)術(shù)出版物評(píng)測(cè)發(fā)布系統(tǒng)”首期提供了CSSCI來(lái)源期刊(高校學(xué)報(bào)類(lèi))2018年上半年的18個(gè)學(xué)科的概率抽樣論文253篇。從目前的專(zhuān)家打分來(lái)看，部分論文的得分并不理想。在此舉出兩類(lèi)數(shù)據(jù)(表7)。一是多學(xué)科綜合數(shù)據(jù)。據(jù)2018年7月5日微信群發(fā)布的數(shù)據(jù)，已評(píng)篇數(shù)198篇，最高分8.59分，最低分3.35分，無(wú)優(yōu)質(zhì)論文，集中于5至7分(139篇，占70%)，劣質(zhì)論文雖然僅有24篇，但其12%的比例已經(jīng)頗為驚人。二是單學(xué)科數(shù)據(jù)。以中國(guó)語(yǔ)言文學(xué)為例，相對(duì)于其他學(xué)科而言，中國(guó)語(yǔ)言文學(xué)屬于低影響因子學(xué)科。從2018年7月17日已評(píng)篇數(shù)30篇(其中已有10人評(píng)分的21篇，最少評(píng)測(cè)人數(shù)4人)的數(shù)據(jù)看，極度缺乏優(yōu)質(zhì)論文，最高分僅8分；但劣質(zhì)論文也相對(duì)較少，最低分4.30分，5分以下僅2篇，占比7%；主要為中等質(zhì)量論文，5至7分段24篇，占比高達(dá)80%。

表7 CSSCI論文評(píng)測(cè)抽樣評(píng)測(cè)得分表

從表7看，學(xué)報(bào)論文抽樣質(zhì)量并不理想，作為全國(guó)高校文科學(xué)報(bào)質(zhì)量水平體現(xiàn)的70種CSSCI來(lái)源期刊幾乎沒(méi)有優(yōu)質(zhì)論文，且7分以上的論文比例不到20%，大量論文僅為中等質(zhì)量之作，甚至有比例不低的劣質(zhì)論文充斥版面，這不得不引起人們的深思。

近年來(lái)，對(duì)于核心或C刊“以刊評(píng)文”一直存在兩個(gè)方面不同的聲音。一方面，管理部門(mén)在以C刊發(fā)表論文作為科研成果質(zhì)量認(rèn)定標(biāo)準(zhǔn)方面，出現(xiàn)了驚人的一致；由此延伸開(kāi)來(lái)，在以文獻(xiàn)計(jì)量學(xué)方法總結(jié)歸納研究現(xiàn)狀時(shí)，人們也往往將CSSCI來(lái)源期刊或核心期刊作為文獻(xiàn)來(lái)源，比如一篇文章就在闡釋其“數(shù)據(jù)來(lái)源”時(shí)指出：“要探尋我國(guó)高等教育領(lǐng)域?qū)W科建設(shè)研究的演變過(guò)程，需要借助高質(zhì)量的相關(guān)文獻(xiàn)進(jìn)行分析。本研究選取了北大核心收錄的14種高等教育類(lèi)期刊作為文獻(xiàn)來(lái)源，以提高研究的信效度。”[9]在這樣的“信效度”前提下，C刊或核刊的地位不言而喻，應(yīng)該說(shuō)在一定程度上不僅得到了管理部門(mén)的認(rèn)可，也得到了至少是以文獻(xiàn)計(jì)量學(xué)方法觀察學(xué)術(shù)史的“學(xué)術(shù)共同體”的認(rèn)可。另一方面，部分期刊利用量化評(píng)價(jià)的系統(tǒng)漏洞，大量發(fā)表以斂財(cái)為宗旨的劣質(zhì)論文，同時(shí)又利用聚斂的錢(qián)財(cái)高價(jià)購(gòu)買(mǎi)少量?jī)?yōu)質(zhì)論文，并運(yùn)用不當(dāng)引用手段推高數(shù)據(jù)，導(dǎo)致在以單純的數(shù)據(jù)評(píng)價(jià)中能夠“魚(yú)目混珠”進(jìn)入C刊或核刊，這部分期刊雖然在學(xué)術(shù)界臭名遠(yuǎn)揚(yáng)，但仍然以C刊或核刊的資格而得到了多數(shù)機(jī)構(gòu)量化管理的認(rèn)可。僅有個(gè)別機(jī)構(gòu)采取了“黑名單”的方式，如中山大學(xué)在《中山大學(xué)人文社會(huì)科學(xué)重要核心期刊目錄(境內(nèi)中文)》中，就明確列出了CSSCI來(lái)源期刊的“黑名單期刊16種”及CSSCI擴(kuò)展版“黑名單期刊2種”[10]。

學(xué)術(shù)界及期刊界對(duì)“以刊評(píng)文”有著強(qiáng)烈的反彈，如劉慶昌認(rèn)為：“以刊評(píng)文更大的問(wèn)題在于學(xué)術(shù)評(píng)價(jià)部門(mén)和機(jī)構(gòu)對(duì)具體成果及其研究者的相對(duì)輕視。之所以如此說(shuō)，是因?yàn)橐钥u(píng)文的原理就是只問(wèn)研究成果發(fā)表的刊物性質(zhì)，而不問(wèn)研究者究竟做了什么。學(xué)術(shù)研究的創(chuàng)造問(wèn)題、規(guī)范問(wèn)題和道德問(wèn)題，研究者的學(xué)養(yǎng)、理想問(wèn)題，都不在學(xué)術(shù)評(píng)價(jià)部門(mén)和機(jī)構(gòu)的考慮之列。一種不見(jiàn)學(xué)術(shù)、不見(jiàn)人的學(xué)術(shù)評(píng)價(jià)方略當(dāng)然是值得商榷的。”[11]以此來(lái)看，“評(píng)刊”的最終歸宿是“評(píng)文”，而“評(píng)文”則必將走向“評(píng)人”，學(xué)術(shù)共同體重視的是學(xué)術(shù)研究的具體內(nèi)容與觀點(diǎn)，其落腳點(diǎn)顯然更應(yīng)該是在作為學(xué)術(shù)研究主體的“人”與作為學(xué)術(shù)研究成果的“文”上面，而“刊”的作用主要是作為學(xué)術(shù)研究的載體而存在。

按照應(yīng)然性的推論，C刊發(fā)表的都應(yīng)該是有相對(duì)較高水平的學(xué)術(shù)論文，而從本文上述評(píng)測(cè)抽樣得分可見(jiàn)，雖然多數(shù)論文都得到了5分及以上的合格分，但抽樣中5分以下的已占到了16%，對(duì)于C刊來(lái)說(shuō)，這是一個(gè)相當(dāng)高的比例。“如果高校和研究機(jī)構(gòu)的管理部門(mén)，簡(jiǎn)單采用以刊評(píng)文的方法，那么，‘好班里的差生’因在‘好班’，也就自然成為‘好學(xué)生’；同樣的，‘差班里的好學(xué)生’也會(huì)因在‘差班’，自然成為‘差生’。雖然這種情況出現(xiàn)的概率較低，但只要有一例，就說(shuō)明可能有這一類(lèi)情況，那么，以刊評(píng)文的辦法就是不可取的”[11]。因而，以評(píng)刊的基本數(shù)據(jù)為基礎(chǔ)，回歸到“文”并進(jìn)而回歸到“人”的層面，才是最大限度確保學(xué)術(shù)評(píng)價(jià)公正性的必要途徑。

(三)運(yùn)用模糊綜合評(píng)判法“評(píng)刊”進(jìn)而“評(píng)文”與“評(píng)人”

在本文討論SCI期刊論文評(píng)價(jià)部分，我們提出了模糊綜合評(píng)判法的運(yùn)用，由此得出SCI期刊論文質(zhì)量的最終得分，并以此判定SCI論文質(zhì)量的好壞。在人文社會(huì)科學(xué)領(lǐng)域，也有學(xué)者提出運(yùn)用判斷矩陣方法，獲得從目標(biāo)層到準(zhǔn)則層、準(zhǔn)則層到指標(biāo)層的判斷矩陣數(shù)據(jù)，進(jìn)行歸一化處理，并進(jìn)行一致性檢驗(yàn)，最后得出“學(xué)術(shù)成果質(zhì)量相對(duì)于各個(gè)評(píng)價(jià)指標(biāo)的表達(dá)式”[12]。人文社科的評(píng)價(jià)與自然科學(xué)評(píng)價(jià)在總的原理上相似，本文已列出SCI期刊論文評(píng)價(jià)的計(jì)算方式，此處不再贅述。

需要說(shuō)明的是，無(wú)論是SCI期刊還是CSSCI來(lái)源期刊，無(wú)論期刊數(shù)據(jù)庫(kù)是否認(rèn)可其自身的評(píng)價(jià)功能，都應(yīng)自覺(jué)承擔(dān)起凈化期刊學(xué)術(shù)環(huán)境的責(zé)任，在數(shù)據(jù)開(kāi)發(fā)與運(yùn)用的過(guò)程中自覺(jué)承擔(dān)起反對(duì)和防范“劣幣驅(qū)逐良幣”學(xué)術(shù)失范的責(zé)任。在此，筆者針對(duì)期刊提出兩點(diǎn)思考。

第一，處理好“刊”作為屬概念與“文”作為種概念的關(guān)系。“刊”是屬，呈現(xiàn)給人們的是整體印象；“文”是種，呈現(xiàn)給人們的是個(gè)體印象。期刊之所以能夠進(jìn)入評(píng)價(jià)體系并體現(xiàn)評(píng)價(jià)功能，在于期刊的總體質(zhì)量通過(guò)整體數(shù)據(jù)而得到認(rèn)可，進(jìn)而推論出“屬”中的“種”與“屬”有著相關(guān)性和一致性，進(jìn)而驗(yàn)證“以刊評(píng)文”的合理性。然而，個(gè)別期刊利用計(jì)量方法的漏洞，發(fā)表了一些劣質(zhì)論文，“好班”里混進(jìn)了“差生”，導(dǎo)致期刊聲譽(yù)下降，這也是“以刊評(píng)文”受到詬病的重要原因。因而，本文認(rèn)為，期刊應(yīng)有明確的學(xué)術(shù)質(zhì)量底線意識(shí)，設(shè)立最低限制，將劣質(zhì)論文擋在門(mén)外，編輯和評(píng)審專(zhuān)家都應(yīng)本著“把每一篇文章做成精品”的學(xué)術(shù)精品意識(shí)，讓每一篇文章都能夠經(jīng)得起評(píng)測(cè)的檢驗(yàn)。

第二，處理好“刊”作為傳播平臺(tái)與“文”作為傳播內(nèi)容的關(guān)系。在21世紀(jì)傳播方式變遷中，“‘以傳者為本位’的傳播思想真正轉(zhuǎn)變到了‘以受者為本位’上來(lái)”[13]。期刊的核心功能定位在于傳播平臺(tái)，站在期刊的立場(chǎng)上，重視的是“以傳者為本位”；論文的核心功能定位在于傳播內(nèi)容，站在論文的立場(chǎng)上，重視的是“以受者為本位”。在當(dāng)下傳播大勢(shì)下，論文即單篇的“文”理應(yīng)受到更多的重視，也就是說(shuō)，不僅要重視期刊的影響因子，更要重視單篇論文的被引頻次以及被引質(zhì)量。這就要求，期刊編輯在從策劃到收稿、審稿、錄用的流程中，有必要對(duì)論文的傳播質(zhì)量進(jìn)行預(yù)評(píng)估，以此作為編輯出版工作的重要依據(jù)。同時(shí)，還要做好論文傳播質(zhì)量的精細(xì)化數(shù)據(jù)分析，以此作為編輯出版工作的相關(guān)依據(jù)。

四、結(jié)語(yǔ)：“以人為本”創(chuàng)新期刊論文質(zhì)量評(píng)價(jià)

在一切圍繞期刊和學(xué)術(shù)研究的工作中，都需要貫徹“以人為本”的基本原則，但也必須要有可以橫向比較的數(shù)據(jù)基礎(chǔ)，“以刊評(píng)文”就是基于數(shù)據(jù)可比較性而出現(xiàn)的，其后出現(xiàn)的種種問(wèn)題，說(shuō)明無(wú)論是期刊評(píng)價(jià)還是學(xué)術(shù)評(píng)價(jià)，都是一個(gè)復(fù)雜系統(tǒng)，有些可以量化分析，有些則不便運(yùn)用純量化手段，因而需要運(yùn)用模糊綜合評(píng)判法來(lái)進(jìn)行處理，在歸一化處理和一致性檢驗(yàn)的基礎(chǔ)上，充分尊重學(xué)術(shù)研究的個(gè)性化特征與創(chuàng)新性思維，做出更加科學(xué)合理且具有充分可執(zhí)行性的基于“刊”的平臺(tái)功能并以“文”和“人”為本位的評(píng)價(jià)，促進(jìn)科學(xué)研究的良性發(fā)展。