基于核心功能的學術期刊質(zhì)量評價指標體系框架探討

葉繼元， 袁曦臨

(1.南京大學 信息管理學院，江蘇 南京 210023；2.東南大學 經(jīng)濟管理學院，東南大學 情報科技研究所，江蘇 南京 211189)

學術期刊是發(fā)表研究成果的陣地，是傳播新知識，促進科學發(fā)展和社會進步的得力工具。學術期刊質(zhì)量評價多年來一直被學界、期刊界和出版管理部門所重視，近幾年中央連續(xù)頒布了一系列有關學術評價、學術誠信等的文件，一方面強調(diào)要破“四唯”“五唯”“SCI至上”，另一方面呼吁要回歸同行評議，分類評價、實行代表作制、定性定量相結合的綜合評價方式等，要“構建具有自身特質(zhì)的學術評價體系”[1]。然而，如何完善同行評議，如何通過學術共同體充分交流、爭鳴形成內(nèi)部相對公認的學術“標準”，并以此來確認代表作，如何綜合定性與定量評價，加快構建中國特色的學術評價體系等問題，已引起學界、期刊界等的熱烈討論。“破”舊的評價體系相對容易，但“立”新的評價體系則困難得多。學術期刊評價體系是整個學術評價體系重要組成部分，學術期刊具有將學者、最新研究成果及其評價融入一體的獨特功能，因此從學術期刊評價入手，有助于整個評價體系的重構。迄今為止全國性大規(guī)模的學術期刊質(zhì)量評價工作尚未開展。原因固然很多，但沒有構建一個相對公認、科學、合理的學術期刊質(zhì)量評價指標體系無疑是一大原因。所謂指標，是指意圖要達到的指數(shù)、規(guī)格或標準。所謂指標體系是指若干級指標組成的有機體。指標及其指標體系是構成評價體系的基礎，是評價標準的具體化，是評價體系中的核心內(nèi)容。制定科學、合理的指標和指標體系是實現(xiàn)評價目的的關鍵環(huán)節(jié)。環(huán)顧國內(nèi)外有影響的學術評價實踐，無不在設計指標體系上下足功夫。沒有好的指標體系就不可能有好的評價體系。目前全國高校和學術機構正在落實中央破“四唯”“五唯”“SCI至上”精神，修改包括本單位認可的重要學術期刊或“高質(zhì)量”學術期刊目錄等考核、評價文件，但本單位的學者根據(jù)何種學術標準和指標來篩選期刊，是以計量方法為主評出的核心期刊或引文庫來源期刊為標準，僅換個“馬甲”，貼個新“標簽”，還是由幾個管理者與專家在原有期刊目錄基礎上加入自以為“質(zhì)量”好的期刊而形成新的目錄？如果這樣，那會存在重蹈覆轍或比原有評價體系更壞的風險。因此，回歸學術期刊核心功能，集中全國學術共同體的主流意見，凝聚學術標準及其他共識，逐漸重構學術期刊質(zhì)量評價指標體系與整個評價體系，無疑是目前急需解決的重要問題。這不僅對學術評價理論研究，而且對學術期刊評價實踐均具有重要意義。

一、以往主要研究回顧

回顧歷史，直至1972年影響因子才在ISI《期刊引用報告》(JCR)中第一次被正式提出，1987年國內(nèi)科學界才開始采用國際通用的計量指標進行科研績效的統(tǒng)計和評估。有觀點認為影響因子和SCI促成了中國科研體制中現(xiàn)存的種種弊端，這是片面和有失公允的。1993年南京大學校長曲欽岳院士認為基礎性的研究成果要通過國際同行評議，在國際性學術刊物上發(fā)表論文，才能判斷是否達到國際水平。因此，影響因子等評價指標在相當一段時間內(nèi)確實起到了引領中國基礎學科研究水平的作用[2]。然而，伴隨核心期刊、影響因子等概念越來越多進入科研管理之中，濫用和誤用的現(xiàn)象隨之出現(xiàn)。1994年后筆者即撰寫了《文科“學術榜”與核心期刊芻議》[3]、《關于“核心期刊”與“SCI期刊”的思考》[4]、《核心期刊研究縱橫》[5]等一系列論文，討論和分析核心期刊在學術評價中的使用和適用問題，提出對核心期刊引入學術評價要冷靜思考，“對核心期刊不能絕對化，非核心期刊中也有好論文”[6]。2000年之后，陸續(xù)發(fā)表《論文評價與期刊評價》[7]，《高校文科科研定性定量評價與學術發(fā)展》[8]，《學術期刊的評價與學術研究質(zhì)量的提高》[9]等，反復強調(diào)影響因子只是期刊評價的一個重要量化指標，但不是唯一指標，必須結合其他量化指標使用，尤其要和同行評議，專家的定性評價相結合。期刊質(zhì)量評價在本質(zhì)上不同于近年來國內(nèi)盛行的核心期刊、引文庫來源期刊等的評價，盡管二者有強相關性，但在評價目的、主體、方法等要素上均有顯著不同。如何有別于核心期刊、來源期刊的評價指標體系，如何回歸學術期刊的原本核心功能，側重于期刊內(nèi)容及其效用來重構新的指標體系，以評促進，是進行學術期刊質(zhì)量評價的前提和關鍵環(huán)節(jié)。

早在2010年7月和12月，原出版總署分別頒布了《報紙期刊出版質(zhì)量綜合評估辦法(試行)》(以下簡稱“評估辦法”)和《全國報紙期刊出版質(zhì)量綜合評估指標體系(試行)》(以下簡稱“指標體系”)。這兩個文件盡管集中在“出版”質(zhì)量，但由于對“出版”的含義是廣義理解，既包括編輯、出版形式、裝幀等，也包括期刊的學術水平等，故出版質(zhì)量與期刊質(zhì)量并無實質(zhì)性區(qū)別。這些文件考慮到了學術期刊質(zhì)量評價的一些特點，比以往的評價設計有很大進步，但在評價目的、主體、客體、方法、標準及指標、制度等方面還存在不少問題。一些專家、學者，包括筆者都曾對《評估辦法》和《指標體系》進行了評價和探討[10-12]，筆者曾強調(diào)，要重視學術期刊特點來評價，要明確評價目的，對過分量化、簡單化的傾向要提出富有建設性的意見和建議。2013年，筆者應用學術“全評價”理論，針對學術期刊評價中存在的質(zhì)量和創(chuàng)新力評價弱化、過分數(shù)量化、過分形式化、過分行政化、評價主體淡化、評價結果軟化等問題，分析其產(chǎn)生的社會、經(jīng)濟、文化等原因，提出過“三面三力”的期刊質(zhì)量評價指標體系框架。所謂“三面”，即形式面、內(nèi)容面和效用面；“三力”，即潛力、實力和效力。每個“力”下，一般可再分為若干個小“力”。比如“潛力”可再分成支撐力、學術素養(yǎng)力等，“實力”可分成創(chuàng)新力、準確力和解釋力等，“效力”則可分成精神(思想)啟發(fā)力、物質(zhì)貢獻力和文明推動力等。“三面”是所有學術期刊所具有的共性，而“三力”則允許有個性、有變通，且指標的解釋也可不同。筆者與研究團隊曾應用“全評價”理論對法學、圖書館學學術期刊質(zhì)量進行過示范性評價[13]。

2019年11月中國科協(xié)、財政部、教育部、科技部、國家新聞出版署、中國科學院、中國工程院發(fā)布《關于組織實施中國科技期刊卓越行動計劃有關項目申報的通知》，開展科技期刊綜合評價方法研究，以切實推動我國科技期刊高質(zhì)量發(fā)展，加快培育世界一流科技期刊步伐，建設“高質(zhì)量”學術期刊。2020年下半年，中宣部出版局首次選取全國100種社科學術期刊，委托專業(yè)機構進行內(nèi)容質(zhì)量檢查，今年下半年將繼續(xù)進行。這些都說明，學術期刊質(zhì)量評價問題已經(jīng)提到了議事日程上來。

從國外研究看，國外學術期刊界、出版界、學術界最近幾年針對影響因子至上、“唯”的問題也進行了探討，發(fā)表過《舊金山宣言》(The San Francisco Declaration on Research Assessment，DORA)和《萊頓宣言》(Bibliometrics: The Leiden Manifesto for research metrics)。2017年在荷蘭萊頓召開有關學術評價會議，參加人員有評價專家、科學家、文獻計量學者、期刊出版者、學會代表、基金提供者、決策者等，會后代表們聯(lián)合提出倡議要求改革學術期刊評價。2019年5月28日該倡議被命名為《反思影響因子：尋找評價學術期刊的更好方法》[14]在國際著名期刊Natuer上發(fā)表。該倡議認為，期刊質(zhì)量不能用影響因子一個指標而應該用一組指標來評價，一組指標應對標期刊的所有功能。期刊質(zhì)量評價的新方案應該有一套研制規(guī)則，建議成立一個國際性監(jiān)管機構來實施。這說明期刊質(zhì)量評價和質(zhì)量評價指標體系的設計受到國際同行的重視，也從一個側面反映出這是一個國際性難題。

有鑒于此，筆者在吸收國內(nèi)外有關研究成果的基礎上，仍然運用學術“全評價”分析框架，重點是回歸學術期刊的核心功能，在成果注冊、存檔、定位策劃、稿件評價、推薦傳播、培育學術新人、價值效益上來重構學術期刊質(zhì)量評價指標體系框架，為開展期刊質(zhì)量評價，打造中國高質(zhì)量期刊打下堅實的基礎。

二、重構的理由

期刊出版作為科學研究活動的一個重要環(huán)節(jié)，是學術交流的核心平臺，其成果能夠記錄和反映科學研究的理論前沿、實踐創(chuàng)新以及重要發(fā)現(xiàn)。因此對于學術期刊的評價并不僅僅是對一個出版物的評價，其重要性在于對學術研究和學術發(fā)展會產(chǎn)生深遠影響。為何要重構指標體系，主要有兩個理由。一是核心期刊/來源期刊等的評價不是期刊質(zhì)量評價，盡管二者有正相關性；二是期刊質(zhì)量主要與期刊的性能和功能有關，但還與用戶對其價值和效益的感知有關。

1.核心期刊/來源期刊的評價不是期刊質(zhì)量評價

核心期刊/來源期刊的評價主要根據(jù)布拉德福文獻集中與分散經(jīng)驗定律和加菲爾德引文定律，布氏定律與管理學的二八率極為相似，反映的是少數(shù)專業(yè)或領域期刊集中了該專業(yè)或領域大量信息，與相關期刊、邊緣期刊等有一定的比例。在核心期刊上密集的論文，一般都經(jīng)過同行評議后才正式發(fā)表的，因此這些論文要比沒有通過評審的稿件的“質(zhì)量”要高，但并非正式發(fā)表的論文質(zhì)量一定都高，不同的期刊有不同的出版標準，發(fā)表出來的論文水平是有差別的。加氏定律是指大量分散的各學科專家、同行的引用信息的分布符合布氏定律，因此加氏定律是布氏定律的派生和發(fā)展。“引文”既包含“同行評議”要素，又能計量，是一個既可定性(同行評議)又可定量的指標。但它同樣不能完全等同于圍繞一定的評價目的同行對期刊質(zhì)量的“直接評價”。這兩個定律與期刊“質(zhì)量”有相關性，且有正相關性，但“正”相關性并不完全等于“質(zhì)量評價”。否定他們與質(zhì)量毫無關聯(lián)，或者相反，認為就是“質(zhì)量”評價，都是片面的。從這個意義上說，在本質(zhì)上布氏定律和加氏定律指導下的核心期刊評價不能完全反映學術期刊的質(zhì)量。

這一觀點在國際學界上是達成共識的。早在2007年11月，歐洲科學編輯學會(EASE)就發(fā)表聲明，建議期刊影響因子僅僅被用于或?qū)徤饔糜诤饬亢捅容^整個期刊而不是單篇論文，更不能用于對研究者或研究項目的評價上。2012年12月美國細胞生物學學會年會期間，一些學術期刊的編輯和出版者提出反思科研評價問題，在此基礎上形成了“舊金山宣言”，呼吁科學界停止使用期刊影響因子等期刊計量指標，直接用于評價單個研究論文或?qū)W者個體的貢獻，或作為聘用、晉升、資助等方面的依據(jù)。2013年5月，有78個科學組織的155位科學家簽署了這份宣言。2015年3月，由歐洲21個最知名的大學組成的歐洲研究型大學聯(lián)盟(League of European Research Universities)聲明支持該宣言。《科學》雜志撰寫社論支持“舊金山宣言”。2017年4月Nature Research正式簽署了舊金山宣言[15]。

最近幾年，中國教育部、科技部等發(fā)布一系列有關改進學術評價的意見，明確提出要反“四唯”“五唯”“SCI至上”，其實質(zhì)都是要求在評價中避免片面化和絕對化。包括影響因子在內(nèi)的引用數(shù)據(jù)不是評價期刊的唯一指標，要合理使用引文等文獻計量數(shù)據(jù)。這些與國際學界主流觀點是相吻合的。因此，重構學術期刊質(zhì)量評價指標體系具有正當性。

2.期刊質(zhì)量主要與期刊的性能和功能、價值和效益有關

什么是質(zhì)量(quality)？國內(nèi)外有各種定義。按照ISO(國際標準化組織)的定義，質(zhì)量是“一組固有特性滿足要求的程度”。或者被定義為：質(zhì)量是反映實體滿足明確或隱含需要能力的特性總和。這里的“特性”是指事物所特有的性質(zhì)，“固有特性”就是事物本來就有的屬性。這些固有特性的要求大多是可測量的。質(zhì)量是反映事物、產(chǎn)品或工作的優(yōu)劣程度的指標。其內(nèi)容十分豐富，是動態(tài)發(fā)展的。同時，質(zhì)量又是一個綜合的概念，不僅包括其預期的功能和性能，而且還涉及用戶對其價值和利益的感知[16]。質(zhì)量與性能、功能有密切關聯(lián)。因此，學術期刊質(zhì)量評價，以學術期刊的核心功能為主，構建評價指標體系有其合理性和科學性。

根據(jù)國際期刊界的觀點，自1665年世界上最早學術期刊之一、且壽命最長的《哲學匯刊》創(chuàng)刊350多年來，學術期刊的核心功能基本沒有什么變化。學術期刊始終具有五大核心功能，一是注冊功能(Registering)，即通過出版，期刊將作品中的知識產(chǎn)權、日期與作者聯(lián)系起來，這可以用來確定優(yōu)先權。二是策劃功能(curating)，即通過編輯和其他同行的評審，錄用稿件被挑選出來并放在一個集合中，這個集合標志論文之間的聯(lián)系，并劃出一個學術領域的理論和方法的范圍。類似于我們常說的，制定期刊發(fā)展戰(zhàn)略、工作方針、層次定位、用稿范圍、編輯標準等。三是評價功能(Evaluating)，即在來稿出版前通過同行評議，根據(jù)幾個標準(如質(zhì)量和新穎性)對稿件進行評價，看是否達到發(fā)表水平。作者可從同行專家那里得到反饋的評價意見。通過出版，期刊證明作品已被評價過；稿件出版后期刊繼續(xù)通過發(fā)布更正和撤稿來履行其評價職能。比如，近幾年醫(yī)學、生物學期刊的撤稿事件就是出版后的評價結果。四是傳播功能(Disseminating)，即通過將工作公開，期刊正式將論文分發(fā)給專家社區(qū)；通過開放訪問和其他交流工具，期刊將論文提供給更廣泛的社區(qū)。隨著網(wǎng)絡技術的發(fā)展，學術期刊的傳播廣度、深度以及傳播效率都有了質(zhì)的飛躍；五是存檔功能(Archiving)，即通過將論文與適當?shù)脑獢?shù)據(jù)聯(lián)系起來，并使其在網(wǎng)上、索引和數(shù)據(jù)庫上可利用，期刊有助于永久性保留學術記錄和方便發(fā)現(xiàn)[13]。

中國的學術期刊晚于國外近二百年，但一百多年來，尤其是近40年來，數(shù)量發(fā)展很快，具有正式連續(xù)出版物編號的期刊就有一萬種左右，不少期刊亦發(fā)展出自身的特色。比如具有育人功能，即利用期刊平臺對學術新人的稿件格外重視，只要新人的稿件在某個方面有新穎或可取之處，就幫助作者不斷修改稿件，直到達到發(fā)表水平。許多著名學者，回憶起首次在學術期刊上發(fā)表論文時，都十分感謝期刊編輯對稿件的修改和建議。又如，有的期刊定位于應用研究或技術實踐，有的則突出理論研究。除了期刊核心功能外，期刊的效益、價值也是質(zhì)量的重要標志，因此，期刊的社會效益與影響、經(jīng)濟效益與影響、學術價值等在設計新指標時都應納入其中。鑒于目前學術期刊發(fā)展迅速，學術期刊也正在成為傳播數(shù)據(jù)、方法和其他數(shù)字對象的平臺，期刊影響因子等指標是基于引文的，僅能反映期刊功能的有限方面，因此在新的學術交流環(huán)境下制定新的指標尤為重要。

2014年在荷蘭萊頓召開的一次國際會議，美國佐治亞理工學院教授西格斯(Diana Hicks)在《自然》雜志上發(fā)表題目為“書目計量學：萊頓研究計量宣言”，在肯定量化評價作用的同時，強調(diào)量化評價需要與質(zhì)化評價有機結合。《萊頓宣言》總的原則可以概括為4個主要方面：基于指標的量化評估是輔助性的，而基于同行評議的質(zhì)性評估是主導性的。量化評估應支撐質(zhì)化的專家評估，而不是取而代之；量化指標可以降低同行評議中的偏見并促進更為深入的審議[17]。在《萊頓宣言》總則下，去衡量一種學術期刊的質(zhì)量就應基于學術期刊的使命、目標和職能，指標的選擇和應用的方式應該考慮更為廣泛的社會、經(jīng)濟、文化環(huán)境，以及地域性的差異、學科性的差異和個體性的差異。

三、理論依據(jù)與構建原則

學術“全評價”理論(AFES：Academic Full Evaluation System)是筆者作為主持人完成的國家社科重大項目《建立和完善哲學社會科學評價體系研究》的一項成果。2010年在《南京大學學報》發(fā)表了《人文社會科學評價體系探討》，正式提出“全評價”體系分析框架[18]。概言之，“全評價”體系或理論就是六大要素、三大維度與若干條推論。六大要素是說，任何一個有組織的評價體系，至少由評價主體、評價客體、評價目的、評價方法、評價標準及指標、評價制度六大要素組成，每一大要素又由多個較小的要素組成。要素之間相互作用、影響。其中，評價目的最為重要，它決定著其他五大要素及其他要素的選擇。評價主體是指學者、專家、學術同行、學術共同體，學術機構(大學、研究院所)、學術期刊、網(wǎng)站、科研管理部門(基金委、社科司、科研處)等，評價主體的選擇應依評價目的而定。評價客體即評價的對象，包括學術期刊、學術圖書、學術機構、學者等，每一評價客體又可以分成若干類型，分類評價或跨類評價，也視評價目的而定。評價方法主要指定性、定量和定性定量綜合法三大塊。評價標準及指標是評價體系的核心，它也受制于評價目的。評價制度包括評價專家遴選制度、監(jiān)督制度、評價對象申訴制度、評價結果公示制度、反饋制度、評價結果共享制度、第三方獨立評價制度等。三大維度是指，任何一個評價客體，均可從形式、內(nèi)容和效用三個層面去測度，即形式評價、內(nèi)容評價和效用評價。每一個維度或?qū)用嬉部梢钥闯墒且患壷笜耍患壷笜讼驴梢灾鸩椒纸獬龆⑷壷笜恕Ｈ舾赏普撝饕侵浮霸u價目的制約論”“同行專家主導論”“定性定量方法互補論”“評價制度保障論”等。“全評價”體系是在充分吸收國內(nèi)外學術評價理論和實踐成果基礎上，提出的一個組成要素較為全面、層次分明、邏輯較為嚴密的哲學社會科學評價體系框架，對評價的歷史、現(xiàn)狀具有很強的解釋性，對評價的未來發(fā)展有預測性。此論甫一提出，得到學界同仁的認可[19]；《新華文摘》《高等學校文科學術文摘》《光明日報》《中國社會科學報》[20]和國家社科基金全國哲學社會科學規(guī)劃辦公室網(wǎng)站也進行了文摘、轉載和報道。此后“全評價”體系被學界相關同行在學術期刊、學術圖書、學術網(wǎng)站等實際評價上加以應用，如《中國人文社會科學期刊綜合評價體系的建構與實踐》[21]《基于學術評價的檔案學經(jīng)典著作指標分析》[22]等，證明了“全評價”體系相較于單純的形式評價具有更多合理性和科學性。相較于國外《舊金山宣言》《萊頓宣言》中的主要觀點，“全評價”體系提出的更早、更具邏輯性。“全評價”體系有助于使破“四唯”“五唯”落實到實處。

事實上，任何一個指標體系都是在社會歷史環(huán)境中迭代更新、不斷變化和發(fā)展的；既需要吸收以往指標體系中合理指標，又需要設計出滿足新需求的新指標。隨著2001年《布達佩斯開放獲取倡議》提出“開放獲取期刊”模式后，越來越多的傳統(tǒng)研究機構與協(xié)會、出版社、圖書館、商業(yè)出版機構、OA專業(yè)組織及非專業(yè)的個人學者研究與探索OA期刊的出版。OA期刊的經(jīng)營模式主要采用作者支付文字處理費用模式(APC)，在一定程度上擺脫了傳統(tǒng)期刊由用戶訂閱的模式。2020年OA出版數(shù)量首次超過傳統(tǒng)訂閱出版。NATURE、SCIENCE等頂級學術期刊紛紛加入開放出版行列。OA出版論文保持著10%以上的年增長率，已經(jīng)成為主流的出版模式。OA期刊給數(shù)字網(wǎng)絡時代的研究者提供了更為廣泛的發(fā)表研究成果的空間，大大加速和促進了學術的交流與傳播；但另一方面，OA期刊也面臨質(zhì)量不穩(wěn)定的問題。作者付費的資金問題與論文學術質(zhì)量問題的雙重壓力成為OA期刊能否長期生存的關鍵。

目前學術期刊質(zhì)量評價在認識上存在概念模糊和混淆的問題，缺乏全面和與時俱進的理解，缺乏對學術期刊核心功能和價值的考慮。很多評價僅僅是對學術期刊的某一方面的評價，而不是真正的、全方位的質(zhì)量評價。本研究所構建的指標體系著眼于回歸學術期刊本位，從學術期刊的核心功能出發(fā)，強調(diào)整體性、系統(tǒng)性和通用性。在通用性基礎上再根據(jù)不同學科、類型期刊的特點設計個性化特色指標。

1.時代性原則

2019年，中國科協(xié)、中宣部、教育部、科技部四部委聯(lián)合印發(fā)《關于深化改革培育世界一流科技期刊的意見》，提出“到2035年，我國科技期刊綜合實力躍居世界第一方陣，建成一批具有國際競爭力的品牌期刊和若干出版集團，有效引領新興交叉領域科技發(fā)展，科技評價的影響力和話語權明顯提升，成為世界學術交流和科學文化傳播的重要樞紐”的目標；學術期刊的質(zhì)量，概略地說是指學術期刊符合一些既定的辦刊標準或達到辦刊目標的程度，涉及到期刊編輯、學術、出版、發(fā)行等各個方面的水準或質(zhì)量，其中尤以期刊的學術質(zhì)量為主要。盡管文件是針對“科技期刊”，人文社科期刊更具有特點，但文件精神對人文社科期刊無疑也具有重要參考價值。

現(xiàn)代國際期刊出版的模式和過去相比，有了非常巨大的變化，現(xiàn)代學術期刊的建設和發(fā)展是以主編和外審專家隊伍為主的。學術期刊是聯(lián)系作者、審稿者、編者、讀者的跨越各個單位的“社會學術機構”或某學科、多學科的學術共同體，其工作模式是一種分散的合作的開放性的形式，往往主編和審稿專家隊伍非常強大，經(jīng)費來源也日益國際化，傳播渠道日趨多樣。我國目前的學術期刊，特別是人文社科學術期刊尚存在學術性不強、審稿制度不全、國際學術影響不大等問題，針對這些問題，需要通過設置相應的指標和權重，諸如策劃能力、獨立風格、創(chuàng)新指數(shù)、專家審稿人數(shù)、審稿嚴格程度等指標，使這些指標能對期刊的常態(tài)工作發(fā)揮導引作用，促進整體期刊水平提高。本指標體系正是對目前學術期刊單一評價現(xiàn)狀的一種修正。例如，圍繞策劃的指標可以考慮編輯委員會的專業(yè)知識和來源的多樣性，以及稿件的接受率和接受標準的透明度。隨著開放科學(open science)和獨立分析(independent analysis)的發(fā)展，圍繞數(shù)據(jù)的指標(如數(shù)據(jù)引用或報告標準)將變得更加重要。與評價研究有關的一些指標可以考慮評價過程的透明度，同行評審專家的數(shù)量和多樣性及其及時性等。

2.功能性原則

學術期刊是以學術生產(chǎn)和傳播為服務對象，其主要功能是提供各學科最前沿的思想理論和學術文化，及時反映國內(nèi)外學術界的最新動態(tài)，搭建學術研究和學術交流的平臺。因而學術性是學術期刊的核心，是學術期刊的命脈或根本，也是評價的最本質(zhì)內(nèi)容。

對于學術期刊內(nèi)容質(zhì)量的評價，一般包括兩個方面：學術性評價和管理性評價。前者主要是通過編輯審稿、專家評審、讀者評價來實現(xiàn)的，究其實質(zhì)都是同行評議的體現(xiàn)，不同之處在于編輯審稿、專家評審是在期刊發(fā)表論文之前，而讀者和社會評價是在論文發(fā)表之后。后者這類評價易受到時勢的影響。學術期刊質(zhì)量評價與核心期刊評價既有相同點，亦有不同點。其不同點在于，期刊質(zhì)量評價是以衡量期刊學術水平、編輯水平、出版水平、政治水平等為標準或目標的，以同行評價和管理評價為主；而核心期刊主要從載文量、文摘量或率、引文量或率的大小、比例來測定期刊所屬的層次，以文獻計量學的指標為主。特別是對于人文社會科學研究來說，引文的發(fā)生不僅與時代語境直接關聯(lián)，也與引用者的動機、認識水平和解讀闡釋的角度有關，一些極具價值的理論、思想或觀點，需要經(jīng)過長期社會實踐之后，才有可能為人們所認識和接受。針對這些問題，本指標體系力圖做到對現(xiàn)行的期刊評價方法和體系予以補充和完善。

3.效用性原則

效用理論起源于19世紀70年代的歐美國家，效用評價的高低反映的是被評價對象的價值、意義、作用與滿意度。學術期刊的效用有廣義與狹義之分，廣義的效用是指學術期刊依據(jù)自身資源與能力，結合辦刊目標與目的，在辦刊實踐中有目的、有計劃、系統(tǒng)地滿足社會對學術研究和學術交流與傳播的各種需求，包括育人、科研、信息指引、決策支持等方面；狹義的效用是指期刊利用自身資源與優(yōu)勢直接地為學術科研的發(fā)展提供直接而具體的服務，用于衡量學術期刊為社會、經(jīng)濟、學術、文化等發(fā)展所提供的直接產(chǎn)出、帶來的貢獻和效益。總之，效用評價可以改變單純從定量上評價期刊的傾向。

本期刊質(zhì)量評價體系的核心就是要將以引文、文摘等為指標的定量評價與同行專家定性評價有機結合起來，以專家定性評價法為主，計量法為輔，提高評價的合理性、公正性、權威性和評價效率。筆者所提出的學術期刊質(zhì)量評價的基本框架，并已在學術集刊、部分學科期刊中進行過試驗評價。此外，隨著網(wǎng)絡社交媒體的出現(xiàn)與普及，對于學術期刊論文的效用也可以通過點擊次數(shù)、瀏覽量、下載量、分享量、喜歡度、在線回復等來評判。特別是一些專業(yè)社交網(wǎng)絡，如Research Gate、LinkedIn或Google Scholar在評判論文影響力方面有著不容忽視的作用。可以這么認為，學術期刊的出版過程正在走出小眾學術精英的象牙塔，變得日益民主化，學術大眾的參與變得日漸普及。網(wǎng)絡社交媒體正在改變游戲規(guī)則。

4.審讀與事實證據(jù)性原則

學術論文發(fā)表在期刊上之前，必須由同一領域的研究人員評估研究論文是否達到出版水平。這就是同行評議。同行評議的主體是學術同行，也包括學者化的編輯。從宏觀上來說，高素質(zhì)的學術編輯需要具備以下能力：對紛繁復雜的學術文化與學術現(xiàn)象的辨析和洞察能力；對各種學術內(nèi)容及其體現(xiàn)的價值觀的把握和判斷能力；對各種學術潮流及其發(fā)展走向的預測和駕馭能力。只有確實具備了以上三種能力，才能在變幻莫測的學術文化現(xiàn)象和學術思潮面前，頭腦清醒，舉重若輕，游刃有余。同時，又能對新興的學術思想和學術觀點保持足夠的敏感性，發(fā)現(xiàn)創(chuàng)新的火花，挖掘出有潛力的、有發(fā)展前途的作者，發(fā)現(xiàn)有意義的選題和稿件，并鼓勵和督促選題研究的開展和深入。專家、編輯的審讀是一種定性評價，即由專家直接面對期刊的文本，根據(jù)自己的閱讀和研究經(jīng)驗，直接評判期刊的綜合質(zhì)量。為了讓定性評價具有一定的可比較性和可操作性，本指標體系列出了一些定性指標(用文字定義要達到的質(zhì)量標準，而定量指標則用數(shù)字表示)，如期刊編輯水平可以從策劃能力、組織能力、文字能力、交流能力等方面去評價，重點考察每個期刊在某些分項指標方面是否有獨特的優(yōu)勢，不以“數(shù)字”來評價，而以“事實證據(jù)”(事件、典型案例等)來評價，此評價可以與引文、文摘等計量學指標互為參照，不是簡單加權計算，而是由專家最終給期刊一個總體評價。

5.新技術應用性原則

2014年5月15日，中國科學院、國家自然科學基金委員會聯(lián)合發(fā)布《關于實施開放獲取政策的聲明》，強制將中國科學院所各類公共資助科研項目所產(chǎn)生的論文、國家自然科學基金會全部或部分資助科研項目產(chǎn)生的論文，在論文發(fā)表后12個月內(nèi)實施開放獲取。這一聲明的出臺成為我國開放獲取的標志性事件[23]。全球的出版商、編輯包括作者正在不斷地嘗試新的交流方式，由EDP Sciences創(chuàng)辦的實驗性新期刊4open就建立在“開放獲取、開放數(shù)據(jù)、開放代碼和開放同行評審”四大支柱之上。[24]在4open上作者可以發(fā)表科學研究中的任何一種形式的成果，如研究設想、數(shù)據(jù)、方法、報告、軟件等；總之，學術期刊的形態(tài)已經(jīng)發(fā)生了巨大的變化。雖然目前OA出版商大多遵循傳統(tǒng)出版流程，但差異是顯著的。僅就資金來源一項來說，其資金來源途徑復雜，包括：作者付費模式、機構補貼模式、眾籌模式、聚合模式等多種。開放存取活動目前已經(jīng)使得學術機構如圖書館等成為開放文獻索引系統(tǒng)的建設者/管理者；從而直接參與到在線編輯出版的工作中。學術機構通過內(nèi)容聚合，優(yōu)化了搜索引擎，擴大了OA學術文獻的可用性與可見性[25]。這些新的變化無疑改變著對于學術期刊質(zhì)量評價的要求，催生出新的指標，要求更多關注對于學術期刊數(shù)字化、新技術應用的評價。

6.學術規(guī)范性原則

學術規(guī)范是學術研究中最基本的“規(guī)矩”，學術研究及其成果無論是學術圖書還是期刊論文，其研究過程、寫作過程，包括引文、文字、編輯、出版不僅必須要符合“技術”的學術規(guī)范，更要符合獨立思考、批判性創(chuàng)新思維、學術平等、積累與創(chuàng)新等“基本”的學術規(guī)范。學術規(guī)范是學術共同體根據(jù)學術發(fā)展規(guī)律制定的有利于學術發(fā)展與繁榮的各種準則和要求，也是長期學術活動中的經(jīng)驗總結和概括。從制度經(jīng)濟學的觀點出發(fā)，任何一項制度的出現(xiàn)都是源自利益相關各方的理性選擇，就學術評價的制度而言，如果學術共同體的學者、學術編輯、科研管理者沒有形成共識，沒有內(nèi)在的思想上的認同，就很難被學術共同體的各方很好遵守和維護，即便通過行政指令強行推進，結果也難免會面臨被扭曲和變形，因此出現(xiàn)上有政策，下有對策的風險。自覺地接受和維護學術規(guī)范是學術評價中最為重要的原則，符合學術規(guī)范是學術成果質(zhì)量的重要體現(xiàn)和重要方面，在評價指標體系中列出學術規(guī)范及其相關指標，對學術成果質(zhì)量的評價是必要的。以學術期刊為例，由于長期受過度行政化、形式主義的影響，不少學術期刊對學術“基本”規(guī)范所知不多，或僅停留在表面上，缺乏踐行，因此可以從三個維度，即形式、內(nèi)容和效用來評價對“基本”學術規(guī)范的認知與遵守。從形式上測評學術期刊是否有對基本規(guī)范的表述。如期刊的發(fā)刊詞、投稿指南、審稿政策、編者按、社論等是否體現(xiàn)科學精神、獨立思考、學術積累與創(chuàng)新、學術平等；從內(nèi)容上測評，就是由同行專家對已出版的期刊及論文的內(nèi)容進行審讀、分析，以判斷其是否真正貫徹落實所表述的基本規(guī)范；從效用上測評，即在期刊及其論文出版一段時間后，調(diào)查、統(tǒng)計作品被利用的情況和產(chǎn)生的各種效益或成效，考察其被引用、被轉載、獲獎、被單位采納情況等。效用/成效評價更注重用事實、時間來說話，因此也更具有復雜性和重要性。三者協(xié)同遞進，唯此才能測評出學術期刊的真正水平[26]。

四、新指標體系框架的構建

學術評價體系始終伴隨學術研究生態(tài)的轉變而在探索中不斷前進，堅持質(zhì)量與數(shù)量相結合，堅持主觀與客觀相結合已在很多評價實踐中被提倡和實施，合理建構科學有效的評估體系已成為共識。仔細閱讀和分析《舊金山宣言》和《萊頓宣言》的十大原則，與筆者與團隊11年前提出的學術“全評價”體系或分析框架中的許多觀點極為相近，可謂不謀而合。諸如評價“應當首先明確評估的目標，而所采用的指標也應切合這些目標”與“評價目的制約論”；“保護卓越的本地化研究”與“文科評價特點論”等。當然也存在一些不同，這些不同更多反映了國內(nèi)外學術環(huán)境和學術評價生態(tài)的差異。學術“全評價”體系認為，任一評價客體都可以從形式、內(nèi)容和效用三個維度去評價。因此學術期刊質(zhì)量評價的一級指標分別為期刊的形式、內(nèi)容和效用。期刊的形式主要是辦刊的支撐條件，包括人、財、物等。其中“人”是最重要的要素，包括主編、編輯、編委會、審稿人、作者和讀者。期刊的內(nèi)容，主要是看期刊的核心功能如何發(fā)揮。這些功能主要是知識產(chǎn)權注冊功能、學術論文資料存檔功能、期刊策劃功能、稿件評價功能、期刊傳播功能和期刊教育、社會功能等。期刊的效用主要是看期刊的學術價值、對學科、學術體系等貢獻和影響，取得多少社會效益、經(jīng)濟效益，地位、聲譽等。一般說來，其權重由低向高，逐步上升，即形式評價較低，內(nèi)容評價較高，而效用評價更高。當然，具體權重如何，應視具體的評價目的而定，還要征求專家意見確定。

具體構建主要步驟有：首先通過調(diào)研，將國內(nèi)外有關學術期刊的定量指標歸納、整合，按照解釋性、可操作性要求，選擇適當?shù)闹笜耍黄浯我罁?jù)“全評價”形式、內(nèi)容和效用三大維度分列出三大一級指標，將篩選出的指標分別列入其中一個一級指標內(nèi)。對內(nèi)容和效用指標，亦參照教育部名刊名欄、新聞出版總局期刊質(zhì)量定性指標，對照學術期刊的五大核心功能，選擇一些指標，自擬一些指標；再次列出指標的數(shù)據(jù)(事實)來源和指標性質(zhì)；最后列出指標體系框架。學術期刊質(zhì)量評價指標體系框架如下。

從表1可以看出，這是一個針對所有學科的學術期刊質(zhì)量評價的指標體系框架。框架者，撮其“共性”抽象構建也。在具體的評價中，可在“框架”下，根據(jù)一定的評價目的，針對評價客體的特色，增刪某些指標。如表1中以育人優(yōu)異性M4為例，列出選擇項指標，凡是期刊在幾大功能上有特色的均可列出。共性的指標是規(guī)定項目，而個性的指標則是選擇項目。此種設計試圖將原則性與靈活性有機結合起來。

表1 學術期刊質(zhì)量評價指標體系框架

從表1還可知，一級指標3個，二級指標10個，三級指標36個(另有3個選擇指標)。其中定量指標20個，定性指標12個，定性加定量4個。形式指標中的期刊支撐條件以定量指標為主，內(nèi)容指標中功能反映以定性指標為主，效用指標中的反響和影響則定性定量均有。

對引文數(shù)據(jù)、轉載數(shù)據(jù)等應合理使用，不可“唯”，但可作為專家評價的參考或基礎或校驗，避免從一個極端走向另一個極端。例如引文指標，表中列出了最基本的被他引用總次數(shù)和影響因子兩個指標，H指數(shù)、G指數(shù)、即年指數(shù)、被引半衰期、擴散因子、學科影響度等均未列出，一則考慮其適度性，二則考慮可操作性。在具體評價中，可以根據(jù)評價目的有所選擇。

至于影響因子的分子和分母如何界定和計算，國內(nèi)外是否要統(tǒng)一，是可以深入討論的。比如，分子是引用總次數(shù)還是總篇次數(shù)；分母是可引用文獻數(shù)(citable items)還是一頁以上的所有載文數(shù)，可引用文獻數(shù)僅限定為“article(研究論文)”和“review(評論性文章)”，而其它文章均不計，盡管實際上這些“其它文章”會被引用，也計算在分子里。但無論如何，影響因子作為評價學術期刊的一個指標是沒有疑問的。

五、新指標體系的適用性討論

所謂適用性，一般是指用來評估所提出的指標體系在實踐應用中的適應程度。適用性檢驗是評估指標體系的戰(zhàn)略目標是否與其實際的評價能力相一致。具體來說，就是評價指標體系能否適用于目前的學術期刊生態(tài)，能否解決學術期刊中存在的問題，以及操作是否簡便，評價結果是否可靠，能否為學者、編輯及讀者所認同等。

就期刊質(zhì)量新評價指標體系而言，其適用性最主要看它能否解決目前學術期刊評價中的現(xiàn)實問題。舉例來說，面對“雙一流”高校建設，如何選擇確定不同學科的高質(zhì)量期刊目錄就是一個難題，如選定的期刊目錄標準過高，則本校師生很難在其上發(fā)表，期刊目錄也就淪為一紙空文；但若提出的期刊目錄標準過低，則會淪為學界笑柄，也沒有起到激勵學科發(fā)展的作用。所以這是一個各個高校普遍會遇到的兩難選擇困境。因此，新評價指標體系要能夠滿足不同機構從不同的核心功能定位選擇適用的期刊，本指標體系的M1-1導引能力就考慮到了期刊的政治引領導向、社會應用導向、學術研究導向等不同定位；此外，學科之間也存在較大的差異性，人文社會學科尤甚，如法學學科所遇到的困難就很突出。不同國家的法學研究，有鮮明的國家主權性質(zhì)和地域特征，因此法學期刊的質(zhì)量評價很難參考國際的知名法學期刊標準；即便是國內(nèi)的法學期刊彼此之間也存在難以直接比較的問題。法學是一門理論性和實踐性學科，所以法學期刊必須要協(xié)調(diào)好理論研究和司法實踐的關系，目前我國法學界公認的高質(zhì)量法學期刊有《法學研究》《中外法學》《中國法學》《比較法研究》《法學》《法商研究》，但在司法實踐層面這些期刊則并不被主要關注，在律師群體中閱讀頻率較高的主要是《中國律師》，《犯罪研究》《法學評論》《人民檢查》《人民司法》《法律適用》等[27]。可見，在對法學期刊的評價中就存在著兩個不完全一致的標準，律師群體認為好的法學期刊應該“對司法實踐有幫助”。如《中國律師》，作為一種注重案例分析、司法實踐的期刊，其研究性雖然不夠突出，但很多律師認為其確實能夠提高自己的法理素養(yǎng)和工作實踐。[28]這表明期刊的辦刊宗旨及其在其讀者群體中體現(xiàn)的效用，對于學術期刊的質(zhì)量評價而言是十分重要的。本指標體系的E3-10考慮到了讀者和作者對于期刊的社會評價和反饋；回歸到學術期刊的基本功能，就會發(fā)現(xiàn)學術期刊作為一種社會性的建制，從本質(zhì)上講是一種知識互動的產(chǎn)物和媒介，法學研究的發(fā)展既需要注重法理的理論性期刊，也需要關注和啟發(fā)司法實踐的應用性期刊。如果學術期刊中只能聽見來自法學院的聲音，而少聞來自法律實踐中的疑慮和質(zhì)問，不能不說是角色功能上的缺位。而這個問題將有可能通過新的期刊質(zhì)量評價體系得到一定程度的解決。

近40年來，伴隨科技進步與社會發(fā)展，國家對高等教育和科學研究的投入大幅增加，但是研究資源的投入總是有限度的，如何合理、公平、有效地進行研究資源的配置是科研管理部門必須面對和完成的任務，而學術期刊的質(zhì)量評價研究可以為解決這一問題提供方案。值得指出的是，評價不能沒有指標，但指標一旦被用于任何類型的評價，就有扭曲的傾向。研究者有可能選擇有利于指標的研究問題，而不是選擇感興趣和重要的主題，這正在成為研究活動本身的驅(qū)動力。沒有指標不行，但有了指標又會異化，這就是所謂的古德哈特定律(Goodhart’s law)：指標悖論。此論早在1975年就被提出來，在經(jīng)濟和社會等各個領域都存在指標悖論的現(xiàn)象。因此，必須確保負責任地構建和使用新的指標。新的指標應是有效的(反映所測量的概念)；正向的，比如近期深圳設計出“GEP”(生態(tài)系統(tǒng)生產(chǎn)總值)指標，較之于“GDP”(國內(nèi)生產(chǎn)總值)指標，更為正向；透明的(應公布作為標準基礎的數(shù)據(jù)，并明確說明限制和不確定程度)；公平的(應避免系統(tǒng)性偏差)；適應性的(當偏差、濫用或其他弱點變得明顯時，要隨時更新指標)；以及可復制的(使用該指標的人應該能夠復制這些指標)。為防止濫用指標，任何指標的使用都應符合四個標準：一是正當性。在評估個人或機構所做研究時，期刊指標應該只起到次要的和明確定義的作用。二是語境化。除了數(shù)字統(tǒng)計之外，指標還應報告統(tǒng)計分布(例如，文章引用計數(shù))，正如自2018年以來ISI《期刊引用報告》(JCR)中所做的那樣。應考慮不同學科之間的差異。三是知情性。專業(yè)協(xié)會和相關專家應幫助培養(yǎng)對指標的認識和了解。例如，在博士培訓課程中可以開展這樣的教育。四是負責性。所有利益相關者都需要警惕指標的使用如何影響研究人員和其他利益相關者的行為。不負責任的指標使用應該被叫停。這樣看來，根據(jù)評價客體的主要功能精心設計指標，規(guī)范使用指標，根據(jù)指標使用情況及時調(diào)整，不失為應對“指標悖論”的可行之舉。

六、結 語

研究表明，期刊引文、論文轉載與期刊質(zhì)量的判斷在統(tǒng)計上具有強或正相關性，從一定程度上看，用引文影響、轉載來評價期刊質(zhì)量有其合理性。但與此同時，也有相當多的研究指出，期刊引文、論文轉載等的計量分析存在若干局限。隨著我國社會變革和經(jīng)濟發(fā)展的加速，亟需建立起符合、反映中國國情和歷史深度，能夠指導中國學術現(xiàn)實發(fā)展的學術期刊質(zhì)量評價指標體系，指標體系是期刊評價的前提，而期刊評價是學術評價的基礎，期刊評價問題不解決，學術就不可能自立和強大，要做到這一點，就需要回復到學術期刊自身的功能立場，擺脫“唯”“至上”等絕對化的評價思維模式，保持學術對國家、對社會現(xiàn)實問題深刻關注和持久的熱情。

中國的學術期刊盡管有自己的“國情”，但作為一個新提出的期刊質(zhì)量評價框架，仍然需要考慮網(wǎng)絡信息時代的變化，并與國際學術發(fā)展保持一致。一個真正適合中國，能夠行之有效，并得以落實推廣的學術期刊質(zhì)量評價指標體系，絕非一個學者、一個學科、一個大學或出版社之力可為，有賴于學者、期刊編者、文獻計量和評估專家等利益相關者的共同努力，需要制定一套原則來管理、完善指標，也可以參照國際做法，成立一個由期刊利益相關者組成的理事機構，以維持這些標準、指標的修訂、應用和推廣等事宜。根據(jù)“全評價”體系，在具體進行期刊評價時，先要確定評價目的，根據(jù)“指標體系框架”優(yōu)化指標，尤其是特色指標，制定各指標權重和求和辦法，適當分類評價對象，選擇恰當評價方法，制定專家遴選、回避、輪流、元評價等制度，以及評價結果公開、反饋、申訴、復議等程序與制度。尤其要注重評價“組織方”的篩選或認定，對學術界、期刊界、管理界均認可的“第三方”或“聯(lián)合機制”委以重任(有關評價機制問題容后專題論述)。相信經(jīng)過同仁不懈的努力，中國特色學術期刊質(zhì)量評價指標體系和學術評價體系一定能夠建立起來。