政策視角下同行評議研究現狀與問題

摘 要：[目的/意義]自習近平總書記2016年“5·17”講話后，國家兩年多來出臺多項政策文件，對項目評審、人才評價、機構評估等學術評價活動提出了指導性意見，特別強調發揮同行評議方法在學術評價中的作用。[方法/過程]對政策文件進行內容分析，在總結歸納文件中與同行評議有關的核心觀點基礎上，對目前同行評議研究現狀進行分析，分析研究中的不足之處并給出有針對性建議。[結果/結論]研究發現這些政策文件強調同行評議方法在學術評價中的作用，強調專家遴選及評審專家、評審過程的監督和公正問題，目前國內外研究主要集中在同行評議方式、專家遴選、質量控制和評價效果等方面，誰來評、怎么評、評得怎么樣是同行評議過程中需要解決的三大核心問題。

關鍵詞：同行評議;評價方式;評價效果;專家遴選;質量控制;國家政策

DOI：10.3969/j.issn.1008-0821.2020.09.014

〔中圖分類號〕G301 〔文獻標識碼〕A 〔文章編號〕1008-0821（2020）09-0127-06

Peer Review Study from the Policy Perspective：

Research Status and Problems

Su Jinyan

（Chinese Institute of Social Sciences Evaluation Studies，Chinese Academy of Social Sciences，

Beijing 100732，China）

Abstract：[Purposes/Significance]President Xi Jinping stressed the irreplaceable role of philosophy and social sciences for building socialism with Chinese characteristics，social science evaluation system was an important part of it.Series national evaluation documents were published.[Methods/Process]Based on the analysis of policy documents，which published from 2018，the research status，problems and suggestions of peer review were discussed.[Result/Conclusion]As an evaluation method，peer review was mentioned in all of these national policies.The evaluation model，evaluation effectiveness;expert recruitment and quality control of peer review were discussed in this paper.

Key words：peer review;evaluation method;evaluation effectiveness;experts recruitment;quality control;national policy

2016年5月17日，習近平總書記在哲學社會科學工作者座談會上指出，“面對新形勢新要求，我國哲學社會科學領域還存在一些亟待解決的問題”，我國目前的“學術評價體系不夠科學”，“要建立科學權威、公開透明的哲學社會科學成果評價體系，建立優秀成果推介制度，把優秀研究成果真正評出來、推廣開”[1]，國家對哲學社會科學評價工作的重視程度提到新高度。

1 國家政策中的同行評議

為貫徹落實“5·17”講話精神，2018年至今兩年多時間內，中共中央辦公廳、國務院辦公廳、教育部、科技部、人力資源和社會保障部等連續出臺《關于深化項目評審、人才評價、機構評估改革的意見》《關于分類推進人才評價機制改革的指導意見》《關于深化哲學社會科學研究人員職稱制度改革的指導意見》《關于進一步加強科研誠信建設的若干意見》和《關于優化科研管理提升科研績效若干措施的通知》等多項政策文件，如表1所示，直接或間接地指導著我國哲學社會科學評價工作，對項目評審、人才評價、機構評估和期刊評價等學術評價的評價方法、評價指標等給出了指導性意見，特別強調要發揮同行評議在人文社會科學評價中的作用。2020年2月，教育部、科技部印發《關于規范高等學校SCI論文相關指標使用樹立正確評價導向的若干意見》（簡稱《意見》），指出要破除論文“SCI至上”，并提出10條具體意見，再次提出要“完善學術同行評價”。

1.1 強調同行評議在學術評價中的作用

在人才評價時，要建立以同行評價為基礎的業內評價機制[2]，注重發揮同行評議機制在人才評價過程中的作用[3]，特別是職稱評審時，要突出同行評價在職稱評審中的作用[4];在項目評價時，特別是基礎研究與應用基礎研究類項目，要以國際國內同行評議為主[5];在學科評價時，特別是基礎學科的評價，要突出原創導向，以同行評議為主[3];在評價方法上，實行定量評價與定性評價相結合，定性評價要體現導向性、專業性[4];在推行代表作評價法時，代表作應受到同行專家的公認[4]。

1.2 強調同行評議專家遴選和專家庫建設

對于同行評議專家的遴選，強調專家庫入庫標準和評審專家遴選規范[3]，建立以隨機、回避、輪換、公示為基本原則的專家遴選制度[3-4];對于專家范圍，可根據不同學科情況，探索引入國際同行專家評價[3-4];對于專家庫的建設，強化業內代表性，細化專家領域和研究方向，優化專家來源和結構，建成安全可靠、開放共享可及時補充高層次專家的國家專家庫[3]。

1.3 強調同行評價評審過程的公正性

對于參與同行評議的評審專家，要求簽署科研誠信承諾書[6]，建立評價專家責任和信譽制度，實施退出和問責機制[2]。對于同行評議的評審過程，要求建立評價程序規范[3]，健全評委會工作程序和評審規則[4]，嚴肅評審紀律，加強監督管理，提高評價活動的公開性和開放性，保證評價工作的獨立性和公正性，確保評價結果的科學性和客觀性[3-4]。

國家之所以多次提出要重視同行評議在學術評價中的作用，是因為目前的項目審批、個人晉升等科研活動或多或少地依賴于期刊評價結果，但“學術界和學術期刊界與評價機構的‘纏斗已不下20年”[7]。近期出臺的《意見》[8]明確提出要深刻認識論文“SCI至上”的影響，要“完善學術同行評價”，“組織實施部門要完善規則，引導學者在參加各類評審、評價、評估工作時遵守學術操守，負責任地提供專業評議意見，不簡單以SCI論文相關指標和國內外專家評價評語代替專業判斷，并遵守利益相關方專家回避原則。組織實施部門可開展對評審專家的實際表現、學術判斷能力、公信力的相應評價，并建立評審專家評價信譽制度。”2020年2月17日科技部發布的《關于破除科技評價中“唯論文”不良導向的若干措施（試行）》[9]中也明確要求“強化代表作同行評議”及“發揮同行評議在高質量成果考核評價中的作用”。

2 同行評議研究現狀

通常認為，1416年威尼斯共和國采用類似于同行評議方法對向其首次設立的專利制度申請專利發明進行審查是同行評議的雛形，1665年英國皇家學會創辦的《哲學會刊》是世界上最早的同行評議期刊，邀請若干同領域的學者對投稿文章的創新性、科學性、可靠性等進行綜合評定，并將其作為是否發表該文章的判斷依據。隨著時間推移，同行評議內涵被逐漸擴大，有狹義與廣義之分，本文是指廣義的同行評議，即在項目評審、人才評價、機構評估、期刊評價等學術活動中，由1個或多個相關領域的專家進行評價，來決定基金資助、職稱評定、論文發表等結果的活動。目前，國內外同行評議研究主要集中在以下4個方面：

2.1 同行評議方式研究

從同行評議評審方式看，主要有通信評議、專家小組或委員會評議和現場同行評議等方式[10];從組織方式看，以評審單位自行組織為主，委托第三方進行評審的方式在逐漸增加;從專家匿名情況看，單盲評審和雙盲評審是主要形式，開放評審則成為近些年來的新趨勢[11]。目前，開放評審還沒有一個標準的定義和有共識的實施框架[12]，但一般認為開放同行評議主要包括公開身份和公開評議報告兩部分，以及公眾參與評議過程、作者與評議專家、評議專家之間直接交流等方面[13]。現階段開放評審的研究應用主要集中在期刊論文同行評議方面，其中F1000Resarch、Froniter和Pubpeer等是國外較有代表性的期刊開放同行評議平臺，實現向外界公開評議專家信息、建立作者與評議專家交流通道、作者與評議專家和編輯在線對話等功能，瑪格泰克采編系統、勤云采編系統和知網騰云采編系統等是目前國內使用較多的網絡期刊采編系統，但其開放同行評議功能略弱。開放評審方式是否適用于項目、人才等其他學術評價，在越來越高的“公開公正公平”“開放透明”的呼聲中，值得探討。

2.2 同行評議專家的遴選

同行專家是同行評議的主體，基金資助項目、機構評估項目等對同行評議專家的遴選方式、標準及專家庫建設等研究較多，另外期刊外審專家庫建設也有較多討論。美國國家科學基金會（NSF）成立于1950年，其評審專家的產生方式較為多樣，既可以由申請人建議，也可以由計劃官員來選定或者來自其專家庫，遴選標準是具有領域專長、沒有利益沖突、客觀公正以及評議人分布多樣性等[14]。德國科學基金會（DFG），成立于1951年，現有48個學科專業評審委員會，專家由直接選擇和學會推薦兩種方式產生，每4年選舉1次，遴選標準是評議專家須具有博士學位和3年以上工作經驗[15]。英國高等教育基金會的卓越研究框架（REF）自1986年發布第1版報告起，一直注重同行評議的作用，現有34個專業委員會，就專家遴選標準和程序發布專門報告[16]。我國國家自然科學基金委員（NSFC）自1986年成立起就十分注重同行評議專家的遴選工作，在《國家自然科學基金項目評審專家工作管理辦法》中規定由自然科學基金委聘請評審專家并建立評審專家庫，規定了聘請擔任評審專家的科學技術人員應當符合的條件及不能作為評審專家的情形。全國哲學社會科學工作辦公室負責國家社會科學基金課題資助等事宜，于2015年建成同行評議專家庫系統，按照一定原則，如正高職稱、年齡一般在60歲以下等，不定期遴選同行評議專家[17]。

2.3 同行評議的質量控制

同行評議方法被廣泛采用，但其局限性也一直備受爭議，就像學術期刊基本都有嚴格的同行評議程序，但是仍然出現2017年施普林格·自然出版集團《腫瘤生物學》期刊107篇論文的撤稿事件，及2020年初我國《冰川凍土》的《導師崇高感和師娘優美感的統一》事件。其實早在1978年和1981年，美國科學院科學與公共政策委員會就組織專家進行了連續6年的調查，發表了2份關于“美國國家科學基金會的同行評議”調查報告。為彌補同行評議的局限，保證同行評議質量，國外主要科研資助機構都建立了質量控制機制。NSF采用建立大規模評審專家庫、回避利益沖突、定期監督與評估及為“非共識”項目提供專門資助等方式保證同行評議的可靠性，糾正同行評議結果偏差。DFG則采用“2+1”評審方式、隨時逐項審批制、規避利益沖突、監察制度等組織實施同行評議。我國國家自然科學基金委員會自2005年起采用“3+X”評審方式，并通過《國家自然科學基金項目評審回避與保密管理辦法》《國家自然科學基金資助項目會議評審駐會監督工作實施細則》及《國家自然科學基金項目評審專家行為規范》對評審專家的評審行為進行規范、約束和監督，定期對評審專家履行評審職責情況進行評估。國家社會科學基金方面則會定期公布“認真負責的鑒定專家”名單，對評審專家進行激勵。

2.4 同行評議效果討論

在采用了科學的同行評議方式、選用了合適的評審專家、對評審質量進行了控制監督的情況下，同行評議的效果到底如何呢？與被人詬病的定量評價相比，同行評議的優勢和不足又體現在哪里呢？就拿期刊評價來說，期刊評價過程中有兩種最常用的方法，一是依賴于專家問卷的定性評價方法[18-19];一是依賴于論文被引次數的定量評價方法[20]。一方面，有很多學者認為以這兩種方法對期刊進行評價后得出的評價結果一致性較差，例如Hodge D R等在2010年以25種社會工作領域的期刊為樣本，采用定性方法（專家問卷）和定量指標（5年影響因子和H5指數）計算對期刊進行排名后發現兩者存在較大差異，專家問卷排名第1的期刊用定量指標排名時僅列25種期刊中的第13位[21];Kao C等在2008年以我國臺灣出版46種管理學期刊為樣本用兩種方法進行了期刊排名，發現兩種方法得出的排名結果截然不同，46種期刊中只有1種期刊采用兩種評價方法的排名相同，超過一半的期刊排名結果有很大差異。但也有學者卻研究發現兩種評價方法得出的評價結果有較強的相關關系[22-23]。我國學者對同行評議與文獻計量在科研評價中的作用分析做了比較，發現無論是在學術論文的發表、科研項目經費資助審批還是在學科發展態勢評估與研發評價實踐中，采用定性、定量兩種方法得出的評價結果有的非常一致，但有的差異很大[24]，有學者認為同行評議和科學計量優點鮮明，但各自又有難以克服的局限性[25]，甚至有學者直接提出“量化評價扼殺人文學術”[26]。但筆者以人文社會科學33個學科共計1291種期刊為統計樣本，采用調查問卷形式由專家對這些期刊進行同行評價，然后對同行評價結果與即年影響因子、影響因子和5年影響因子的相關性做比較分析，研究后發現同行評價和引文指標兩種方法對期刊進行評價時，兩者得到的評價結果具有較高的一致性，雖然存在一定學科差異，比如社會科學領域的一致性高于人文科學領域的一致性[27]。

3 同行評議研究存在的問題

3.1 現有同行評議研究還有薄弱點

一是對同行評議方式有所討論，但是對于各評議方式的效率、效果討論較少。二是對大型周期性基金資助項目評審、機構評估等的專家遴選標準研究較多，但遴選標準通常較為籠統，并且對于專家因素對同行評議效果影響的討論不多。三是對同行評議質量控制方法、控制效果的實證性研究較少，無法確切了解質量控制情況。四是強調定性與定量相結合的評價方法，但同行評議的權重、與定量評價的關系的具體案例研究較少，對同行評議局限性的討論較少。

3.2 對同行評議自身局限性研究不充分

雖然政策文件中強調同行評議方法的重要性，但同行評議是有其自身局限性的。一是主觀性，每個專家的評價結果是十分主觀的，它很大程度上受到評價者道德品質、學術水平及研究領域等因素的影響。二是利益相關性，每個專家都是社會人，有時難免受人情關系影響，如果評價者與被評價者存在利益關系，更是可能影響評價結果。三是保守性，同行評價是建立在專家原有知識基礎上的，對創新性事物判斷難度較大，不同專家的評價結果有時會出現很大差異，形成“非共識”現象。四是復雜性，組織一次同行評價要耗費大量人財物和時間成本。如何正確認識同行評議自身局限性，是進行研究的基礎。

3.3 對同行評議如何“立”的問題研究較少

雖然國家一直在強調要發揮同行評議作用，強調在開展學術評價時，對期刊論文、圖書專著等科研成果要合理地設置評價指標，不能用影響因子指標“一刀切”[2]，在科學引文索引（SCI、SSCI和A&HCI）和核心期刊論文發表的數量、論文引用次數及影響因子排名等僅可作為評價參考[3]。為何國家、學者一直呼吁要注重“同行評議”，避免影響因子“一刀切”，卻仍然存在這些問題呢？因為，目前多是討論影響因子、期刊論文“破”的問題，卻對同行評議“立”的問題討論較少。

4 同行評議研究的對策建議

不破不立，不立不破。“破”影響因子、期刊論文的同時，同行評議也要“立”住。

4.1 解決同行評議方法“立”的問題

一是解決同行評議概念意識“立”的問題。通過對同行評議方式、專家遴選標準、同行評議質量及效果進行研究，可以更清楚地了解各同行評議方式的優勢和局限性，更準確地了解專家因素對同行評議結果的影響，更謹慎地定義同行評議與定量評價的關系，從而制定出更加科學合理可操作的政策，把同行評議從概念意識角度“立起來”。

二是解決同行評議組織實施“立”的問題。國家級基金資助、機構評估等有較為成熟的同行評議規程和專家庫，但對于高校、科研院所等科研機構及第三方評價機構來說，作為評價的組織者，如何在評價實施過程中更好地使用同行評議方法？同行評議研究要為其組織實施，如遴選專家、組織評價提供依據，把同行評議從組織實施角度“立起來”。

三是解決同行評議操作執行“立”的問題。一方面，引導科研人員更加客觀地認識同行評議的作用;另一方面，科研人員又是同行評議真正的評價主體——評審專家，對同行評議質量控制進行研究，讓科研人員更好地發揮同行評議功能，把同行評議從操作執行角度“立起來”。

4.2 解決同行評議過程中的問題

同行評議研究最終是用來指導同行評議實踐活動的，所以要重點分析組織實施同行評價需解決的基本問題。

一是解決誰來評的問題。同行評價過程中，評價專家是主體，專家遴選是關鍵，但目前只有原則性的專家遴選標準和程序，并且沒有可快速抽取專家的共享專家庫可以使用。拿國家自科基金來說，每年有大量課題項目需要評審，但《國家自然科學基金項目評審專家工作管理辦法》中評審專家選聘的條件卻比較籠統，不夠明確。如選聘條件第一條是“具有較高的學術水平、敏銳的科學洞察力和較強的學術判斷能力”，這不僅難以篩出誰符合條件，更難以判斷誰不符合這個條件，這些條件有點形同虛設。很多滿足這些選聘條件學者都希望能夠成為國家級項目的評審專家，但如何才能被選入到國家自科基金委的專家庫中呢？這是個問題。國家自科基金委成立以來一直十分重視專家庫建設，并公開一些與專家遴選有關的文件，但有些組織實施評價部門以一己之力很難完成高質量、成規模的專家庫建設工作，增加了同行評價活動的組織難度。

二是解決怎么評的問題。組織實施部門是第三方，無論是初評還是復審，制定規則、組織評價、保證質量是工作重點。目前，通訊評審、會議評審或兩者結合是采用最多的同行評價方式，由于每個被評價對象的評審專家是有限的，如“2+1”或“3+X”模式，由于評價專家數量少增加了評價結果偶然性。這就對評價專家的水平和道德提出了很高要求，評價專家的遴選、激勵、約束和監督，是保證同行評議質量的重要環節。如果說通訊評審以“小同行”專家為主的話，在會議評審時經常會存在“大同行”甚至“非同行”的問題，然而根據《意見》第四條規定，“不簡單以SCI論文相關指標和國內外專家評價評語代替專業判斷”，如何正確發揮“大同行”會評專家的作用是需要考慮的問題。

三是解決評價效果問題。方法沒有好壞，只要達到評價目的就是好方法，但同行評價評出來的效果到底怎么樣，如何平衡同行評價與定量評價的關系，這是個問題。就同行評價的效果，目前我國沒有系統的研究，也就是說，破除論文“SCI”至上而采用同行評價方法后會不會達到預期目的還有待進一步驗證。

在當前破除論文“SCI至上”的要求下，同行評議作為學術評價方法被再一次推上前臺。其實，無論是學術評價的組織者、評價者還是被評價者，都希望能夠更好地發揮學術共同體作用，但目前國內外同行評議研究還不夠系統，是個需要加強研究的領域。

參考文獻

[1]習近平.在哲學社會科學工作座談會上的講話[M].北京：人民出版社，2016.

[2]中共中央辦公廳，國務院辦公廳.關于分類推進人才評價機制改革的指導意見[EB/OL].http：//www.gov.cn/zhengce/2018-02/26/content_5268965.htm，2018-02-26.

[3]關于深化項目評審、人才評價、機構評估改革的意見[M].北京：人民出版社，2018.

[4]關于深化哲學社會科學研究人員職稱制度改革的指導意見[EB/OL].http：//www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/201910/t20191028_337889.html，2019-10-28.

[5]國務院.關于優化科研管理提升科研績效若干措施的通知[EB/OL].http：//www.gov.cn/zhengce/content/2018-07/24/content_5308787.htm，2018-07-24.

[6]關于進一步加強科研誠信建設的若干意見[M].北京：人民出版社，2018.

[7]朱劍.“三大核心”：拿什么來取而代之？[J].濟南大學學報：社會科學版，2019，29（2）：5-25.

[8]教育部，科技部.關于規范高等學校SCI論文相關指標使用 樹立正確評價導向的若干意見[EB/OL].http：//www.moe.gov.cn/srcsite/A16/moe_784/202002/t20200223_423334.html，2020-02-20.

[9]科技部.關于破除科技評價中“唯論文”不良導向的若干措施（試行）[EB/OL].http：//www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.htm，2020-02-17.

[10]郭碧堅，韓宇.同行評議制——方法、理論、功能、指標[J].科學學研究，1994，（3）：63-73.

[11]Walker R，da Silva P R.Emerging Trends in Peer Review—A Survey[J].Frontiers in Neuroscience，2015，（9）：169.

[12]Ross-Hellauer T.What is Open Peer Review？A Systematic Review[J].F1000Resarch，2017，（6）：588.

[13]孟美任，張曉林.中國科技期刊引入開放同行評議機制的思考與建議[J].中國科技期刊研究，2019，30（2）：149-155.

[14]National Science Foundation（NSF）.Merit Review[EB/OL].https：//www.nsf.gov/bfa/dias/policy/merit_review/，2020-02-15.

[15]Deutsche Forschungsgemeinschaft（DFG）.Review Boards[EB/OL].https：//www.dfg.de/en/research_funding/index.html，2020-02-15.

[16]Research Excellence Framework（REF）.Roles and Recruitment of the Expert Panels[EB/OL].https：//www.ref.ac.uk/publications/roles-and-recruitment-of-the-expert-panels-ref-201703/，2020-02-15.

[17]全國哲學社會科學工作辦公室.關于開通使用同行評議專家數據庫的補充說明[EB/OL].http：//www.npopss-cn.gov.cn/n/2015/1110/c219469-27799803.html，2015-11-10.

[18]Walters W H.Key Questions in the Development and Use of Survey-based Journal Rankings[J].Journal of Academic Librarianship，2017，43（4）：305-311.

[19]Herrmann R，Berg E，Dabbert S，et al.Going Beyond Impact Factors：A Survey-based Journal Ranking By Agricultural Economists[J].Journal of Agricultural Economics，2011，62（3）：710-732.

[20]Pajic D.On the Stability of Citation-based Journal Rankings[J].Journal of Informetrics，2015，（9）：990-1006.

[21]Hodge D R，Lacasse J R.Evaluating Journal Quality：Is the H-index a Better Measure than Impact Factors？[J].Research on Social Work Practice，2010，21（2）：222-230.

[22]Kao C，Lin H，Chung S，et al.Ranking Taiwanese Management Journals：A Case Study[J].Scientometrics，2008，76（1）：95-115.

[23]Gordon M D.Citation Ranking Versus Subjective Evaluation in the Determination of Journal Hierachies in the Social Sciences[J].Journal of the American Society for Information Science，1982，33（1）：55-57.

[24]萬昊，譚宗穎，朱相麗.同行評議與文獻計量在科研評價中的作用分析比較[J].圖書情報工作，2017，（1）：134-152.

[25]姜春林，張立偉.學術評價：同行評議抑或科學計量[J].中國高等教育，2014，（Z3）：20-22.

[26]仲偉民.量化評價扼殺人文學術——關于人文學科學術期刊的評價問題[J].澳門理工學報：人文社會科學版，2015，（3）：100-109.

[27]蘇金燕.人文社會科學期刊評價中同行評議與影響因子相關性分析[J].圖書情報知識，2020，（3）：4-13.

（責任編輯：陳 媛）