英國卓越研究框架對我國高校科研評估的啟示

鄭鵬 嚴會超 韓小騰 韓雨辰

摘 ? 要：英國高校新的科研評估體系——卓越研究框架（Research Excellence Framework，REF）在英國高校的科研管理過程中發揮重要作用。本文介紹了REF的主要概況，考察了REF的評估方法和評估過程存在的爭議，在此基礎上，比較分析我國高校科研評估體系與REF的異同。進而提出進一步完善我國高校科研評估制度的措施，包括科研評估體系以學科為單位，建立第三方評估機構，開展分類評價，加強質量導向等。

關鍵詞：卓越研究框架 ?科研評估 ?英國 ?高校

中圖分類號：G644.4 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）02（a）-0250-05

英國高校科研成就享譽全球，在科研評估方面積累了豐富的經驗，較為成熟、規范的科研評估制度有效地加強了英國高校的科研管理，促進了高校科研創新，優化了科研經費配置。2014年，英國發布的科研卓越框架（Research Excellence Framework，REF）是在實施近30年的科研水平評估（Research Assessment Exercise，RAE）評價體系基礎上，進一步總結提出并啟用的新的高校科研評估機制。科研質量、科研產出，以及科研成果產生的社會效益和社會影響都是REF評估的重點[1]。借鑒英國科研評估的先進經驗，對于進一步完善我國高校科研評估制度、促進“雙一流”建設等都具有重要的參考價值。

1 ?英國科研卓越框架概況

除了作為衡量英國高校研究水平和科研影響力的重要參考，英國政府還把REF作為向大學撥付科研經費的主要依據[2]。由英格蘭高等教育基金委員會、蘇格蘭高等教育基金管理委員會、威爾士高等教育撥款委員會，以及北愛爾蘭就業與學習部等多部門組成了REF評估的組織架構。通過對高等教育機構學術產出的評估，既為政府后續的財政撥款和社會投資提供參考，又提供了標桿信息、建立了聲譽標準。REF評估采用專家評議，4個主評估小組指導36個評估單位下的專家，根據統一的評價標準和等級，評議高校提交資料的整體質量。REF評估的評估參數主要分為“成果”、“影響力”、“環境”，其權重分別為65%、20%、15%[3]。與RAE相比，REF評估的變化在于：一是提高文獻計量的權重，減少同行評議評價權重;二是引進了非學術影響評估[4]。

2 ?英國科研卓越框架評估方法與爭議

下面將著重介紹REF三種評估參數的具體評估方法，以及其評估過程中存在的爭議。

2.1 研究成果

2.1.1 評估方法

研究成果以文獻計量為主，評價標準主要考察獨創性、重要性和嚴謹性[5]。REF要求[6]：高等教育機構應提供研究人員在2008～2013年期間的代表性科研成果（包括新材料、設備、影像、課本、教材等等），每個研究人員提交不超過4項代表性成果。成果提交后，通過Scopus數據庫搜索獲得專家評議參考用的引文數據。

2.1.2 爭議

將客觀文獻計量指標替代主觀同行評議，優點是可以避免同行專家主觀造成偏見影響，提高科研評估效率，還能夠減少評估所花費的財力和時間。但是，采用文獻計量同樣存在質疑。比如：在科研導向上，采用文獻計量指標可能引導研究人員傾向于短期的、易于量化的科研產出，對長期的特別是成果和影響難以提前估量的研究反而有所忽略[7]。在評估方法上，將被引用數列為評估的重要指標之一，這樣的后果是忽略了論文發表的期刊在學界影響力和排名等級[8]。采用文獻計量法和同行評議法這兩種不同的評估方法對同一學科進行評估，結果差異較大。

2.2 科研影響力

2.2.1 評估方法

“科研影響力”是指對高等教育機構科技知識影響力以外的外部社會的廣泛功能，并不包括對學生、教學或其他局限在提交案例高校內的活動影響力，高等教育機構科技知識影響力則放在“產出”或“環境”來評估）[9]。“科研影響力”的評估方法是參評單位根據固定的格式與要求，提供案例分析（Case studies）和模版報告（Impact template），供專家評議[10]。

2.2.2 爭議

REF新增“影響力”這個評估指標，主要是為了加強高等教育機構與非學術界的廣泛聯系，激發科研人員的主動性和積極性[11]。“影響力”指標存在的爭議在于：一是其對同行評估專家團的界定，對學術自治會有一定影響;二是影響力話語的建構可能造成科學“邊界”特征削弱;三是影響力建立在科研之上，對知識的轉譯有所限制。英國大學聯合會（University and College Union）反對將影響力因素納入REF，其認為科學與社會或經濟應用之間界限清晰，須“抵制粗糙的應用概念”，進而發起了“站出來力挺科研”（Stand Up for Research）的請愿活動 [12]。

2.3 科研環境

2.3.1 評估方法

科研環境以考察“活力”和“可持續性”為主，評價標準采用資源、管理和雇傭這三個指標[13]。該評估參數既具有評估科研單位所支持科研活動的廣泛性，還能夠有效利用和分布科研基礎設施建設，并且促進研究人員在相關領域開展卓越研究的可持續發展 [3]。

2.3.2 爭議

科學研究一般需要穩定的研究環境，研究者出高質量的科研成果也需要較長的時間，但是英國高校科研評估周期一般為4～5年，導致研究者將較多的時間用在科研評估會的評價活動上，提前出版或者發表研究成果，減少與其他高校研究者的合作[14]。為了確保獲得穩定的科研經費，許多研究者集中在國家給予優先權的領域進行研究，影響了研究者開拓其他新領域的積極性，在一定程度上阻礙了學術創新[15]。

3 ?英國科研卓越框架與我國科研評估制度的比較

總體上看，目前我國科研事業正在穩步發展，在構建高效科研評估指標體系上也取得了一些成績。通過與英國REF比較科研評估體系的異同，發現不足，從而及時調整科研評估體系，探索適合我國實踐情況的科研評估體系和方法。

3.1 相同點

3.1.1 目標

我國科技評價管理系統是由國家和各省市自治區行政管理部門組成，以國家為主，實行統一領導、分級管理的原則。科技部是我國科技評價活動的主管部門，對全國的科技評價活動進行總體的組織、管理、指導、協調和監督[16]。我國政府也將科研評估工作作為財政支出科研機構和項目管理專業機構的重要依據。國務院印發的《“十三五”國家科技創新規劃》（國發〔2016〕43號）中明確規定第三方的評價結果是財政科技經費支持的重要依據。

以卡迪夫大學為例，其《一路向前2012-2017》報告中指出，其目標是5年后卡迪夫大學穩固躋身于世界百強大學和全英20強大學之列[17]。根據我國《統籌推進世界一流大學和一流學科建設總體方案》的要求，到2020年，我國大學和一批學科進入世界一流行列，若干學科進入世界一流學科前列。

3.1.2 評估主體

英國科研評估主體與中國科研評估主體類別基本相同，包括政府、高校、企業、中介機構、媒體和社會公眾等[18]。我國科研評估的流程大致為：提出評估的目的和要求;明確評估主體;評估主體進行評估設計;評估信息的采集;綜合分析和反饋;編寫評估報告[19]。

3.1.3 考核指標

跟英國REF相比而言，我國科研評估大體以研究成果為主要衡量指標。由于大學類別不同、學科特點的不同，我國科研評估的指標及權重沒有統一標準，評估指標主要包括：科研項目、論文、著作、專利、科技獎勵、創造價值等[19]。例如，我國中央教育科學研究所開展的高校績效評估中科研產出指標包括：發表論文數、出版專著數、科技獎數量、鑒定成果數、發明專利授權數、技術轉讓收入金額等[20]。中國科學評價研究中心對重點大學科學研究的評價指標包括：科研隊伍與基地、科研產出、成果質量、科研項目與經費、效率與效益[21]。

3.2 不同之處

3.2.1 學科發展布局

跟2008年RAE相比，REF評估學科單元從67個減少到了36個，主評估小組由15個減少到了4個。主要包括：醫學和生命科學、物理科學、社會科學、藝術與人文科學。減少評估單元和評估小組的目的在于鼓勵英國高校加強與世界一流大學合作，推進重要領域的跨學科研究，積極從學科交叉中尋找新的學科增長點，進而提高研究水平和實力[22]。

由于各學科的研究對象、方法、素材以及知識陳述的語言符號、方式、體系等有諸多不同，導致學科之間差異較大。同英國大學相比，我國許多高校學科發展缺乏總體規劃，片面追求“大而全”，實則學科規模小而分散，基礎學科力量薄弱。工科院校與文科院校、財經院校、醫學院校合并，僅是有了比較齊全的學科門類，離學科交叉融合尚有很大差距[23]。

3.2.2 第三方評估機構

英國的科研評估工作主要交由第三方科技評估機構完成，第三方評估機構的中立特性能夠提供更加公正、客觀的評估結果。科研評估結論基本公開，并以公開招標的方式來完成各項招標，中介機構使科技項目管理更加公正化、客觀化、公開化[18]。目前，我國仍是以政府為單一評估主體的科技評價體系，因而公眾利益和其他社會組織訴求未必能夠得到充分體現，削弱了對公共資源使用效率的監督作用[24]。

3.2.3 科研成果評估方式

我國長期使用的科技成果評價方式是科技成果鑒定。科技成果鑒定是由同行專家根據國內外研究現狀，聽取成果報告、審閱相關材料后開展的評價活動。這種評價方式側重于對科技成果形式上的鑒定，僅估測了科技成果的經濟價值和潛在收益，并由同行專家提出“國內領先”、“國內首創”、“達到國際領先水平”、“取得突破性進展”或“填補空白”等鑒定意見[24]。

3.2.4 科研成果質量評估

我國一些高校的學術委員會出于工作程序的簡單化和可操作化考慮，以成果數量評價代替了質量評價。對于科研成果是否有創新或突破，是否有社會經濟效益等問題無從考核[25]。盡管現行高校的科研成果質量意識有所提高，但由于科研質量量化難、數量統計易，因此造成“數量是硬指標，質量是軟指標”現象大量存在。

3.3 科研評估的成效

英國對高校科研工作的高度重視以及較為完善的科研評估體系鑄就了英國大學較高的科研成就。以卡迪夫大學為例，20世紀80年代，卡迪夫大學幾乎沒有什么有影響的聲音，90年代開始經過10年的努力，到了2002年，卡迪夫大學便開始進入世界100位。卡迪夫大學生物醫學學科的崛起，是理科和工科的資源整合的結果，更是選擇優勢項目，對新興學科和交叉學科重點突破的結果[23]。2017年ARWU世界大學排名，英國進入前500位的大學數量排名第三，其中，有9所大學進入前100位，6所大學進入前40位，卡迪夫大學則再次進入前100位[26]。

我國不斷努力的科研評估工作同樣促進了科研事業的發展，2009年以來連續四年我國發表SCI論文數量位居世界第二，2011年發表SCI論文總量占世界比例11%，但在Science、Nature和Cell等三大名刊的論文發表量僅占總數的2.4%，2002年至2012年這10年間被引頻次處于世界前1%的論文也僅占總數的7.3% [27]。2017年ARWU世界大學排名我國進入前500位的大學數量排名第二，但僅有2所大學進入前100位，其中，前40位0所[26]。由此可見，我國科研成果顯著增加，但科研質量和科技強國相比仍然差距較大。我國應該立足于國情，借鑒國外先進經驗，創新現行高校科研評價機制，使科研評估體系匹配現有的科研創新模式，才能更好提升科研質量、促進學科發展。

4 ?英國科研卓越框架的啟示

英國REF全面評估英國高校的科研成果，分析各高校的優勢領域，極大促進了英國高校的世界一流化進程。REF是英國高校評估過程中不斷完善形成的新的科研評估機制，對于我國科研評估和“雙一流”建設戰略具有重要借鑒意義。

4.1 科研評估體系以學科為單位，突出特色學科優勢

英國REF最大特色是以學科為單位，以評估引導學科發展，提升學科競爭力[28]。目前我國的科研評估是以高校或地區作為評估對象，無法從統計年鑒或評估調查結果中體現各學科在高校或地區間的發展和差異。加上我國高等教育的撥款模式并非以學科為基礎，導致學科質量和水平下降，失去了自身的特色。為此，應當構建以學科為評估對象的科研評估體系，從而直觀地了解學科發展情況，突出特色學科優勢。同時，為避免高校內部借評估之名干預財政撥款的分配情況，建議將財政撥款直接分配到學院或各學科研究機構。

4.2 建立第三方評估機構，保障科研評估客觀性

英國高校科研評估體系的評估機構是高等教育基金委員會，屬于獨立的第三方中介評估機構，是銜接政府和高校的“緩沖器”[28]。選擇獨立的第三方評估機構既可以避免政府“既當運動員又當裁判員”的尷尬局面，使評估結果更加公平、公正和更具權威性。另一方面，改變“政府-高校”單向評估途徑，鼓勵社會團體參與評估過程，進而完善了利益相關者參與機制。

我國政府在科研評估中起主導地位，“行政命令”往往會影響科研評估的公正性與效績。我國應借鑒REF經驗，轉變政府職能，下放科研評估權力，讓其它評價主體能夠自主地參與到評估過程，在寬松有序的評估環境中激發自身科研水平[29]。目前，我國第三方評估機構數量有限，市場發育還不健全，配套政策和制度建設尚不完善，仍需要不斷改進和發展，才能提升第三方評估結果的公信力[30]。

4.3 注重科研評估內容多樣化、評估方法均衡性，開展分類評價

REF評估所提交的代表性成果可以是研究論文，也可以是新材料、設備、影像、課本、教材等[6]，既可以使論文以外的成果脫穎而出，又能夠展現不同學科、不同機構的特色。為增強評估的包容性，學科評估應當在充分調研的基礎上，擴大學術成果的種類。

在考慮科研評估內容多樣化的同時，還需考慮評估方法的均衡性。REF評估的初衷是采用文獻計量的評估方法，而后在多方咨詢和衡量后改變為以專家評議為主、文獻計量為輔的評估方法[31]。我國學科評估同樣應該在實施過程中聽取不同學科、不同利益相關者的意見，尋找客觀與主觀評價的均衡點，構建更加合理的評估體系。

此外，由于學科的差別，還應考慮分類評價。對基礎研究應注重其長期科研活動產生的原創性成果;對應用研究則應重點關注技術突破和科技成果轉移轉化的效果;對軟科學研究需重點考察科研活動滿足決策支撐需求的情況;對人文藝術應用研究則著重考察其培養人才、社會服務的貢獻等[5]。

4.4 加強質量導向，遵循協同創新，加大評估信息的透明度

REF需要每位參評科研人員提供不超過4篇代表作，評估周期4～6年[22]。與我國“每年一評”、“數文章+看級別”的科研評估方式相比較而言，REF更有利于激發科研工作者從事具有原創性、積累高水平的科研成果。在科研成果質量審核和評定過程中，建議增加原創性成果權重，注重成果的科研價值和社會影響力，鼓勵原創與自主產權。

REF鼓勵不同高校和不同學科之間協作創新，同時也鼓勵跨學科交叉研究。對于不同參評單位重復提交聯合合作署名的成果，REF將給出合作成功的整體評分，各合作單位共同享有該合作成果的評分[5]。目前，我國科研成果評估時只認可第一單位或通訊單位。REF的做法激發了跨單位間科研協作、科研資源共享的動力，更容易獲得高水平科研產出。在我國的科研評估體系中，應引導不同高校和不同學科之間協同創新研究，強化團隊工作的認可機制和激勵機制。

英國高等教育基金每次評估之后都會形成相應的報告，并將評估材料向公眾開放，共享的材料包括：三種評估參數的評估報告的總評、評估會議記錄、提交的科研影響力和科研環境的材料等，被評估機構也有權隱去某些不愿公開的信息[32]。加大信息公開度和透明度，能夠確保同行評議者努力做到公平、公正，同時也能夠讓科研評估成為產生知識的源泉[33]。例如，英國REF有大量評估信息與原始資料向公眾開放，進而會產生許多有關科研評估、學科建設和高水平大學建設等方面的高質量研究[4]。目前，我國的學科評估僅對公眾公開了不同高校學科的最終排名和得分情況，評估過程和評估結果的透明度有待提高，對評估過程和評估結果尚需進行更加深入的分析。

參考文獻

[1] 劉興凱，左小娟.科研卓越框架REF英國高校科研評估的改革創新及其價值取向[J].學術論壇，2015，38（8）：85- 90.

[2] 胡小梵.英國科研卓越框架獨立評估報告出爐[J].世界教育信息，2016（21）：74-75.

[3] 黃小平，陳洋子.“雙一流”大學科技創新能力評價：國 際經驗及啟示——基于對英、法、美、澳科研評價體系的考察[J].江蘇高教，2017（1）：1-5.

[4] 李鋒亮，黃倩殷.英國科研評估制度變化動向及其啟示[J].學位與研究生教育，2015（1）：74-77.

[5] 谷夢琴.英國高等教育機構科研評價體系的變革：啟示與借鑒[J].商，2016（2）：27，87.

[6] REF. 2014：Assessment framework and guidance on submissions[EB/OL].http：//www.ref.ac.uk/media/ref/content/pub/assessmentframeworkandguidanceonsubmissions/GOS%20including%20addendum.pdf. 2011 -02.

[7] 劉莉.英國大學科研評價改革： 從RAE到REF[J].科學學與科學技術管理，2014（2）：39-45.

[8] Rosenstreich Daniela，Wooliscroft Ben. Measuring the impact of accounting journals using Google Scholar and the gindex[J]. The British Accounting Review，2009， 41（4）： 227-239.

[9] 許甜.英國高校科研評價體系的演變：從RAE到REF[J]. 北京教育（高教）， 2016（1）：74 -77.

[10]REF 2014：A brief guide for research users[EB/OL]. https：//www.st-andrews.ac.uk/media/research-policy-office/documents/REF%20guide.pdf. 2012-12-12.

[11]Brown Chris. Exploring the concepts of knowledge adoption and conceptual impact： implications for educational research submissions to the Research Excellence Framework（2014）[J].Education，Knowledge and Economy，2011，5（3）：137-154.

[12]Stand Up for Research of University and College Union. [EB/OL]http：//www.ucu.org.uk/events.

[13]田鋒.英國科學研究卓越框架研究[J].高教發展與評估， 2012，28（6）：17-20.

[14]Mcnay Ian. The impact of the 1992 Research Assessment Exercise in English university[J]. Higher Education Review， 1997（29）： 34.

[15]陸根書，楊兆芳.英國高校科研評估的特點及啟示[J]. 大學：研究與評價，2008（1）：75-82.

[16]談毅，仝允桓.中國科技評價體系的特點、模式及發展[J].科學學與科學技術管理，2004，25（5）：15-18.

[17]The Way Forward 2012-2017-Cardiff University[EB/OL]. http：//www.cardiff.ac.uk/__data/assets/pdf_file/0015/10347/CU_TheWayForward_08.pdf.2014-09.

[18]楊飛，樊一陽.中外科技評估制度比較研究[J].科研管理， 2016（S1）：652-658.

[19]王軍.我國科研績效評估方法的比較分析[J].中小企業管理與科技旬刊，2014（7）：173-174.

[20]張男星.高等學校績效評價報告2012[J].大學：學術版， 2013（11）：10-29.

[21]邱均平.從高校科研競爭力評價向綜合評價的發展——關于“中國高校綜合競爭力評價”的說明[J].評價與管理，2009（3）：55-58.

[22]李漫紅.英國大學科研評估的改革及其借鑒意義[J]. 東北大學學報：社會科學版，2013，15（1）：91-95.

[23]李娜.我國普通高等學校學科建設研究——英國卡迪夫大學的經驗及借鑒意義[J].商品與質量，2012（S6）： 200.

[24]李瑛，鄒立堯.科技評估國際經驗與中國的政策優化[J].天津商業大學學報，2015，35（3）：52-56.

[25]李輝，趙嘉仁.我國高校科技評價的問題及對策研究[J].中國集體經濟，2017（23）：109-110.

[26]2017年世界大學學術排名出爐！卡迪夫大學進入世界100強[EB/OL].https：//mp.weixin.qq.com/s？__biz=MzA4Mjk0NDEzMw==&mid=2650721825&idx=1&sn=be7e4ecd35b4dd358645c85d8ff7046d&chksm=87f467cbb083eeddc392909ce334113cb7b9409fdc54a869366982fc467bdb174d3bbadc4dd5&mpshare=1&scene=1&srcid=08161SEDdGO6BtZOTFUNrCff&pass_ticket=6Fxfhl8OEaOO0IMvA4VGbI1S5CBHYARujD6NkeJmQWmlhtoio9vukGMAkJfY6L%2BV#rd. 2017-08-16.

[27]李宇飛，胡光闊.對我國科研能力評價體系的探析[J]. 價值工程，2016，35（27）： 240-242.

[28]劉興凱，梁珣.英國高校科研評估的制度改革、效應及其借鑒意義[J].清華大學教育研究，2015（3）： 82 - 88.

[29]陳楠楠.試論借鑒國外經驗完善我國高校科研評價體系[J].高教探索， 2017（1）：100-104.

[30]鄧軍.我國科研績效分類評價現狀研究及思考[J].重慶醫學， 2017， 46（15）： 2153，2159.

[31]姜亞洲. 英國國家創新戰略中的高校科研評估制度改革[J].全球教育展望，2012（8）： 51-54.

[32]REF 2014： REF Data managemrnt[EB/OL]. http：//www.ref.ac.uk/subguide/datamanagement/. 2014-12-11.

[33]王兵， 黃紅富， 歸柯庭. 從國家重點學科評審看學科評估的機制設計[J]. 學位與研究生教育， 2008（5）： 65 - 69.