科研卓越框架（REF）：英國高校科研評估的改革創新及其價值取向

劉興凱，左小娟

科研卓越框架（REF）：英國高校科研評估的改革創新及其價值取向

劉興凱，左小娟

2014年12月18日，英國高等教育基金委員會公布了大學“科研卓越框架（REF）”的首次評估結果。評估結果表明，英國大學科研質量穩居世界領先地位，大學研究對經濟和社會產生了廣泛的影響力。科研卓越框架是英國在以往六次大規模科研評估基礎上進行了較大改革的全新科研評估制度，旨在進一步推動國家創新，提升大學研究的國際競爭力。文章總結了英國科研卓越框架的基本特征及其創新，進而探析了評估體系改革的內在價值取向。在此基礎上，提出了借鑒英國科研評估的有益經驗推動我國高校科研內涵式發展的相關建議。

科研卓越框架；科研評估；價值取向

2014年12月18日，英國高等教育基金委員會（HEFCE）公布了首次“科研卓越框架”（REF）評估結果。結果表明：英國高校科研質量穩居世界領先地位，大學研究對經濟和社會產生了廣泛的影響力。英國高校科研評估制度享譽全球，全新的科研卓越框架評估體系更是因其制度性改革而引起了學術界的廣泛關注與討論。“科研卓越框架”（REF）是英國在實施近30年的RAE評價體系的基礎上，經過總結經驗和弊端后于2008年提出并決定在2014年正式發布評估結果的全新高校科研評估機制。REF在秉持公正、客觀、公平的一貫原則基礎上，積極改進評估標準和評估方法，在注重科研質量和科研產出的同時，更加注重科研成果的社會效益和社會影響。REF評估體系的制度性改革及其內在的協同創新和追求卓越的價值理念，對我國高校科研事業的內涵式發展具有重要的借鑒意義。

一、由RAE到REF：英國高校科研評估制度的改革背景

英國自1986年開始推行針對大學的RAE（Research Assessment Exercise）科研評估，這是由英國四家高等教育基金委員會①這四家機構分別為英格蘭高等教育基金委員會（HEFCE）、蘇格蘭基金委員會（SFC）、威爾士高等教育基金委員會（HEFCW）和北愛爾蘭就業與學習部（DFL）。聯合開展的一項全國性的高校科研評估活動，旨在為撥款機構提供高校科研經費分配的依據，從而提高政府撥款和管理的透明度，并促進高校提升科研質量及國際競爭力。1986-2008年期間共進行了六次大規模的科研評估活動。1986年首次實施的“科研選擇性評估”提出了一個明確的并具有一定形式規范的科研質量評估過程；1989年、1992年和1996年的科研評估變得更加透明、綜合，也更加的系統；2001年的第五次評估和2008年的第六次評估則主要采用RAE方式進行，RAE科研評估確保了科研質量評估在高等教育（HE）領域的運用。

六次大規模的評估活動對英國高校事業的發展產生了深遠的影響，有效地加強了英國高校的科研管理，提升了高校科研質量和效率，推動了科研經費的優化配置。但是，伴隨科研評估而來的各種負面效應也日益顯露，從而使得RAE評估不斷遭到質疑。英國下議院科學與技術選擇委員會在2002年發布了一個關于RAE的報告，報告指出了RAE評估產生的積極影響；同時，RAE評估也出現了諸如加重高校行政管理的負擔、破壞學者的學術事業、分組太多導致評估機構臃腫、經費開銷大、滋生學術不端及弄虛作假的行為等[1]。為了應對日益激烈的國際高等教育競爭，緩解政府研究經費的財政壓力，以及回應各界對科研評估資源浪費的質疑，2008年第六輪科研評估后，英國政府委托英格蘭高等教育基金委員會和其他高等教育資助機構聯合制定一種新型的評估制度替代RAE評估體系，這種新的評估制度被命名為科研卓越框架(Research Excellence Frame，簡稱REF)。REF科研評估于2008年開始籌備，2013年遞交評估材料，2014年正式評估并公布評估結果。

二、科研卓越框架（REF）評估制度的改革創新

科研卓越框架（REF）是在RAE基礎上經過調整和改革后提出的一種全新科研評估體系，該體系延續了RAE評估的一貫原則，但是在一些具體操作環節作出了重大調整。

（一）評估指標的調整：強調卓越性與影響力

在REF2014科研評估中，評估指標由RAE中“科研成果、科研環境、科研聲譽”三項指標調整為“科研成果、科研影響、科研環境”，特別新增了“科研影響力”指標。該指標不僅是REF2014改革的關鍵，同時也體現了此次改革更加強調科研的卓越性。2009年12月，英國高等教育基金委員會組織召開了第二次關于REF的商討會，在發布文獻計量試點實驗結果的同時，建議在REF評估中引入“科研影響力”。由于“影響力”指標可以很好地反映卓越研究所產生的良好的社會效益和經濟效益，因此建議給予“影響力”指標25%的權重。REF評估團隊于2010年針對影響力進行了一個試點實驗，以此檢驗和發展REF中的“影響力”評估。2011年3月，英國高等教育委員會發布了關于REF中影響力權重及影響力評估的決定，并最終將“影響力”指標權重減少為20%，同時公布了科研質量和科研環境兩個指標的權重，分別為65%和15%[2]（P1）。

REF將科研影響力界定為科研成果對經濟、社會、文化、公共政策或服務、健康、環境、生活質量等學術界以外的各個方面所產生的效果、變化或收益[2]（P1）。該指標基于影響的“深度”和“重要性”兩個維度從整體上形成一個統一的標準進行評價。在評估方法上主要采用“影響力案例研究+影響力模板”的方法，要求參評機構向評估小組遞交的材料必須包括“案例研究”和“影響力模板”。其中“案例研究”要求必須描述在評估期間（2008年1月1日至2013年7月31日）科研活動產生的特別的影響，“影響力模板”要求詳細描述在評估期間遞交單位進行科研活動產生影響力的方法和途徑，用以輔助“案例研究”。根據“深度”和“重要性”的標準，以及“影響力案例研究+影響力模板”的評估方法，將科研影響力評估結果劃分為五個星級，分別是從無星級到1星級、2星級、3星級、4星級，分別代表沒有影響、影響很小、影響認可但適度、影響非常可觀、影響杰出。

在REF2014發布的對影響力評估結果中，所有遞交的材料中有44%的科研影響被外面的研究使用者和學術委員會成員評為“影響杰出”（即4星級），另外有40%被評為“影響非常可觀”（即3星級），只有13%被評為“影響認可但適度”（即2星級），2%被評為“影響很小”（即1星級）和1%被評為“沒有影響”（即無星級）[3]。從對影響力指標評估的結果來看，超過80%的科研活動對社會、經濟、文化、公共政策或健康等相關領域均產生了杰出或比較可觀的影響。這也充分表明了在REF科研評估中，強調卓越性不僅體現在科研成果的質量上，同時也在科研影響力方面得到很好的表現，并取得了可觀的成效。

（二）評估單元的調整：基于學科設置評估單元與專家小組

REF以學科為基礎設置評估單元，同時根據設置的評估單元設置相應的專家評估小組。在RAE2008中67個次評估小組（sub-panel）和評估單元（Units of Assessment）的基礎上進行了大幅度的精簡，根據學科類別特征進行整合，并最終設置了36個次評估小組及評估單元，在此基礎上的15個主評估小組（main panel）也調整為A、B、C、D四個主評估小組。

評估小組的專家成員面向全國公開招聘，先由各大高校或科研機構具有資格的人員提出申請，再由四大資助機構通過公開的過程提名，公開評選確定。主次評估小組的專家成員要求要有控制、管理、評估高質量研究方面的經驗，并且做好充分準備，從個人、公共和第三部門視角進行研究影響評估。36個評估單元以及相應的次評估小組都在四個主評估小組的指導和領導下開展工作。A、B、C、D四個主評估小組中，每個小組的成員由主席、次評估小組管轄范圍內的主席、國家專家成員、科研使用者和廣泛的受益者組成；此外還邀請主要利益相關者作為主評估小組相關評估會議的評估員（assessor）；36個次評估小組的成員由主席、評估成員（10～30名，根據領域的規模和深度而定）組成。為了確保次評估小組在科研評估的實踐中足夠專業，具有深度地完成評估任務，需要額外挑選一些評估員。評估員要求要有利用或受益于學術研究的專業經驗，特別是有利于對科研影響力評估的經驗，參加過特定專業的研究，特別是對科研成果評估有利的[4]（P7）。

（三）評估標準及方法的改革：同行專家評估為主、定量評估為輔的評估方法

REF評估在RAE的基礎上更為強調科研卓越性與創新性的評估標準。2012年1月，英國高等教育基金委員會發布了REF評估中有關產出、影響和環境的通用評估標準，對于科研產出，要求各次級評估小組應參照國家研究質量標準，從原創性、重要性、嚴謹性的角度進行評價；對于科研影響，要求各次級評估小組對被評機構從事的卓越研究對經濟、社會、文化的影響，從程度和重要性兩個方面進行評價；對于科研環境，則要求各次級評估小組從活力和可持續性方面進行評價。

REF對“科研成果、科研影響力、科研環境”的評估，最初曾設想以文獻計量作為主要評估方法，在2007年11月關于REF的第一次商討會中，討論了關于文獻計量法在各跨學科之間的使用，并于2008年2月14日發布了對文獻計量法評估的分析報告。報告指出，REF的評估盡可能以定量評估為基礎，在不同學科之間為適應其學科性特點而形成一個評估框架。針對科學性和理工科學科的評估以文獻計量指標（Bibliometric Indicators）為主要評估方法，而針對諸如藝術、人類學和社會學這類的人文學科的評估在計量（metrics）的基礎上有一個少量的同行評議的過程。但以定量評估為基礎的文獻計量評估方法在試點操作中暴露出了較多的問題；同時，在面向全國的咨詢中，大多數受訪者對文獻計量法也提出了質疑。他們認為文獻計量不能直接對科研質量進行評估，只是對科研質量的評估提供了一個相關的指標；大多數受訪者認為文獻計量指標只注重學術界的知識的影響，而并不能提供一個全方位的參考，特別是忽視了科研實際應用的影響以及對科研成果使用者的影響。因此，大多數人認為文獻計量指標法評估應與其他相應的評估法相結合使用。

在REF初期以文獻計量為主要評估方法的試行階段和咨詢中出現的各種問題，經過考量商議后，最后采用了以同行專家評估為主，定量評估（文獻計量）為輔的評估方法，以此來確保專家評議對評估活動整體方向的把握，更好地提高科研評估的準確性和透明性。對于人文學科主要采用專家評議方式，理工科采用文獻計量方式。在同行專家評估為主、定量評估（文獻計量）為輔的評估方法中，同行專家評議起著決定性的作用。因此，在REF的籌備過程中，評估方法經歷了一個由完全的“文獻計量法”到“同行專家評議為主，文獻計量為輔”的轉變過程。

（四）參評人員的調整：簡化人員分類、降低評估工作量

在2008RAE的評估體系中，參評人員分為A、B、C、D四類。A類參評人員指那些與高等院校機構（HEIS）簽訂合同、在崗在薪的學術人員，也可以說是院校的全職學術人員；B類參評人員是指在2001年1月與院校簽訂合同，或是在此之后到統計日前解除合同的人員；C類參評人員是指獨立的科研人員，即指在統計日期間在科研方面比較活躍，并且受到本院校或者本機構重視的人員，且不符合A類參評人員資格；D類參評人員是指在評估期限內（2001年1月1日-2007年10月31），但統計日期不在崗的非C類的獨立科研人員[5]（P1）。在這四類參評人員中，均可以向科研評估機構提交相關材料，但在RAE的評估流程中，對一些參評人員是否確實從事了科研活動出現了質疑，因此最終對相關學科科研質量的評價產生了影響。鑒于RAE參評人員分類較多導致的評估復雜性問題，英國高等教育基金委員會簡化了REF評估體系中有關參評人員的分類，將RAE中的四類參評人員簡化為兩類：一類是機構人事資料上有案可查的受聘學術人員，即與參評學科簽署了雇傭合同并擁有人事檔案的學術人員，他們的主要工作是研究、教學或兩者兼而有之；另一類是人事資料在其他機構的受聘人員，但確實受雇在受評部門從事研究活動的人員[6]。

三、科研卓越框架（REF）的價值理念及啟示

英國基于卓越框架的科研評估會對社會及高校產生何種影響目前尚不明確，但是REF評估制度中所遵循的基本原則，尤其是其內在的價值理念，是推動英國高校科研卓越性及國際競爭力的重要源泉。這種理念對于當前正處于謀求規模向內涵轉型的我國高校科研事業也具有非常重要的啟示和借鑒意義。

（一）公正理念：半官方評估機構主導下的科學決策機制

無論是社會政策領域，還是社會管理方面，公正都是需要必須堅持的基本理念，特別是涉及個人或組織利益方面的問題，公正理念就顯得更為重要。在英國的高校科研評估中，公正是評估活動首要的基本原則。這一點尤其體現在評估體系中半官方評估機構的設置，即英國高等教育基金委員會。這些半官方評估機構主導高校的科研評估活動，并科學地進行相關評估決策，政府部門不直接干預高等教育基金委員會的評估，而是從旁協助。這種半官方機構主導的科學評估決策機制，有意識地在評估中“去行政化”。此外，英國科研評估體系的公正理念也體現在對高校的撥款方面，英國對高校的經常性科研撥款是以科研評估結果作為依據的，而半官方性質的高等教育基金委員會作為政府和高校之間的“中介組織”，正如托尼·布里恩（Tony Brinn）等學者所言，采用“中介組織”開展科研水平評估的主要目的是為了協調和緩和政府與學校之間的關系，在政府與高學之間建立起一片“中間地帶”和充當一個“緩沖器”[7]。因此，高等教育基金委員會成為一個責任主體，來促進政府和大學之間的協調制約。英國財政局對高校的科研經費撥款劃撥給高等教育基金委員會，然后高等教育基金委員會以評估結果為依據，按照公式化模式對高校進行科研撥款。這樣的第三方協調，使得對高校的科研撥款較為公正，防止因政府的單向評估撥款而造成的不公。

總之，在REF的整個評估體系中，采用半官方機構主導下的科學決策機制，不僅堅持了公正理念，同時有效地避免了政府直接評估的弊端，政府在評估體系中的角色成為一個“掌舵者”而不是“劃槳者”。結合我國高校科研事業來看，雖然國家一直在號召深化科技體制改革，但是實踐中政府部門在評估活動中起著主導作用，即使在2013年12月發布的《教育部關于深化高等學校科技評價改革的意見》中依然強調了行政部門在科技評價中的作用，可見我國高校的科研評估長期以來是以政府為主導的評估，缺少其他利益集團的參與，在評估中也就缺乏相關的監督，其科研評估的行政化現象嚴重，亦不能保證在評估中面向社會的公正性，也難以提高國家和高校的科研水平和科研質量。因此，我國應加強科研評估組織的管理，可以借鑒英國半官方機制，在我國設立權威的半官方的中介機構，使得相關利益集團廣泛參與，轉變政府在高校科研事業中的角色，從一個直接掌控的角色轉變為一個為高校科研事業服務的角色，減少在高校科研事業中的行政性質，真正做到“去行政化”，從而確保高校科研評價的公正性。

（二）學科理念:基于學科的新型高校科研評估體系

在REF的整個評價體系中貫穿著“學科理念”。從評估單元的設置來看，評估單元設置的依據是學科性質，以學科為基礎設置36個評估單元及次評估小組，并根據評估單元設置四個主評估小組。各評估小組的成員都要求在相關學科領域具有學術研究的專業經驗和具備資深的學科背景，同時強調專家來自廣泛的學科領域，吸納跨學科專業知識的專家；從評估方法來看，在采用同行專家評估為主、定量評估為輔的評估方法基礎上，在不同學科之間為適應其學科性特點而形成一個評估框架，針對理工科和自然科學類學科以文獻計量法為主，而人文社會學科則以同行評議或專家評議為主；從評價標準來看，在以“科研成果、科研影響力、科研環境”為主的基礎上，各評估單元根據學科特點有不同的評估標準。REF評估體系充分考慮了學科特點和學科性質，形成一種以學科為依據的新型高效科研評估體系。

與英國REF基于學科的新型評估體系相比，我國的高校科研評估更多的是強調“分類評價”，即以科技活動人員、創新團隊、平臺基地、科研項目等不同對象，按照基礎研究、應用研究、技術轉移、成果轉化等不同工作的特點進行分類評價，而不是按學科的特點和性質進行分類。另外，我國的高校科研評估標準單一，忽視學科差異性，常采用發表論文、著作等數量指標作為評價標準，對學科的評估采取“一刀切”，忽視學科之間的差異，從而會導致科研評估出現重形式輕實質的現象，則會引起高校的科研成果發表唯“核心”期刊、SCI和IES是從的現象[8]。因此，我國高校的科研評估事業，應根據高校類型、科研水平和科研能力建立多元的評估標準，改變“一刀切”的模式；同時，根據不同學科性質和特點劃分評估類別，不同的學科類別應擬定不同的評估標準，重視學科差異性，將“學科理念”合理地融于科研評估體系中。借鑒英國REF中以學科為基礎，引導特色學科發展，增強學科競爭力，根據人文學科和自然學科的不同特點并結合我國科研實際發展特色，完善我國高校科研評估體系。

（三）卓越理念：強調研究的質量、創新及影響

REF評估在注重質量、強調創新的同時，更加強調其卓越性追求，追求科研成果在國際上的競爭力。在所有研究類型中均注重卓越性，無論是在應用型研究，還是在基礎性研究中，都強調“原創性、重要性、精確性”。科研質量是REF評估的核心，對科研成果的質量評估按照“獨創性”（originality）、“意義”（significance）和“嚴謹性”（rigour）的標準劃分為四個星級等級，從而引導高校科研人員追求高質量、獨創性的研究，增強科研成果的創新性。此外，英國根據科研成果的等級給各高校劃撥科研經費，通過以科研質量為核心的績效撥款制度調節科研經費，將經費投入達到國際先進水平的科研項目，促進科研國際競爭力的提升，這也是英國追求卓越性的體現。與此同時，REF中新增“科研影響力”評估成為了科研評估改革的關鍵，科研影響力注重科研成果對社會、經濟、政策等方面的影響，直接體現了英國的科研評估重視社會效益，科研影響力評估同時又為科研成果最后的等級評估提供有力支持，對產出高質量的科研成果有一定的導向作用。

從科研的卓越性方面來看，我國在科研評估中缺乏追求卓越性的理念。雖然我國對高校的科技評估一再強調要注重科技創新質量和實際貢獻，鼓勵產學研協同創新，追求卓越，但是在實際的科研評價過程中卻忽視了卓越性，注重科研規模數量輕質量；出現重視立項獲獎及論文引用量，忽視科研成果的實際應用和社會影響，而單靠論文的引用量或論文發表的刊物影響力是不能夠體現其研究的影響力和創新力的。為了提升我國科研創新能力，適應全面提高質量和創新驅動的時代發展要求，促進高校科研事業的發展，我國高校科研事業發展必須堅持以質量創新為導向，同時注重對科研社會效益和社會影響力的評估，根據不同學科領域產生的科研影響力和社會效益制定評估標準。

（四）協同理念：鼓勵不同高校和學科之間的協同創新

在REF評估體系中，協同理念主要體現在兩方面：一方面是高校之間的協同創新，REF鼓勵不同類型的高校之間開展合作研究，共同提交評估材料和申請，評估委員會只對合作研究進行整體評價，不對每個單位的具體貢獻進行評價，同時REF在不同大學的申請中允許提交共同署名的研究成果，且不論署名的先后，都視作科研人員的成果，這樣就可以促進和加強高校之間的交流，促進高校之間的協同創新[9]。另一方面是學科之間的協同創新，REF在RAE的基礎上對評估單元進行調整精簡，促進了學科之間的融合協同，相近學科之間的科研合作有利于推進跨學科創新，在交叉學科的領域尋找新的突破點，從而進行創新性研究，在許多的研究形式中鼓勵不同專業背景研究者合作，進行跨學科和多學科的研究。此外，在不同評估單元評估人員的選拔中，也要求來自廣泛的學科領域，這就鼓勵研究者從事多學科研究，重視學科之間的交流和創新。

我國目前的高校科研事業中，各高校之間也有大量的學術交流，但是由于我國高校的類型不同，常常采用分層分級的評價模式，阻礙了科研活動中高校之間的協同創新。我國的科研評估體系中，比較重視第一作者、科研項目主持人等，強調個人利益，忽視協同創新，特別是對科研項目的評價中，由于過于強調項目主持人的貢獻而忽視整個團隊的協作貢獻，因此許多科研項目（尤其是人文社會科學項目）雖然是以團隊的形式申報，但獲批之后實際操作往往是單打獨斗，從而使得科研項目越做越分散，并造就大量“科研個體戶”。這種評價模式也勢必會阻礙校際之間、校企之間的資源共享與合作，從而不利于協同創新[10]。另外，在學科協同創新方面，與英國的科研評估比起來，雖然我國針對不同的學科領域也采用不同的評估標準，但是只是針對人文和自然這樣的大的學科類別進行劃分，很少考慮到學科的分類和學科的融合綜合評估，而學科協同創新的核心就是各學科的參與和融合，在科研評估中明顯的學科界限不利于學科協同創新。近年來，高校“協同創新”逐漸成為熱議的話題，旨在打造學科集群，提升科研能力。面對這樣的呼聲，我國的科研事業發展可以借鑒英國REF中的高校和學科協同理念，在科研評估中建構一套“協同評估”機制，將高校之間的協同創新和學科之間的協同創新作為主要的評估指標，以此來打破學科界限和高校獨立科研，促進協同創新，提升科研能力。

2015年兩會期間，科技部長萬鋼在回答記者有關如何全面深化科技體制改革問題時強調，特別是做好科研的評價和評估，以及經費監管方面的工作[11]。因此，如何借鑒國際經驗，通過深化科研評估推動科技創新，進而提升科研國際競爭力，成為當前科研領域的重要問題。經過深度調整的英國REF科研評估體系勢必會對英國高校科研事業的發展產生重大影響。當然，由于科研評估是一項涉及面較廣的復雜過程，REF在后續的實施過程中也可能會不斷暴露出一些問題，因此我們在借鑒英國科研評估改革經驗的時候，需要根據實際情況去粗取精，在探索中推動我國高校科研評估工作的完善和發展，以此優化我國高校科研管理，增強科研實力與競爭力，以及將科研成果轉化為現實生產力的能力，進而促進我國經濟社會的發展。

[1]劉興凱，梁珣.英國高校科研水平評估及其對我國的啟示[J].當代教育科學，2014，（23）.

[2]REF2014.Decisions on Assessing Research Impact[R]. Bristol:REF,2011.

[3]REF2014.Key Facts[R].Bristol:REF,2014.

[4]REF2014.Units of Assessment and Recruitment of Expert Panels[R].Bristol:REF,2010.

[5]RAE2008.Generic Statement on Criteria and Working Methods[R].Bristol:RAE,2006.

[6]王中向.英國REF評估框架研究[J].高教探索，2013，（4）.

[7]Brinn T,JonesM J,Pendlebury M.Why do UK Accounting and Finance Academics not Publish in Top US Journal?[J].British Accounting Review,2001,(33).

[8]劉恩允.高校科研評價的問題與對策[J].高等工程教育研究，2004，（1）.

[9]徐明稚，王永林，方建安.改進我國高校科研評價的思考和建議[J].中國高校科技，2013，（8）.

[10]杜德斌，李鵬飛，王俊松，馬亞華.我國高校科技評價體系改革的思考與建議[J].中國高等教育，2013，（1）.

[11]科技部長萬鋼答記者問實錄 [EB/OL].http://news.sina.cn/gn/2015-03-11/detail-icczmvun6659235.d.html?from=mbaidu&stun=20007&vt=4,2015-03-11.

[責任編輯：陳梅云]

劉興凱，天津理工大學法政學院副教授，碩士生導師，博士；左小娟，天津理工大學法政學院教育經濟與管理2014級碩士研究生，天津 300384

G511

A

1004-4434(2015)08-0085-06

天津市哲學社會科學規劃項目（TJYY13-050）；教育部中青年骨干教師國內訪問學者項目（2014）的階段性研究成果