評估方案：在批評聲中推行

王大鵬/編譯

●很多政府部門正在評估大學(xué)研究的質(zhì)量，這使得很多研究人員大為沮喪。

兩年前，英國蘭卡斯特大學(xué)（Lancaster University）的科研人員發(fā)現(xiàn)他們在績效評估方面無所適從。他們每個人都要提交過去幾年里發(fā)表過的四篇最好的文章，然后再用幾個月的時間來讓同事們組成的評審小組判定這些文章的質(zhì)量，這些評審小組的成員至少有一個是大學(xué)之外的。那些評審不合格的科研人員會得到各種形式的幫助，包括一個更具經(jīng)驗的同事的輔導(dǎo)、提前休假或者暫時離開教學(xué)工作。

該所大學(xué)并沒有實施這項巨大的工作，而只是確保其科研人員做好自己的本職工作。這項評估工作是為了研究卓越框架 （the Research Excellence Framework，簡稱REF）做準(zhǔn)備而進(jìn)行的一次演練，該框架是一個即將在英國各所大學(xué)和公共研究機構(gòu)開展的對科研質(zhì)量進(jìn)行大規(guī)模評估的活動，并且將于2014年正式啟動。

開展本次演練的初衷是“找到那些我們可以幫助科研人員提升自身形象的領(lǐng)域”，蘭卡斯特大學(xué)主管科研的前大學(xué)副校長特里沃·麥克米蘭（Trevor McMillan）如是說。他認(rèn)為，讓人欣慰的是評估結(jié)果表明同最近一次開展于2008年的全國性評估相比，本次評估的得分要高很多。

但是其他的模擬評估活動進(jìn)展的并不順利。一項由英國高校聯(lián)盟 （the University and College U-nion，簡稱UCU）對超過7000名英國高校科研人員開展的調(diào)查 （該調(diào)查結(jié)果于2013年10月3日發(fā)表）表明，大約有12%的科研人員說他們被告知：如果在本校開展的演練評估中無法達(dá)到該校設(shè)立的研究卓越框架基準(zhǔn)的話，在真正的研究卓越框架開始之前他們將同學(xué)校簽訂只從事教學(xué)（而不從事科研）的協(xié)議（見go.nature.com/eqiirr）。還有大約10%的科研人員說他們面臨著晉升的道路被堵死的問題。卡迪夫大學(xué)（Cardiff University）的考古學(xué)家同時也是該大學(xué)研究卓越框架的英國高校聯(lián)盟聯(lián)絡(luò)人的彼得·格斯特（Peter Guest）說，為了不拉低科研人員所在院系的評分，在卡迪夫大學(xué)大約有10名在模擬評估中不達(dá)標(biāo)的科研人員被迫和學(xué)校簽訂了只從事教學(xué)的協(xié)議。這種形式的博弈是讓人沮喪的，但是并沒有得到研究卓越框架的明令禁止——然而，把對大學(xué)科研人員的職業(yè)抉擇完全“托付”給這種評估是違背大學(xué)自身的政策以及其他制度的，格斯特說道。

卡迪夫大學(xué)這些經(jīng)歷表明，對于科研機構(gòu)來說，在研究卓越框架預(yù)先設(shè)定分?jǐn)?shù)的基礎(chǔ)上來做出職業(yè)生涯決策是非常誘人的，但這些分?jǐn)?shù)是高度主觀的。格斯特也認(rèn)為這既不可靠又不公平。（為了回應(yīng)這個事件的一些問題，該大學(xué)的一個發(fā)言人在一封郵件中這樣說道：“我們有一個已經(jīng)運行了長達(dá)四年之久的長期項目，其目的是確保我們同科研人員簽訂的協(xié)議能夠反應(yīng)他們實際的工作量。”）

即使在模擬評估中取得了很高分?jǐn)?shù)的很多科研人員也對此感到憤怒。在英國全境內(nèi)，科研人員把這種全國性評估看作是一種會扼殺科研人員創(chuàng)造性的官僚作風(fēng)。

承受壓力

蘭卡斯特大學(xué)的大多數(shù)科研人員認(rèn)為這種研究卓越框架的模擬測試只不過是一種“有點讓人煩惱的”官僚作風(fēng)，而實際情況并非如此。該校的數(shù)學(xué)和統(tǒng)計系的一名科研人員說，“我們讓本部門的頂尖科研人員致力于研究卓越框架籌備，但是這占據(jù)了他們大約三分之一的精力。看起來是一種人才的浪費。”太多的科研人員把精力放在了獲取資金支持或者試圖預(yù)測什么樣的工作在接下來的評估中能夠獲得獎賞，而不是做他們能做的最好的科學(xué)研究，英國牛津大學(xué)（University of Oxford）的實驗心理學(xué)家多蘿西·畢曉普 （Dorothy Bishop）說道。“我認(rèn)為這些天來很多科研項目都沒有很好地開展下去，因為科研人員正在試圖做太多其他的事情。”

但是大學(xué)的管理者們和政府官員們已經(jīng)開始依靠這些評估的結(jié)果來幫助他們決定如何分配科研經(jīng)費。這種觀念在教育部門的領(lǐng)導(dǎo)人中間很普遍，以至于其他國家也開始效仿英國，澳大利亞、意大利、德國和其他國家也采取了類似的做法。

在20世紀(jì)80年代末期，英國成為第一個對其大學(xué)研究的質(zhì)量進(jìn)行系統(tǒng)性評估的國家。研究卓越框架只是該系列評估方法的一種最新形式。以前的評估形式是研究評估考核（the Research Assessment Exercise,簡稱為 RAE），人們廣泛地認(rèn)為這種評估方法有助于改善該國的研究體系。在2006年到2010年期間，英國科研人員發(fā)表的學(xué)術(shù)文章的引用率提升了7.2%，這比全球6.3%的平均水平還要高一些；根據(jù)一份由愛思維爾（Elsevier）出版社在2011年為政府開展的分析表明，英國的引用率份額每年增加0.9%。

英國政府利用這個評估的結(jié)果來向大學(xué)分配每年超過16億英鎊（約合26億美元）的項目經(jīng)費。這些經(jīng)費的70%以上都被那些排名前20左右的大學(xué)拿走了——去年（2012年），牛津大學(xué)得到了超過1.3億英鎊的與研究質(zhì)量相關(guān)的經(jīng)費——然而，那些最小的、研究能力最差的科研機構(gòu)只能靠幾萬英鎊勉強度日。這些評估結(jié)果被迫不及待地整合成一個排名榜，而該排名榜則顯示了哪些大學(xué)在哪些學(xué)科中科研能力最強（見“前五強”）。

“該評估的聲譽同其財務(wù)一樣重要，”麥克米蘭說。那些在特定學(xué)科方面具有很強研究能力的一些小型科研機構(gòu)——比如蘭卡斯特大學(xué)的物理學(xué)——認(rèn)為這個評估的一個后果就是他們在那些研究能力較強的學(xué)科中錄取學(xué)生變得更容易了。其后效還不止如此。“還有一個收獲就是人們真的希望到那些在研究評估考核中表現(xiàn)優(yōu)異的部門就職，我們發(fā)現(xiàn)在物理學(xué)領(lǐng)域招聘到高質(zhì)量的科研人員變得容易了。”麥克米蘭說道。

對于研究卓越框架來說，各大學(xué)要把從本校最活躍的研究人員中遴選出的學(xué)術(shù)成果提交給十多個具體科目評審組中的一個，這些大約相當(dāng)于大學(xué)院系的評審組被稱為評估處（Units of Assessment）。評審組通過同行評議和諸如引證指標(biāo)等標(biāo)志來評估這些研究的質(zhì)量。而且他們還將首次評估大學(xué)科研項目的經(jīng)濟(jì)效益和社會效益。

對科研人員的評估在全球范圍內(nèi)都存在，但是各國的做法不盡相同英國名稱：研究卓越框架下次評估時間：2014年被抽查的科研人員提交自2008年以來發(fā)表的4篇學(xué)術(shù)成果。通常由院系領(lǐng)導(dǎo)來決定哪些人在評估范圍內(nèi)。每個院系對其研究的經(jīng)濟(jì)和社會影響提供一個描述。有專家小組對提交的內(nèi)容進(jìn)行評估，并給每所大學(xué)提供一個質(zhì)量報告。在分值方面，質(zhì)量占到總分的65%，影響力占20%，科研環(huán)境占15%。評估的結(jié)果對外公布，并且作為分配政府“質(zhì)量相關(guān)”科研經(jīng)費的參考，2013年的科研經(jīng)費總額超過16億英鎊（26億美元）。意大利名稱：大學(xué)體系和研究評估國家機構(gòu)下次評估時間：未知科研人員提交他們在2004年到2010年間發(fā)表的三篇科研成果——如果沒有教學(xué)任務(wù)就要提交六篇。14個學(xué)科小組對這些研究產(chǎn)出進(jìn)行評估。科學(xué)小組大量地利用文獻(xiàn)統(tǒng)計學(xué)。大型、中型和小型的大學(xué)會進(jìn)行各自的排名，科研機構(gòu)和大學(xué)內(nèi)設(shè)的聯(lián)盟也分別排名。評估的結(jié)果會對外發(fā)布，并且用來分配2013年大學(xué)研究經(jīng)費中大約5.4億歐元（7.29億美元）的科研經(jīng)費。德國名稱：研究評估下次評估時間：未知到目前為止，已經(jīng)開展了4次試點性的研究評估，這些評估主要是在化學(xué)，社會學(xué)，電力工程以及英國研究和美國研究方面。15-20人組成的評估小組對每個研究機構(gòu)遴選出的出版物的質(zhì)量進(jìn)行評估。評估小組成員還試圖促進(jìn)年輕科研人員的培養(yǎng)和技術(shù)轉(zhuǎn)移的發(fā)展。在本月（即2013年10月）政府正在考慮出臺一項決策，以決定是否繼續(xù)開展這項評估并且把評估的范圍擴展到所有的學(xué)科領(lǐng)域中。評估的結(jié)果會對外公布，但是不會用來作為分配科研經(jīng)費的依據(jù)。澳大利亞名稱：澳大利亞卓越研究下次評估時間：2015年各大學(xué)追蹤其科研人員的所有研究產(chǎn)出：在2012年就提交了超過40萬篇科研論文。專家小組利用評估各種評估方法對這些產(chǎn)出進(jìn)行評估，其中的一些方法包括引用率，專利授權(quán)，研究經(jīng)費，以及研究人員在學(xué)術(shù)研究團(tuán)體中的聲譽等。評估結(jié)果會對外公布以讓各科研機構(gòu)間進(jìn)行對比，但是這個結(jié)果只用來分配大約6800萬澳元（6400萬美元）的科研經(jīng)費。

即使是對這項評估持反對意見的人也認(rèn)為它們對國家的研究體系產(chǎn)生了一些積極的影響。因為這個評估通過科學(xué)研究的質(zhì)量來評判科研人員的學(xué)術(shù)水平，所以很多院系試圖削減其他需求，比如行政管理工作，格斯特說。此外，評估的結(jié)果清晰地表明了哪些院系和科研人員沒有盡心盡力，所以各大學(xué)可以在如何投入資源方面做出策略性決定。

倫敦大學(xué)皇家霍洛威學(xué)院 (Royal Holloway,University of London)在1986年完成第一次研究評估后就面臨著這樣的境況，當(dāng)次評估把該大學(xué)的心理學(xué)系排在了全國倒數(shù)第一的位置，認(rèn)知心理學(xué)家兼該學(xué)院心理學(xué)系研究主任凱西·拉斯特爾(Kathy Rastle)說。認(rèn)識到通過聘用知名專家可能無法提高其排名，該學(xué)院的心理學(xué)系認(rèn)為應(yīng)該吸收并培養(yǎng)年輕的人才。“我們盡量把精力放在那些我們認(rèn)為發(fā)展?jié)摿薮蟮娜藛T身上，”拉斯特爾說。

她說，皇家霍洛威學(xué)院為那些處于職業(yè)發(fā)展早期的心理學(xué)家們提供了 “大量的且量身定做的”職業(yè)發(fā)展方案，這些職業(yè)發(fā)展方案保證心理學(xué)家們?nèi)肼毢蟮那皟赡陼r間里幾乎沒有任何教學(xué)任務(wù)。在撰寫經(jīng)費申請書的過程中，他們還從經(jīng)驗豐富的同事們那里獲得幫助。

經(jīng)過了為期20年的苦心經(jīng)營后，該校的心理學(xué)系在2008年的研究評估考核中進(jìn)入了全國前十名的行列。它還有更大的雄心壯志。拉斯特爾說，“我希望把研究卓越框架看作是一個機遇，通過它來展示我們做了什么，并且提升我們的排名。”

理念的擴展

隨著其他國家開始實施本國的研究評估活動，它們也希望得到同樣的收益。今年（即2013年），意大利出版了它們于2011年開展的評估的結(jié)果 （見《自然》，http：//doi.org/nrx；2013）；其目標(biāo)是提升全國各個大學(xué)的精英制度，當(dāng)前這些大學(xué)中職級和教齡相同的科研人員的收入是完全一樣的，不管他們的產(chǎn)出是否一樣。“并沒有激勵措施來改善你的研究表現(xiàn)，”在位于羅馬的意大利國家研究委員會（the National Research Council of Italy）從事文獻(xiàn)計量學(xué)研究和研究評估的吉奧瓦尼·亞伯拉默（Giovanni Abramo）說。“現(xiàn)在政府撥給大學(xué)的研究經(jīng)費中的一部分要根據(jù)這個評估的結(jié)果來分配。”

對于那些有教學(xué)任務(wù)的科研人員來說，意大利只評估他們的三篇研究論文；而澳大利亞則對本國大學(xué)中科研人員的所有研究產(chǎn)出進(jìn)行評估，并且把這些產(chǎn)出看作是澳大利亞卓越研究 （Excellence in Research for Australia簡稱ERA）活動的一部分，最近的一次評估活動開展于2012年。只有相當(dāng)小的一部分經(jīng)費的分配取決于評估結(jié)果：今年（2013年），（評估結(jié)果的）排名決定了6800萬澳元（6400萬美元）經(jīng)費的分配。評估結(jié)果主要用來給科研機構(gòu)提供一種觀點，這些觀點表明這些科研機構(gòu)的研究水平在全國以及國際上處于什么位置，澳大利亞研究委員會的首席執(zhí)行官艾丹·拜恩（Aidan Byrne）說。

拜恩說，這些實踐帶來了收益。比如，它有助于研究委員會以合理的方式來分配其8億澳元的競爭性經(jīng)費組合。開展一輪評估要花費400萬澳元，拜恩說，“這在質(zhì)量控制方面是一種非常有效的方法。”他說，雖然在澳大利亞卓越研究和撥款過程之間沒有正式的關(guān)聯(lián)，但是對經(jīng)費申請進(jìn)行同行評議的科研機構(gòu)意識到了澳大利亞卓越研究的結(jié)果，并且這些評估結(jié)果會被納入到他們的決策之中。

持續(xù)的傷痛

對意大利、澳大利亞和其他國家最新一輪的評估活動如何影響該國的研究環(huán)境進(jìn)行評判還為時尚早。但是研究人員們說他們看到了有一定年份的英國項目并且知道其中的一些弱點。

英國高校聯(lián)盟的一個國家產(chǎn)業(yè)關(guān)系官員斯蒂法諾·費勒(Stefano Fella)說，英國高校聯(lián)盟調(diào)查中的一個主要擔(dān)憂是很多大學(xué)規(guī)定其科研人員在2008年到2013年之間必須有4個高質(zhì)量的出版物。在接受該調(diào)查的所有科研人員中，有67%的科研人員認(rèn)為如果不增加額外的工作量他們將無法提供規(guī)定的產(chǎn)出，還有34%的科研人員認(rèn)為這種壓力會影響他們的健康。費勒還說，很多科研人員表示這種調(diào)查改變了他們工作的方法——比如，很多人可能會在評估期間匆忙地發(fā)表學(xué)術(shù)成果，即使這些工作可能在稍晚發(fā)表更獲益。“他們不考慮展示其研究的最佳方式”，費勒說，“而是考慮什么才是最適合研究卓越框架要求的。”

密蘇里堪薩斯大學(xué)（the University of Missouri-Kansas City）的經(jīng)濟(jì)學(xué)家弗里德里克·李（Frederic Lee）研究了英國的研究評估體系如何影響了他的學(xué)科（即經(jīng)濟(jì)學(xué)）。在20世紀(jì)90年代就職于英國萊斯特的德蒙福特大學(xué)（De Montfort University）時，他就直接地經(jīng)歷過兩輪評估。他認(rèn)為那些研究替代理論（比如馬克思主義經(jīng)濟(jì)學(xué)理論）的經(jīng)濟(jì)學(xué)家們已經(jīng)被排擠出了經(jīng)濟(jì)學(xué)領(lǐng)域，因為該評估一貫地偏好那些精英科研機構(gòu)的主流工作，以及在一小部分期刊上發(fā)表的成果。他說，“出現(xiàn)了一種導(dǎo)致研究主題同質(zhì)性的盲從效應(yīng)。”

李還說他從來沒有被強迫放棄他在英國對正統(tǒng)經(jīng)濟(jì)學(xué)理論的歷史所進(jìn)行的研究，而是被鼓勵把他的研究成果提交給特定的主流期刊，這些期刊對他研究成果的發(fā)表來說還有一線生機。其他科研人員告訴他說他們被迫轉(zhuǎn)移到更加傳統(tǒng)的研究主題上來，甚至有些科研人員被主要科研機構(gòu)的相關(guān)院系“掃地出門”。《自然》同曼徹斯特大學(xué) （University of Manchester）研究替代理論的一名經(jīng)濟(jì)學(xué)家進(jìn)行了交流，他離開了該大學(xué)的經(jīng)濟(jì)系，部分原因是對研究評估考核友好型理論的關(guān)注意味著理論發(fā)展的前景似乎是根本不存在的。

科研人員們特別擔(dān)心對研究卓越框架中研究的影響力進(jìn)行評估的活動。他們擔(dān)心這會釋放出一種對短期的應(yīng)用型研究偏好的信號，而冷落了那些沒有明顯的、即刻公益性的基礎(chǔ)研究。“就我而言，人們應(yīng)該做好的科學(xué)研究，而不是通過這種讓人震驚的策略性方式來思考科學(xué)”，畢曉普說，“有些好的科學(xué)是需要花費很長的時間才能展現(xiàn)出來的。”

“人們應(yīng)該做好的科學(xué)研究”

用在提交報告方面的時間，精力和經(jīng)費也是一個主要的疑慮：根據(jù)2009年對這些實踐的一項研究表明，籌備2008年的研究評估考核消耗掉了4700萬英鎊的大學(xué)經(jīng)費。諸如蘭卡斯特這些規(guī)模較小的大學(xué)要求其一些科研人員花費數(shù)月的時間來對模擬研究卓越框架的申請進(jìn)行評審。對于行政管理人員來說，其時間壓力可能會更大，這些管理人員可能要聘用外部人員來開展研究卓越框架的工作，畢曉普如是說。比如，倫敦大學(xué)學(xué)院已經(jīng)聘用了四名編輯顧問來開展有關(guān)評估的影響力方面的工作。

麥克米蘭說在籌備一個新標(biāo)準(zhǔn)的時候，花費多一點的時間和經(jīng)費是自然而然的事情。“這是一個我們不太適應(yīng)的維度。”他還認(rèn)為蘭卡斯特大學(xué)的行政管理人員聘用了外部的專業(yè)編輯人員來對這個過程的最后一部分提供幫助：對科研人員和大學(xué)的研究輔助部門撰寫的案例研究和影響陳述報告進(jìn)行潤色。另外，麥克米蘭本人每周要花兩到三天的時間來對蘭卡斯特大學(xué)提交的報告進(jìn)行微調(diào)。“我認(rèn)為研究卓越框架可能要比以前的實踐花費更多的時間”，他說，“向影響力議程的變遷見證了工作量的大量增加。”

但是有些大學(xué)見證了這些工作的收益。皇家霍洛威學(xué)院心理學(xué)系所做的巨大改善表明了周期性的評估會有多大的幫助，拉斯特爾說。“讓研究卓越框架籠罩在我們的頭上會確保我們竭盡所能地讓我們的科研人員人盡其才。”