研究績效評估：具有一定局限性

張 潔/編譯

研究績效評估：具有一定局限性

張 潔/編譯

●在澳大利亞和新西蘭，年輕學者和交叉學科的研究績效往往被低估。本文作者安娜貝爾·麥吉利夫雷（Annabel MCGilvlay）如此認為。

在和我聊天的前一天，喬納森.波士頓（Jonathan Boston）收到了同事的一封郵件。郵件談到了一位因新西蘭學術(shù)績效研究基金要求，學術(shù)生涯受到“怪異扭曲”的年輕學者。波士頓告訴我，“過去幾年，我收到過許多類似的，討論學術(shù)業(yè)績研究基金利弊的郵件。”

波士頓是惠靈頓維多利亞大學的公共政策系教授，同時他也參與了新西蘭政府的政策制定。他表示：硬性要求發(fā)表高影響力的國際文獻，而不鼓勵由國內(nèi)出版商出版學術(shù)著作；迫于壓力，將研究轉(zhuǎn)向更熱門或更受推崇的領(lǐng)域；鼓勵接受非學術(shù)業(yè)績研究基金組織的教學職位，降低科研強度，是影響科研的三大因素。究其原因，三者都與學術(shù)績效研究基金評價科研績效的方式，及其對國家的研究基金環(huán)境的影響有關(guān)。

1999年成立之初，學術(shù)績效研究基金壯志滿懷，目標是通過評估研究績效來提高新西蘭諸多研究機構(gòu)的水準。機構(gòu)設(shè)立時，旨在補救科研部門對科研管理的疏忽。當時科研部門負責的范疇包括碩士生教育，文獻審閱，科研基金評審發(fā)放等。科研部門職能過于冗雜，隨著90年代中期大量非大學高等教育機構(gòu)（比如技校和專科大學）開展研究生教育，這一缺點表現(xiàn)非常明顯。更多機構(gòu)開始開展科研活動，但其中一部分的科研能力非常薄弱，一時出現(xiàn)科研機構(gòu)研究能力良莠不齊的情況。1999年，海倫·克拉克（Helen Clark）的工黨政府上臺，包括克拉克在內(nèi)的5位學者（克拉克是政治研究領(lǐng)域的佼佼者），立志改善新西蘭的科研基金管理情況，增加科研可信度。“當時唯一的有效途徑就是科研績效評估制度。”波士頓這樣評價道。

學術(shù)績效研究基金是基于個人的，這一點和國家的科研績效評估不同。每六年，學術(shù)績效研究基金評估并報道新西蘭近6000位高校學者的科研水平。科研機構(gòu)的科研能力有四個等級：A，B，C和R，其中A等最優(yōu)，往后依次下降。而學者也可申請個人科研績效排名。評價結(jié)果是以科研成果的質(zhì)量和其領(lǐng)域發(fā)展（各領(lǐng)域資源不同）綜合考慮。個人科研成果由其所在機構(gòu)匯總，科研基金主要依此分配。同時還會考慮個人申請到的外部基金以及其教學成就 （碩博士學位完成情況）。學術(shù)績效研究基金目前是新西蘭最大的第三方科研基金提供機構(gòu)，在2013年基金總數(shù)達2.625億新西蘭元（折合美元2.242億）。

橫跨塔斯曼海的澳大利亞研究理事會（ARC）正準備第三輪科研質(zhì)量評估。澳大利亞卓越研究（ERA）評估，三年一次，范圍涵蓋全國41所大學。即將舉行的2015年ERA評估，將分類并評估國家所有高等教育的研究成果，即40多萬本出版物。ERA按學科評估工作，評估結(jié)果將直接影響小部分高校科研經(jīng)費的申請。

“有些人擔心，學術(shù)績效的評估方式可能阻礙青年研究人員的職業(yè)發(fā)展。”

結(jié)果表明，自從引入國家科研評估系統(tǒng)后，新西蘭和澳大利亞兩國的綜合科研能力均有所提高。在新西蘭，更多的研究者學術(shù)績效達A級水平；在澳大利亞，更多的學科被評定為“世界領(lǐng)先水平”。但無論是PBRF，還是ERA，關(guān)注的都是科研成果對學界內(nèi)的影響。人們逐漸意識到，學術(shù)研究的社會影響也十分重要，只重學術(shù)績效意義不大。同時，研究者們也擔心，關(guān)注學科內(nèi)的科研績效評估，可能無法正確評估跨學科研究的價值。此外，正如波士頓最近收到的郵件暗示的一樣，學術(shù)績效的評估方式——特別是只看期刊雜志影響因子——可阻礙年輕研究者的職業(yè)生涯發(fā)展。

PBRF和ERA均有系統(tǒng)的質(zhì)量指標和同行評議作為評估依據(jù)。這些指標被廣泛用于世界各地各類學術(shù)研究評估。然而，對PBRF來說，所有提名的出版物和其他研究成果均有指定評委評估 ——這是一個依據(jù)個人主觀判斷的定性過程。

相比之下，ERA更看重文獻引用次數(shù)。 “引用次數(shù)和參考次數(shù)在學界內(nèi)能夠很好地反映文獻在學界內(nèi)的影響力。”澳大利亞研究理事會首席執(zhí)行官艾丹·伯恩（Aidan Byrne）這樣說道。

悉尼科技大學研究部副部長阿提拉·布隆斯(Attila Brungs)評價說，這些學術(shù)績效評估可能對青年研究者的職業(yè)生涯發(fā)展產(chǎn)生障礙。 “這些指標能造成一些非常奇怪的現(xiàn)象。博士生通常發(fā)表的文章比較多，但是影響因子比較低。”

更廣泛地說，青年研究者的成果通常較難通過較權(quán)威雜志的審核，這是以個人為中心的績效評估體系的缺陷。學術(shù)績效評估更多的是鼓勵機構(gòu)雇用比較知名的研究者，而不是具有潛力的年輕研究人員，因為這類研究者發(fā)表量不夠。有證據(jù)顯示科研機構(gòu)不愿雇用青年研究人員。有研究顯示，第一輪和第二輪全國學術(shù)績效評估之間，35歲以下科研人員的人數(shù)有14%的下降。

事實上，2008年P(guān)BRF的一個獨立審查發(fā)現(xiàn)，很多優(yōu)秀的年輕研究人員由于較低的評價科研熱情受到傷害。該審查由監(jiān)督PBRF的高等教育委員會（TEC）實施。其結(jié)果表明，“一個‘C’級評價能極大打擊青年研究者的研究熱情，同時對其職稱評定產(chǎn)生極大的阻力。波士頓說，PBRF設(shè)立之初，無意透露個人科研績效評定結(jié)果。 系統(tǒng)建立之后，波士頓和他的同事們意識到，他們不得不將評價結(jié)果透露給研究者們。 “我們無法真正保障落實保密法和官方信息法，”“如果我早知道，評價結(jié)果需要告知個人，同時其他人也可能知道這個結(jié)果，那我當時不會支持它。”

在新一輪全國學術(shù)績效評定來臨之際，高等教育委員會推出了一套新的、專門針對青年研究者的評定方法，以解決當前青年研究者的雇用危機。該評定系統(tǒng)中，青年研究者可以采用新的C（NE）評估方法，并且可以參與機構(gòu)的基金申請和分配。績效評定結(jié)果是以其已有科研成果與其科研年限加權(quán)評定，一般來說，每個青年學者至少需要兩篇文獻。

但很多人，包括波士頓和彼得格.魯克曼（新西蘭總理的首席科學顧問）認為，學術(shù)績效評定中的個人評定，為青年研究人員施加了發(fā)表高影響因子文獻的“過分”壓力。 “我見過幾個年輕的研究人員，迫于這種壓力，勞心勞力想發(fā)一篇 《自然》。”格魯克曼說，“如果他們專心于在合適的期刊上發(fā)表扎實的、優(yōu)秀的文獻，他們的科研生涯會更順利。 ”

跨學科研究評價：貌合神離

跨學科科研工作者也深感委屈。新西蘭和澳大利亞的大學越來越鼓勵跨學科研究項目——從硬科學到人文科學——從整體來看待社會問題。跨學科研究包括環(huán)境可持續(xù)性，醫(yī)學研究等。大部分情況下，這類科研活動由大學或者機構(gòu)的研究中心實施。

如果說跨學科項目是多彩畫面，那么PBRF和ERA的評估則是通過單學科的單色濾鏡來評估學術(shù)績效。2012年P(guān)BRF的最終報告中指出，一共評估42個學科領(lǐng)域，這些學科領(lǐng)域并不能“準確反映研究活動的組織和進行的方式”。新西蘭教育部首席策略分析師馬爾尼.迪克森（Marny Dickson）對此的評價是，盡管由此聲明，PBRF和ERA并沒有提出審核的具體計劃。

澳大利亞的情形也不容樂觀。澳大利亞學者委員會（ACOLA）——代表澳大利亞四大學術(shù)團體：澳大利亞科學院，澳大利亞社會科學院，澳大利亞人文科學院，澳大利亞技術(shù)科學與工程院——正在尋求和跨學科研究直接相關(guān)的政策條例。在2012年的一份報告中，ACOLA發(fā)現(xiàn)，ERA“已經(jīng)難以評估和報告跨學科研究績效”。ERA和PBRF都更強調(diào)高影響因子。由于大學以ERA的評價結(jié)果作為依據(jù)，但跨學科研究成果通常影響因子不高。情況仍在惡化。

例如，悉尼科技大學社會研究中心做了很多關(guān)于政策的研究，為地方、州和聯(lián)邦政府做了許多工作。該中心的研究人員發(fā)表文章時，會選擇發(fā)表在其更擅長的領(lǐng)域，市場營銷，商業(yè)，經(jīng)濟，或社會科學和人文科學等等。這所大學在評估時，從各個學科分別評估其績效，而不是把研究中心的項目看成一個整體。 布隆斯說，“在ERA類似的評估體系中，這種研究中心的工作幾乎等于零。”

布隆斯表示，評估的失真目前還沒有影響大學的研究重點，畢竟ERA相關(guān)的基金還是比較少的。在2014年，ERA總金額僅有6,900萬澳元，僅占教育部批準基金的4%。但是，ERA基金的比例將在增大，這意味著可能會減少跨學科合作。 布隆斯還說道，“大學不會允許這種扭曲的評估影響其整個科研，但如果我們不改變現(xiàn)狀，它確實會危及跨學科研究的發(fā)展。”

提高學術(shù)評分：一場博弈游戲

如果PBRF和ERA變得更加重要，大學的招聘政策難免會傾向于那些會為學術(shù)績效評分加分的研究人員。一些人擔心，這會導致研究機構(gòu)采取各種投機取巧的方式提高其學術(shù)績效評分。

澳大利亞全國高等教育工會發(fā)現(xiàn)，ERA的博弈時代已然開始。個人，部門和機構(gòu)都在努力爭取高的評分，以期獲得三年的基金支持。PBRF的結(jié)果則能影響6年的基金支持。這種情況下，個人和機構(gòu)更傾向于參與這場博弈游戲。墨爾本大學原副校長弗蘭克拉金斯對此的意見是，“這種情況仍將繼續(xù)。大學有很多聰明人，他們很快能掌握最優(yōu)化績效的方法。 ”

ERA同行評審小組審查時需要克制帶入個人偏好，而ARC目前能夠交叉查閱往年可疑的意見書。然而，沒有什么方法可以阻止大學在一輪ERA評估之前雇用研究人員，有時甚至是整個研究部門來提高績效。澳大利亞報紙稱，這種“挖人”現(xiàn)象導致相關(guān)部門規(guī)定2014年3月31日之前確定機構(gòu)人員名單。此日期后雇用的任何工作人員，沒有資格參與ERA 2015年的學術(shù)績效評估。不過，在去年夏天，澳大利亞天主教大學，中央昆士蘭大學和查爾斯特大學就已經(jīng)雇用了研究團體，甚至整個研究部門。

ARC負責人伯恩并不贊同這樣行為。但是他表示，ERA排名的目的是資源的再分配，這并不一定是壞事。 “我們不希望阻止機構(gòu)決策其研究目標。”由機構(gòu)選擇性雇用研究人員和團體，以及機構(gòu)內(nèi)部制定績效標準，更好地符合ARC規(guī)則中，我們不難知道ERA在澳大利亞大學管理系統(tǒng)中的重要性。因此，大學紛紛設(shè)立院系滿足全校的出版物量和質(zhì)的硬性要求。

最震驚的玩弄體制的案例是2006年發(fā)生在新西蘭的一例。一所重點大學為了提高學術(shù)績效評分，把科研團隊重新分類，尤其是把擁有PBRF資質(zhì)卻很少進行科研的教研人員由原本的經(jīng)濟學和生物學等領(lǐng)域，重新分類到哲學和宗教研究領(lǐng)域。這一舉措，大大提升了該大學在生物、經(jīng)濟等領(lǐng)域的地位。哲學研究人員數(shù)目的激增引起了PBRF評審員的注意，最終發(fā)現(xiàn)了這一黑幕。

呼吁更靈活的衡量標準

ERA和PBRF的目標和結(jié)構(gòu)幾乎沒有變化，但現(xiàn)狀如此，研究影響力應當明確納入學術(shù)績效評估。布隆斯在悉尼科技大學表示，對影響力的強調(diào)可能提高學術(shù)績效評估對跨學科研究的認可。例如，與政策相關(guān)的工作比與純學術(shù)更具價值。 “在《自然》上發(fā)表文獻能顯示卓越的研究績效，改變一項國家政策（比如飲水）也是卓越學術(shù)績效的體現(xiàn)。”

ARC正在考慮如何評估學術(shù)的影響力。但伯恩表示，ARC并不打算將其納入現(xiàn)有體系，并且ARC并沒有足夠的資源來支持獨立的影響力測量系統(tǒng)。澳大利亞政府目前比較厭惡增加繁文縟節(jié)手續(xù)流程。

在新西蘭，2008年P(guān)BRF的審查結(jié)果提示，必須將政府創(chuàng)新政策也作為學術(shù)績效評估的一個方面。然而，重新評估也會帶來很多問題，具體包括：產(chǎn)業(yè)投資更加能夠影響整體學術(shù)基金總額；學術(shù)評估的重視程度也有相應降低。據(jù)教育部表示，這些變化反映了一個事實，即外部研究資金是知識產(chǎn)業(yè)化的一個“強有力的指標”，并且鼓勵“解決實際問題，能用于終端用戶的科研”。這種知識產(chǎn)業(yè)化是研究影響力的有力證據(jù)。

但波士頓并不認為，即使出現(xiàn)這樣的變化，PBRF和ERA之類的評估，仍將具有重大意義。他引用了古德哈特定律，該定律指出，一項社會指標或經(jīng)濟指標，一旦成為一個用以指引宏觀政策制定的既定目標，那么該指標就會喪失其原本具有的信息價值。“我不理解長久地每六年進行一次同樣的、帶有輕度偏差的評估有什么意義。評估本身鼓勵提高科研質(zhì)量，但總有些扭曲。”

波士頓還提到，政府需要加大資金和其他資源，或者改善衡量標準（比如不斷引入新標準）來提高學術(shù)績效。對于有效資源的不斷重新分配，政府能做的也確實有限。 “畢竟只有一個橙子，再怎么也只能擠出一杯橙汁。”

[資料來源：Nature][責任編輯：李 輝]