國內外學術評價方法比較研究

張雅男　理　娜

(1.天津社會科學院圖書館　天津　300191；2.天津工業大學圖書館　天津　300071)

?

國內外學術評價方法比較研究

張雅男1理娜2

(1.天津社會科學院圖書館天津300191；2.天津工業大學圖書館天津300071)

摘要：學術評價是規范學術行為的重要手段，包含定量和定性兩種評價方式。國內外經過多年的發展形成了各自的學術評價特點。文章分別從論文質量的表征方式、量化指標的理論基礎、對客體差異性的考慮三個量化評價角度，及同行評議的目的、組織形式、專家遴選等質性方面就我國與主要發達國家的學術評價方法進行了對比分析，為我國學術評價工作的開展提供了一些建議。

關鍵詞：學術評價；定量評價；同行評議

學術評價是規范學術行為、維護學術秩序、保障學術質量的重要手段，包括定量評價和定性評價兩個層面。經過多年的發展，國內外不同國家在學術評價方面都形成了符合各國實情的發展特點。將我國與其他發達國家的學術評價方法進行對比，有利于為我國學術評價工作的開展提供借鑒和啟示。

1國內外主要國家學術評價的特點

1.1國外主要國家學術評價的特點

筆者分別以“academic evaluation”、“academic appraisal”、“academic performance”、“peer review”為主題詞，對ERIC、EBSCO、Emerald數據庫進行文獻檢索，分析檢索結果，歸納總結出主要發達國家在學術評價上的各自特點。

受基礎科學規模小、本國專家評議力量有限等因素的影響，在學術評價方面，荷蘭成為歐洲最早最全面使用量化評價的國家之一，量化評價是其主要的評價方法，近年來提出的“皇冠指數(Crown Indicator)”[1]是對國際量化評價指標體系的一大補充。英、法、美三國對量化方法的使用較為謹慎，多采用同行評議或學術共同體評議的方式進行學術評價，特別是美國，由于其具有較好的大學學術自由和學術權利，自主性強，同行評議成為學術評價的主流，出現了較多關于同行評議發展歷史、基本原理、構成、規范及優缺點等問題的分析討論。澳大利亞主要實行文獻計量指標(Bibliometric indicators)和非文獻計量指標(Non-bibliometric indicators)[2]相結合的方法，并會根據不同科研性質、不同研究領域制定科學合理的科研規范和評價指標體系，如專門制定了適用于創造性藝術學科的非文獻計量指標：舞蹈家、演員、音樂家、劇作家在公開場合的表演，建筑師和設計師的建筑或創造等[3]。

1.2國內學術評價的特點

筆者以“學術評價”、“科研評價”為主題詞，對CNKI中國期刊全文數據庫進行檢索，分析檢索結果，發現我國學術評價表現出理論研究較多、實踐運用單一的特點。一方面，國內學者圍繞學術評價制度的歷史沿革、現行制度的利弊分析、現有量化評價指標(論文數量、期刊影響因子、論文被引情況等)的探討和修正及如何從原則、規范上加強學術評價體系建設等方面展開了豐富的理論探討；另一方面，在實際運用中，國內學術評價主要以量化評價為主，但我國量化評價方法與荷蘭等量化評價發達國家相比又表現出以數量為主的特點，雖也力求質量的評價，但在實踐中卻因存在著量化指標不完善或設計不合理等問題而較難實現。此外，對同行評議及人文社科、藝術科學領域的學術評價研究也較少。

2國內外學術評價方法比較

2.1量化評價方法

量化評價是學術評價的主要方法之一。我國量化評價和國外相比起步較晚，在評價指標和體系上存在著不足。下面將從論文質量表征方式、量化指標基礎理論、評價指標差異性三方面對國內外量化評價方法進行對比分析。

2.1.1論文質量的表征方式

我國學術評價中常用的量化指標主要有學術成果數量、成果發表的刊物或出版社級別、成果所獲獎項等。由于文章數量多并不等于科研水平高，某一期刊的水平高，并不等于該刊所有文章質量都好，以上評價指標在實際操作中缺乏對論文質量的控制。國外量化指標和評價方法則更多地關注論文質量，他們提出通過引用理論分析證明，以引用次數作為參數的指標可以很好地表征受評人員論文對學科以及學術產生的影響。因此，國外發達國家主要通過論文篇均引用次數(剔除自引次數)、h指數、皇冠指數等指標對科研成果進行質量評估。

2.1.2量化指標的理論基礎

國內科研成果評價多采用歸納法，即從已有的研究中抽取一些被認為對科研結果有影響的指標，把它們羅列在一起，而研究者卻很少會對指標選擇的多少、指標間的相對重要性做詳細地研究，評價最終也往往以合成個人分數為目的。量化指標體系缺乏堅實的理論依據。相比而言，發達國家采用的指標體系大都有其理論根源和詳細的推導過程。如，有國外研究者在指出了目前學科分類不足后，提出了根據論文關鍵詞、參考文獻等的相似性進行子學科聚類的分析方法，通過此方法，可以精確地識別與受評學術人員最接近的同行和同類論文。這也是基于學科歸一化的量化評價方法的理論支撐。

2.1.3評價指標對差異性的考慮及指標的完備性

我國的學術評價指標在應用時對學科、期刊、文章類型等的差異性考慮較少。例如，國內高校在對來自不同院系教師進行職稱評定、年度評獎時，往往采用直接比較SCI影響因子大小的方法來判定論文質量的高低，還有一些雖對SCI進行了分區，但分區尚不夠全面細致。這樣就出現了基于有差異性的評價客體的評價標準，其公允性值得懷疑，因為對于物理、化學等基礎理論學科而言，其期刊的平均影響因子往往高于工程類學科。另一方面，國內高校實際應用的量化指標存在過于簡單化的情況，僅僅對比SCI、EI論文數的現象普遍存在。

在國外，一些發達國家多采用歸一化指標從理論上消除文章類型、學科、期刊等因素的影響，使得來自各個領域的學術人員在同一指標體系下的公平、公正的比較成為可能。而在指標完備性方面，這些國家在實際的評價過程中，通常會綜合運用期刊歸一化指標、h指數、文獻聚類分析法、用于識別引用分布的箱線圖(Box plots)和洛倫茲曲線(Lorenz curve)[4]等量化指標，從而更為科學全面地進行評價。

2.2同行評議評價方法

同行評議是自近代科學誕生以來一直沿用的學術評價方法，至今已有百年歷史。學術大國多以同行評議作為學術界認同的主要評價方式。

2.2.1同行評議的目的

我國大學和學術機構的同行評議更多地應用于職稱評比、職位晉升、績效工資評定等目的，具有較強的功利性。國外大學的年度同行評議則多獨立于晉升、職稱或薪水評定之外，功利性較弱。其同行評議的目的主要包括識別出學術人員面臨的困難和需求、促進學術人員個人的職業發展、聽取學術人員對機構的建設性意見、平衡學術人員的個人目標和部門乃至整個機構的整體目標。通過周期性開展的同行評議過程來實現個人、部門、機構的多方受益。

2.2.2同行評議的組織形式

國內的同行評議或個人學術績效審核，存在“個人寫報告，專家抽空審”的現象，時效性和交流性不強，即使有受評個人答辯的形式，專家的評審意見往往是保密和匿名的，受評個人可能無法了解或全部了解專家對自己的評審意見和結論。國外機構的同行評議大都以考評面談的方式出現，受評人和評審人約定時間，雙方分別從個人、部門或機構的視角準備素材。面談時雙方針對已有的學術績效、存在的問題和需求、未來的規劃、部門或機構的整體目標等展開深入地討論，更注重雙方的溝通和探討，且最后雙方要共同就最終的評議結論和總結做簽字確認。這種評議形式一定程度上有助于規避評議結論的主觀性和片面性。

2.2.3評審專家的遴選

評審專家對同行評議有很大的影響，評審專家的遴選是同行評議活動的重要環節。目前我國同行評議中存在著非同行評審專家比例過大、“外行指導內行”、評議活動受行政管理主導嚴重等現象，在實踐中對評價的質量和效果產生負面的影響。

國外則有著嚴格的評審專家遴選體系。以英國為例，英國高校基金會項目同行評議中，評估小組主席由先前參與高校學術評估的專家提名，由高等教育撥款委員會(RAE)任命，然后由評估小組主席從專業社團提名的候選人中，根據專業經驗、聲望和代表性等標準挑選評審小組成員, 得到高等教育基金會許可后，最終確定評估小組成員名單。評估小組成員的組成還會考慮性別及地區比例，通常會有20%左右的女性[5]。此外，劍橋大學和昆士蘭大學學術員工年度考評的評審專家除部門負責人外，還包括在本專業具有較高威望的高級成員。

值得注意的是，雖然國內外高校同行評議中都從政策上允許受評個人指定回避名單或者對專家構成提出異議，但國內由于評審專家構成中具有行政職務的領導或專家占比重較大，受評人處于相對弱勢地位，回避制度往往無法真正實施。

2.2.4同行評議的反饋機制

國內同行評議一般和職稱評定、薪水漲幅等相關，評議結果更多地體現在對受評個人職稱、職位、薪水等的影響上，而對于識別個人需求、促進個人進步和發展、實現個人與部門及機構整體目標的匹配等方面則沒有起到應有的功效。國外同行評議制度則比較注重“學術人員——機構”的雙贏。學術人員識別出個人的不足和需求，機構總結員工的建設性意見并對員工開展針對性的培訓，使得雙方的整體目標得到較好地匹配。以劍橋大學和昆士蘭大學為例，劍橋大學的評價機制名為SRD(staff review & development，員工評議和發展機制)[6]，其評議面談結束后，部門和學校對評議結果的匯總、總結是整個評議過程的重要環節，匯總學術員工的需求并組織合理的培訓是評議反饋的重要內容。昆士蘭大學的評議結束后會根據評議結論和員工需求，建議學術員工參與相應的SSP項目(special studies program，員工專項學習計劃)，從而實現對員工個人發展和大學整體學術水平的共同促進[7]。

3對我國學術評價工作的啟示

通過對國內外學術評價方法進行對比分析，筆者認為國內學術評價工作應從以下幾方面進行改進。

3.1加強學術評價量化指標體系建設

量化指標直接關系到定量學術評價的科學性和客觀性，指標體系的建立要充分考慮學科差異性、學術成果類型、期刊等間接評價媒介的質量不均衡性；要綜合運用多種指標和方法，全面考察受評個人或科研小組學術績效的各個方面，給出客觀全面的結論。

3.2建立專門的專家委員會，評審專家國際化

為了保證評議人的學術水準和提高評議的透明度，必須建立專門的專家委員會，先期向各學術機構和科研人員公開，主管部門還要向這些學術機構和學術人員提供哪些人參與了評議工作及每個人評議次數等信息。同時，在專家委員會的專家遴選上要擴大范圍，借鑒國外高校中國際評審的經驗，積極引進國外、校外專家，擴大同行評議的知識視野，與國際學術界接軌。

3.3建立網上互動評價機制

利用網絡和信息技術，積極開展學術評價社會化，構建網上互動評價機制。參加評價的學術成果要在網上公示，支持更多的學術或非學術人員從不同的角度予以評論。只要言之有理，有價值的批評意見皆應作為該成果評價的一部分附錄其后，從而實現全國甚至國外學者的參與，使學術評價社會化，增加評價的客觀性。

3.4完善評價結果的監督反饋機制

在量化評價和同行評議相結合的前提下，為使評價工作順利開展，同時營造公平自由的學術環境，必須建立一套與之相適應的監督反饋機制。應當建立評價考核結果的公示制度，增加評價結果的透明度，重視評價結果的反饋，將反饋納入到學者下一輪的評價中。如此就形成了一個有形與無形相結合的較完整的監督組織機構，使專家委員會真正成為最高的監督和處理學術爭議的組織，充分發揮學術人員互相監督的作用，促進公平、公正的科研環境的形成。

參考文獻

[1]Moed, H.F.. CWTS crown indicator measures citation impact of a research group’s publication oeuvre[J]. Journal of Informetrics, 2010,4(3):436-438.

[2]顧麗娜,陸根書.澳大利亞科研評價體系介紹[J].理工高教研究,2006,25(1):49-51.

[3]The Australian national university, research evaluation and policy project[EB/OL].(2005-01-30)[2015-09-10].http://repp.anu.edu.au.

[4]Lutz Bornmann1, Rudiger Mutz1, Christoph Neuhaus1, Hans-Dieter Daniel1. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results [J]. Ethics in Science and Environmental Politics, 2008,(8):93-102.

[5]陸根書,楊兆芳.英國高校科研評估的特點及啟示[J].大學:研究與評價,2008,(1):75-82.

[6]Staff Review and Development(Appraisal)[EB/OL].(2010-12-10)[2015-09-10].http://www.admin.cam.ac.uk/offices/hr/policy/appraisal/.

[7]Career progress and appraisal for academic staff[EB/OL].(2010-12-10)[2015-09-10].http://www.uq.edu.au/current-staff/index.html? Page =10606&pid=8388.

(收稿日期：2015-10-06責任編輯：劉麗斌)

中圖分類號：G644.4

文獻標識碼：A