歐盟項目ACUMEN的研究人員評價方法及啟示

耿海英

〔摘 要〕[目的/意義]研究人員評價作為科研評價的一部分在科研管理過程中具有重要意義。[方法/過程]介紹了歐盟科研人員評價標準聯合框架ACUMEN的基本情況，闡釋了該項目中研究人員評價體系設計的思想與模型以及具體的評價指標和方法，重點分析了該評價方法的特點。[結果/結論] ACUMEN評價方法對我國研究人員評價實踐的啟示與思考。

〔關鍵詞〕歐盟；ACUMEN；研究人員；評價方法；啟示

DOI：10.3969/j.issn.1008-0821.2016.07.007

〔中圖分類號〕G3212 〔文獻標識碼〕A 〔文章編號〕1008-0821（2016）07-0034-07

同行評議法是一種重要的研究人員評價方法，在科研評價工作中發揮著積極作用，但其評價結果的主觀性，甚至是偏見性問題也不容忽視[1]。隨著文獻計量學的發展，文獻計量學方法被引入科研評價中。發表論文數、被引次數和h指數是評價研究人員的主要文獻計量學指標[2]，P指數[3]、Pt指數[4]等新的綜合評價指標也逐漸被應用到研究人員評價中。隨著信息獲取和學術交流方式的改變，Altmetrics作為學術影響力評價方法的有效補充[5-6]，可以更充分地了解研究人員的學術工作以及他們在學術界和學術界之外的影響[7]，但目前以理論研究為主。歐盟項目ACUMEN（Academic Careers Understood through Measurement and Norms，簡稱ACUMEN）在參考歐盟同行評議系統基礎上，提出一種包含文獻計量學指標和Altmetrics指標的研究人員綜合評價體系。本文以期通過對ACUMEN評價方法的分析，為我國研究人員評價實踐提供參考。

1 ACUMEN項目基本情況

ACUMEN是歐盟的一個研究人員評價標準聯合研究計劃，于2010年啟動，2014年完成，是歐盟第7框架計劃（FP7）科研體系改革的重要組成部分。ACUMEN由荷蘭萊頓大學、以色列巴伊蘭大學、西班牙最高科研理事會、英國胡弗漢頓大學、愛沙尼亞研究委員會、德國洪森堡大學、德國維爾道應用技術大學、丹麥哥本哈根大學皇家圖書情報學院和荷蘭皇家科學院數字人文組（eHumanities Group-KNAW），共計9個研究機構聯合完成，并由萊頓大學科學技術研究中心（Center for Science and Technology Studies）主任——Paul Wouters擔任首席研究員[8]。

ACUMEN項目組指出，目前研究人員評價實踐中存在以下不足之處[9]：（1）目前的研究人員評價標準以單學科評價為主，能在一定程度上反映學術成果質量，但不夠全面。例如，期刊的影響因子和被引次數等文獻計量指標可在一定程度上反映一篇論文的學術質量，但卻不能反映出這篇論文與社會經濟發展之間的關系。（2）隨著研究人員規模的增加，學術研究體系的日益復雜，已有的評價方法，如同行評議法的局限性逐漸顯現。（3）原有的評價體系不能評價新的知識創新模式和學術交流方式，例如研究人員間以網絡為媒介進行的合作和交流。（4）有些文獻計量學指標是宏觀、中觀層面的測度指標，并不適合微觀層面，如研究人員個體層面的測度。（5）原有的評價指標未涉及性別差異，但由于社會分工的存在，性別差異帶來的影響確實存在。

ACUMEN項目組為解決以上評價實踐中的問題和不足，將項目任務分為6個子項目[9]：（1）分析比較了歐洲當前的同行評審系統，分析了當前評價和同行評審實踐中的經驗和觀點，深入探索新的個體研究人員評價方法。（2）重點關注研究人員的網絡顯示度，開發了一系列基于網絡數據的評價指標和工具。（3）研究了學術研究如何在網絡上討論，重點關注社交媒體平臺。（4）分析了評價指標、定性標準和評價過程對女性研究人員職業發展的影響。（5）評估了現有績效評價中的科學計量指標，從已有指標中選擇部分指標，同時還考慮了指標可能的負面影響，分析了如何使用好指標來測量生產力、影響、合作和多樣性。（6）匯集以上各子項目信息，在以上研究基礎上設計出ACUMEN 評價指標體系，并制定了評價實踐指南。

ACUMEN設計出的研究人員評價指標體系包含了研究人員學術生涯的3個主要方面（專長、產出和影響力）。該評價指標體系能夠凸顯研究人員的成績，更好地展示每一個研究人員，還可作為傳統個人簡歷的補充。

2 ACUMEN評價方法

21 評價思想與模型

傳統的評價過程中，科研績效評價通常是機構、團隊或科研人員產出的直接測量，研究人員在評價過程中僅僅是評價對象而不是重要參與者。評估者的視野往往局限于特定的評價，不能對科研人員在科學或學術系統更高層面的影響力進行全面評價，評價過程又往往保密。ACUMEN項目組擯棄以上做法，提出全新的評價視角。ACUMEN項目組認為評價是評估者與被評者之間復雜的互動過程，而不是簡單的研究人員的績效測量，評估者與被評者之間可以就選擇合適的評價標準和評價材料進行交流；應該考慮評價系統對科研人員職業發展的影響。同時還分析比較了不同國家、不同學科和不同機構已有的評價實踐，以及這些評價實踐對科研人員職業發展的影響[10]。基于以上思想，ACUMEN項目組提出讓科研人員在評價實踐中發出自己聲音的評價模式。其評價模型以研究人員陳述為中心，輻射以專長、產出和影響力。評價模型見圖1。ACUMEN項目組在此模型基礎上設計出了一套評價工具，即ACUMEN研究人員評價指標體系。

22 ACUMEN研究人員評價指標體系

ACUMEN研究人員評價指標體系就是ACUMEN項目組在其評價思想和評價模型基礎上設計出的一套評價工具。該指標體系包含科研人員3個方面的主要信息：專長、產出和影響力。具體有4個文件組成：陳述與學術年齡計算、專長、產出和影響力[11]。每一個研究人員都要填寫這4個文件，每一個文件里都包含了研究人員職業和成績方面的材料。

221 文件1——陳述與學術年齡計算

陳述：學者可以在此部分闡釋本人作為研究人員的價值，盡可能輔以證據。學者可以陳述本人的主要貢獻，比如是在發表文章方面，還是學生教育方面抑或是媒體方面，類似于國內人才評價（如職稱評審等）中的個人主要業績的自述部分。

學術年齡：學術年齡計算方法及詳細說明見表1。

表1 學術年齡計算方法及說明

學術年齡計算 說 明

博士起始日

博士答辯日

博士答辯完后養育孩子數和特殊情況

學術年齡=博士答辯后全職工作年限-養育孩子數-特殊情況（其中計算單位都是年）。〖〗 學術年齡有助于評委準確評判

其中養育孩子數，如果一個孩子出生后由本人獨自撫養，則計數為1，如果由夫妻兩人撫養，則計數為05。特殊情況則指由于生病等其他原因而沒有從事學術工作的時間。

“學術年齡”主要是考慮到研究人員真正從事學術活動的時間，尤其是女性研究人員。不考慮性別年齡因素而直接對評價結果進行比較顯然有失公允。ACUMEN項目組的調查結果證實了傳統的性別模式，即男性出版物產出數量平均比女性要高，女性在合著中的地位不能平等地體現出來[12]。因此，ACUMEN項目組在評價體系中充分考慮了性別因素。同時，一些研究人員由于撫養孩子、生病或其他原因從事科研活動的實際時間與工作年限會有所不同，因此，ACUMEN項目組提出了學術年齡的概念。

222 文件2——專長

研究人員可以在此部分闡述自己在學術、教學、技術、交流、組織等方面的能力，同時可以輔以定量數據或者具體事例加以佐證。具體指標和說明詳見表2。

此部分多是研究人員通過示例或描述來證明自己各方面的專長或技能，其中很多指標在國內研究人員評價時也會用到，如授課時間、做報告、論文獲獎、接受媒體采訪、行政職務等。

223 文件3——產出

研究人員可以在此部分展示其在學術、教學等方面的成果產出。此部分成果產出不僅包括傳統的期刊論文、圖書、專利等產出，也包括數據集、軟件工具等，還包括在社交媒體等網站上的貢獻等，需要有定量數據和具體事例加以佐證。具體指標和說明詳見表3。

224 文件4——影響力

研究人員可以在此部分展示其在科學或學術、社會、經濟、教學等方面的影響力，要有定量數據或者具體事例加以佐證。具體指標和說明詳見表4。

文件3和文件4則是目前研究人員評價中經常用到的兩項內容，只不過評價內容更加細化和全面，而且增加了新型媒體環境下的產出和影響。如今，學者可以通過網絡這種非正式途徑進行學術交流，如通過個人網站、研究小組網站、機構庫、預印本、研究博客或社交網站。研究人員還可以通過添加標簽和評論，與網絡上他人的出版物進行互動和反饋[13]。因此，網絡指標和Altmetrics指標可以作為傳統影響力指標的補充，為測量學者和出版物影響力提供了一種新方式[14-15]。ACUMNE主要在“產出”和“影響力”評價方面采用了網絡計量指標和Altmetrics指標。

文件4中引入學術搜索引擎數據。科研評價中常用的數據源就是Web of Science和Scopus。Web of Science數據庫更傾向于收錄英文語種出版物，而且收錄期刊文獻中社會科學中的部分學科和人文藝術類覆蓋不足[16]。Scopus數據庫系統覆蓋范圍起始于1995年，收錄年限較短，不適于評價青年學者。因此，ACUMEN項目組充分考慮了這些數據源的優缺點，使用這些傳統引文數據庫的同時，引入了Google數據作為補充，使用了Google Scholar和Google Books引文指標以及基于Google Scholar的h指數。

文件3和文件4中的指標比較全面，但同時也存在某些指標數據不易獲取（如商業活動收入），某些指標數據可能不真實（如Altmetrics指標數據）等問題，因此具體使用時應根據評價目的、評價對象、數據可獲取性等因素對指標進行有選擇性地刪減。

3 ACUMEN評價方法特點

ACUMEN評價方法作為歐盟項目的一個研究成果，歷經5年，其研制過程也是眾多學者潛心研究的過程。透過其研制過程及各階段研究成果，可發現該評價方法具有以下特點。

31 研究人員在評價過程中扮演著重要的角色

ACUMEN項目組一改傳統評價過程中研究人員僅僅是評價對象的做法，而是讓研究人員在評價過程中發出自己的聲音，具體表現在：（1）研究人員可以在文件1的“陳述”部分以“故事”的形式講述自己所做的主要學術成績、貢獻及社會經濟價值等；（2）研究人員可以在其他指標部分輔以說明性或證據式的描述。因此，該方法中研究人員通過示例或描述來證明自己的成績或技能，而不是僅僅列出成果和活動清單。通過研究人員的參與，有助于評估者了解隱藏于數字背后的東西。

32 多維度、多角度綜合評價研究人員

研究人員除了從事科研活動有直接的科研產出如論文、圖書等，還有其他職責或活動，如教學、準備教學材料，也會接受媒體采訪，也會參加企業活動或者參加其他同行評議活動。ACUMEN項目組從科研活動的社會經濟功能出發，從研究人員的專長、成果產出及影響力3個維度綜合衡量。其中每一個維度里又包含多方面，而不僅僅是學術，如影響力就包括學術、社會、經濟、教學等多方面。指標選取方面既有諸如引文數這樣的定量指標，也有獲獎、受邀講話等之類的定性指標。因此，該方法試圖全方位、多視角地反映出研究人員學術、社會、經濟等方面的綜合價值。

33 評價指標體系的靈活性

ACUMEN研究人員評價指標體系可謂是一個針對研究人員的文件包，但是不同學科領域研究人員從事的活動相差巨大，研究形式各異。人文社會科學領域圖書扮演著重要角色，而工程學領域和應用科學領域會議論文和技術參考作品起重要作用[16-17]。如果每位研究人員都填寫統一的文檔表格，則不僅浪費時間精力，也可能不適用。因此，ACUMEN項目組建議不同學科、不同領域、不同目的的評估者可以依據本身的特點，對評價指標體系進行不同程度有針對性的刪減，僅保留能體現評價需求的重要指標，以減少研究人員的填寫壓力，適應具體的評價需求。

34 有相應的指南用以指導評價

ACUMEN項目組在設計評價指標體系的同時，創建了評價指南，指南里不僅解釋了各種數據源的優缺點，還解釋了各種定量方法和指標，指出各種方法和指標的優勢及不足，指導評估者根據其評價目的、所在學科領域選擇適用的評價指標，并通過具體評價樣例詳細說明如何利用此評價方法開展評價。該指南不僅有利于評估者和研究人員深入了解此套評價方法，有助于評估者開展評價，也有利于研究人員參與到評價過程。

4 啟 示

ACUMEN作為歐盟第7框架計劃的一個重要部分，其參與成員機構多達9個，其中包括多個從事計量學和科學評價的重要研究機構。因此，作為其研究成果的ACUMEN研究人員評價方法也體現了歐盟研究人員評價發展的最新趨勢。ACUMEN評價方法對于我國研究人員評價，甚至于科研評價實踐具有一定的啟發意義。

41 擴展研究人員評價內容、構建多維度的評價體系 評價是指從人類活動的行為中發現行為的意義與價值，揭示價值內涵的一種方法與手段，實質是人把握被評價對象對人類社會發展、經濟發展以及人類生存環境的改善等方面產生的意義與價值這樣一種觀念性活動[18]。由此可推，研究人員的評價就是對研究人員從事學術活動對人類社會發展、經濟發展以及人類生存環境的改善等方面所產生的意義和價值做出一種觀念性的判斷。因此，研究人員的評價體系中應納入社會價值或公共價值、經濟價值之類的考量指標。作為科研活動主體的研究人員并不是僅僅從事發表論文、出版圖書等直接的科研活動，也有其他職責和活動，如教學、接受媒體采訪、參加企業活動或者參與其他同行評議活動。這些活動都是重要的評價內容，因此，簡單以論文、專利、項目和經費作為主要評價內容的學術評價體系已不適用，需要構建全面衡量研究人員的多維度評價體系，除評價研究人員的學術成績外，還要測度研究人員教學、技術、經濟、社會和文化方面的影響或價值。

42 引入網絡計量學和Altemetrics

隨著網絡在社會生活各方面的滲透和普及、Web20技術的推廣，各種網絡平臺與社交媒體平臺正在改變著研究人員的科研模式和學術交流模式，以及科研成果的傳播與擴散方式。傳統文獻數據庫已經無法滿足目前信息技術環境下的科學評價，網絡計量指標與Altemetrics指標的加入成為必然。網絡計量指標在測度某些學術影響力（如學術成果的網絡影響力）或教學影響力（如網絡課件的利用情況）時具有優勢，而Altemetrics在測度社會影響力時更具優勢。

43 分類評價、分學科評價

分類、分學科是評價工作的基本原則。實際上，即使分類評價，同一類里，如基礎研究中不同學科也存在較大差異。評價中的很多指標（如引用）學科差異明顯，因此，在考慮學科差異性基礎上，充分考慮學科特點，有選擇性地制定適用于本學科的評價標準，避免“一刀切”現象。2013年底，教育部在《教育部關于深化高等學校科技評價改革的意見》中也曾指出“實施分類評價”，“按照基礎研究、應用研究、技術轉移、成果轉化等不同工作的特點”建立科學合理、各有側重的評價標準[19]。

44 鼓勵研究人員參與評價

目前我國科研評價過程中，研究人員作為評價客體一直處于被評價的位置，幾乎不參與到評價過程。其實，評價與被評價應該是一個互動的過程，評估者可能會對學科科學活動缺乏深入了解，在評價標準制定的過程中通過與研究人員的溝通交流能夠選取更適用于本學科、更易被研究人員接受的指標，這樣也促使研究人員在評價之初就對評價方法和指標有個感性認識，減少評價過程中的抵觸情緒。同時，研究人員參與評價還可通過提供定量數據的同時輔以描述性的文字作為定量數據的證據支撐，為評估者提供參考。

45 公開評價指標體系并制定使用指南

我國研究人員評價體系多是由科研管理者制定，研究人員對指標體系雖有一定了解，但不并深入，很多科研人員不清楚指標的具體含義，因此出現了研究人員要求檢索機構檢索其論文“影響因子”的現象。科研管理部門應在制定好評價指標體系后，輔以使用指南，用以解釋需要的數據源、指標含義、指標的使用范圍等，并將這些材料公布于眾，真正做到公開、公平、公正地評價，讓研究人員了解具體評價方法的同時也能起到研究人員自評的效果，促使最后評價結果的可靠性。

參考文獻

[1]Lee C J，Sugimoto C R，Zhang G，et al.Bias in peer review[J].Journal of the American Society for Information Science and Technology，2013，64（1）：2-17.

[2]王煉.科學計量學應用于科研人員績效評價的挑戰[J].科學學與科學技術管理，2007，28（4）：165-168.

[3]王志軍，鄭德俊.p指數運用于人才評價的有效性實證研究[J].圖書情報工作，2012，56（14）：93-97.

[4]韓毅，夏慧.時間因素視角下科研人員評價的Pt指數研究[J].中國圖書館學報，2015，（6）：73-85.

[5]Bornmann L.Do altmetrics point to the broader impact of research？An overview of benefits and disadvantages of altmetrics[J].Journal of Informetrics，2014，8（4）：895-903.

[6]Moed H F，Halevi G.Multidimensional assessment of scholarly research impact[J].Journal of the Association for Information Science and Technology，2015，66（10）：1988-2002.

[7]Konkiel S，Scherer D.New opportunities for repositories in the age of altmetrics[J].Bulletin of the American Society for Information Science and Technology，2013，39（4）：22-26.

[8]ACUMEN about[EB/OL].http：∥research-acumen.eu/about，2015-01-25.

[9]ACUMEN Report Summary-Periodic Report Summary 2[EB/OL].http：∥cordis.europa.eu/result/rcn/157417en.html，2015-01-25.

[10]ACUMEN Report Summary-Final Report Summary[EB/OL].http：∥cordis.europa.eu/result/rcn/157423en.html，2015-01-25.

[11]ACUMEN Portfolio[EB/OL].http：∥research-acumen.eu/wp-content/uploads/BlankAcumenPortfolio.v13x.pdf，2015-01-25.

[12]Van der Weijden I，Calero Medina C.Gender，Academic Position and Scientific Publishing：a bibliometric analysis of the oeuvres of researchers：International Conference on Science and Technology Indicators，Leiden，2014[C].

[13]Neylon C，Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLoS Biol，2009，7（11）：e1000242.

[14]Bar-Ilan J，Haustein S，Peters I，et al.Beyond citations：Scholars visibility on the social Web：the 17th International Conference on Science and Technology Indicators，Montreal，Canada，2012[C].

[15]Kousha K，Thelwall M.Web Impact Metrics for Research Assessment[M].Cronin B，Sugimoto C R.Beyond Bibliometrics：Harnessing Multidimensional Indicators of Scholarly Impact.MIT Press，2014.

[16]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：135.

[17]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：133-134.

[18]潘云濤.科技評價理論、方法及實證[G].北京：科學技術文獻出版社，2008：1.

[19]教育部關于深化高等學校科技評價改革的意見[EB/OL].http：∥www.gov.cn/gzdt/2013-12/20/content2551954.htm，2015-01-25.

（本文責任編輯：郭沫含）