黃飛燕
2015年國務院發布“雙一流”建設方案[1],2017年教育部公布第四輪學科評估結果[2],2018年科技部等部委發布“破五唯”文件,2020年初科技部和教育部發布科研評價政策[3-4],2021年5月國務院辦公廳發布《關于完善科技成果評價機制的指導意見》[5],均對高校合理使用科技論文,樹立正確評價導向提出要求。比如,破除論文“SCI至上”,摒棄“以刊評文”,探索建立健全分類評價體系,完善學術同行評價,引導評價工作突出科學精神、創新質量、服務貢獻,旨在營造良好創新環境,加快提升教育治理體系和治理能力現代化水平。這些評價政策與國際科研評價倡議有相似的導向,如《舊金山科研評價宣言》(San Francisco Declaration on Research Assessment)[6]、《萊頓宣言》 (The Leiden Manifesto for Research Metrics)[7]、歐盟關于“負責任的研究與創新政策”(Responsible Research and Innovation)[8]。針對系列科研評價政策,學界圍繞“怎么評”“怎么用”等進行了探討。
科技評價制度改革旨在推動科研高質量發展。近年南方科技大學(以下簡稱“南科大”)、上海科技大學、西湖大學等新型研究型大學陸續建成。由于新型研究型大學的概念提出時間不長,高等教育界的研究仍處在探索中,當前研究集中在辦學模式、發展路徑、人才培養、特征與內涵等方面。比如,新型研究型大學是在創新驅動背景下確立的本土研究型大學新模式,旨在面向世界科技前沿、經濟主戰場和國家重大需求,在科技創新中發揮更大作用[9-10];已建成的新型研究型大學具有高起點、小而精、國際化等特征,學科布局堅持發展有限學科理念,緊緊圍繞自然科學、生命科學、前沿技術的方向[11-12]。由此可見,新型研究型大學的科研布局和發展目標與科研評價制度改革的根本目的是一致的。
目前全球4個主要大學和ESI學科的排名榜在衡量高校科研水平時均采用定量評價方法,以論文為主要評價對象,評價指標以絕對值指標為主,如ARWU的SCI/SSCI論文數、U.S.News的Web of Science文獻的總被引次數、近十年ESI論文總被引次數。此類評價指標無法科學衡量科研成果在世界學科領域的影響力和競爭力,也對小型科研機構不利,不適用于評價新型研究型大學的科研水平。如何構建科學的評價機制與評價方法,促進大學人才培養、學科建設和科研發展,是新型研究型大學面臨的挑戰。
作為最早成立的新型研究型大學,南科大肩負著探索具有中國特色的現代大學制度和創新人才培養模式的高等教育改革使命,建校十年,取得可喜的成績。這與創新人才評價、完善科研績效評價機制、優化科研管理機制密不可分。南科大堅持實施分類評價體系,采取學術同行評價模式,基礎研究重點評價原創性和科學價值,應用研究重點評價對解決生產實踐關鍵性技術問題的實際貢獻;堅持鼓勵標志性成果,提倡代表作制度,不唯SCI,不設論文數量指標。本文介紹南科大圖書館科研評價服務發展概況,從基于嵌入業務流程的視角構建科研評價服務框架,采用案例研究法探討如何高效支撐學校一流人才引進與考評、科研成果管理與評價工作,旨在為高水平研究型大學圖書館開展科研評價服務提供借鑒。
國內知名高校館開展了科研評價服務,名為情報服務[13]、情報計量分析[14]、信息計量[15]、學科競爭力分析[16],等等。此類科研評價服務主要聚焦期刊/論文評價、機構/學科評估、學科發展趨勢分析等[17-18]。對于科研評價服務起步較早的高校館,相關研究主要涉及其服務需求、服務內容、工作模式、團隊管理等[19-22]。在學科評估層面,以ESI學科分析服務案例及其方法的研究最多,包括學科進入ESI 1%或1‰的趨勢預測方法[23-25]、科研水平評估和研究前沿探測等[26-27]。機構或學科的對標分析也是常見的研究之一,如CHANG J等[28]以上海科技大學圖書館機構對標分析報告為案例,探索小規模高水平研究型大學的多維度對標分析方法。也有學者[29-31]建議,將機構知識庫作為科研管理和評估支撐平臺。
國外高校圖書館也普遍開展科研評價服務[32-33],原因是政府以科研績效評價作為高校科研經費分配的決策依據,如英國“科研卓越框架”、澳大利亞科研卓越計劃。筆者以英國羅素大學集團24所一流研究型大學為對象,通過網絡調查發現圖書館在本校參與的“科研卓越框架”中主要發揮支撐性角色,最顯著的作用是協助科研管理部門提供科研成果數據,其中11個圖書館網站設有科研成果評價或計量分析服務欄目[34-35]。Drummond等[36-37]通過對新南威爾士圖書館服務發展歷程的反思,從系統化、整體性角度提出“研究影響力生命周期”的科研評價服務。Astrom等[38]發現瑞典高校館普遍開展文獻計量服務,有助于提升圖書館在學校的顯示度和地位。美國和加拿大高校館也開展科研評價服務[39-40]:Abernethy等[41]介紹美國EPA-RTP聯邦研究圖書館的兩種產品式科研評價報告(研究影響力報告、文章影響力報告),這類報告主要用于支持科研人員展示其個人學術成果和研究價值。Gutzman等[42]發現美加生物醫學研究圖書館的科研評價服務多樣化,包括引文分析報告、培訓、研究指南、咨詢等模式。
綜上所述,國內科研評價實踐集中在服務內容、分析方法、平臺與工具、工作模式與團隊建設等方面,較少從嵌入業務流程角度系統地探討科研評價服務框架。作為新型研究型大學圖書館,南科大圖書館面臨業務拓展、服務宣傳、團隊建設等多重挑戰。2018年該館推出科研評價服務,通過實踐探索出一個基于嵌入業務流程的科研評價服務框架。
2018年1月《南方科技大學圖書館三年戰略規劃——邁向2020年》[43]發布,提出六大戰略目標,每個戰略目標包含3-4個策略,每個策略由責任部門制定行動計劃并付諸實施。其中,有兩個策略與科研評價服務相關:探索數據管理與服務的路徑、建設學校機構知識庫,分別由學習與科研服務部和數字化圖書館建設部負責。
2011年建校以來,隨著人才引進工作的穩步推進和學科建設的發展,南科大教學科研人才初具規模,學術論文成果呈現出上升趨勢。2017年學校發表SCI/SSCI 論文近1,000 篇,教研人數突破200余人。通過院系走訪、與相關部門交流,圖書館了解到面對種類繁多的科研成果統計填報任務,科研人員和科研管理人員普遍存在壓力和困難,而且隨著成果數量的增長以及學科發展需要,學科/院系層面的對標分析需求也在不斷顯現。學校規劃部等部門通過購買服務的方式,聘請第三方咨詢機構制作科研成果分析報告。這類報告收費昂貴,完成周期長,不能作為長期的服務提供方。在圖書館服務升級、學校發展戰略需求的合力驅動下,圖書館將科研評價服務作為拓展科研支持服務的首要任務。
明確拓展科研評價服務后,南科大圖書館加強與相關部門溝通,將服務嵌入人才評價、科研管理和科研評價三大業務流程。圖1展示了南科大圖書館如何在機制保障的基礎上,針對不同業務流程的學校目標、需求主體提供相應服務;同時,通過數據再利用和反饋修正機制提高數據完整性和準確度,提升用戶黏度并形成良好的互動機制,確保服務的可持續性、生命力和影響力。

圖1 南科大圖書館科研評價服務框架
南科大旨在建設一支國際化高水平師資隊伍,人才引進是一項長期性工作。根據南科大發展目標,計劃到2025年組建一支1,000人左右的教學科研系列(以下簡稱“教研系列”)教師隊伍,平均每年新增該系列教師80-100人。教研系列實施課題組負責人(PI)制度,推行“準聘-長聘(Tenure Track)”聘用制度。在人才評價機制上,對進校前的人才引進、進校后的職位晉升,實行校院兩級學術委員會及系聘任(晉升)委員會制度;同時,堅持同行評議,不設數量指標,提倡代表作制度,重點評價學者成果的重要性、前沿性及國內外學術影響力。
2018年3月,南科大圖書館為人才評價定制“學者學術產出評估報告”,作為人才引進和職稱晉升的必備材料。根據學校人才隊伍建設的目標,圖書館提出常規論文收錄引用證明采用的文獻計量指標多數是絕對值,如論文數量、被引次數、期刊影響因子,無法消除不同學科、不同科研生涯階段的固有差異,不符合學校引進高層次人才的目標。經與校學術委員會商議,增加多個相對值指標,包括CNCI(學科規范化引文影響力)、高被引論文數量、Top10%論文百分比等。此外,“學者學術產出評估報告”可根據不同學科門類的引文特點提供定制化服務,如根據計算機系需求并經學校學術委員會批準,增加谷歌學術的引文數據。該報告只作為人才評價的參考依據,學術委員會并不對任何指標設定數量要求。
人才評價是貫穿學者整個學術生涯的一項周期性事務。學術履歷與研究成果影響力報告是科研人員在基金申請、職稱晉升時必須提交的材料。南科大圖書館主動為所有新引進的教研系列教授開展Scopus學者人名清洗服務,并將其在進入南科大前的學術成果導入南科大機構知識庫,而學者進校后發表的學術成果則由機構知識庫基于機器算法實現自動匹配,從而確保學者主頁成果的完整性和準確度。與此同時,學科館員積極向科研人員推廣ORCID和ResearcherID等通用作者標識符,積極開展專題培訓、制作“常用學者ID”和LibGuides,協助科研人員維護個人學術履歷。通過一系列主動服務措施,有效增強學者定期維護ORCID等平臺學術履歷和使用機構知識庫學者主頁的積極性,提升用戶黏度。學術履歷的及時更新,不僅有助于學者便捷獲取個人引文影響力數據,也有助于機構知識庫基于通用作者標識符抓取學者最新學術成果數據,形成良性互動。
南科大堅持以改革創新為動力,注重頂層制度設計,旨在構建科學合理、富有效率的管理體制,提升現代化管理水平,探索具有南科大特色的現代大學治理體系,起到先行示范作用。學術成果是高校重要的知識資產,如何實現有效管理、長期保存、提高開放共享水平、擴大學術影響力是高校普遍關注的問題。雖然我國高校建立的機構知識庫較多,但由于缺乏制度保障,普遍存在學者參與度低、數據完整性差等問題。張曉林[44]指出,作為機構的知識基礎設施,發揮科研成果管理與評價服務功能是機構知識庫發展的方向之一。楊鶴林[30]提出通過爭取科研管理層的認同,將機構知識庫列入科研評估發展的核心計劃,形成“科研評估—文獻計量—機構庫”路徑依賴,從而推進學校產生足夠的建設驅動力。
2017年由南科大圖書館館長牽頭的服務和技術團隊,向校科研部副部長牽頭的成果辦公室及院系中主管科研的領導和科研管理崗代表開展需求調研,明確兩大需求并提出解決方案。(1)科研成果信息管理常規工作。雖然科研部的科研管理系統具有學術成果管理功能,但因數據更新不及時和用戶界面功能不友好等原因,一直得不到科研人員的認可。針對這個問題,南科大圖書館提出建設機構知識庫以實現相關管理功能。(2)緊急任務。對于來自校領導、省市各上級部門下發的各類成果統計報表等,提出由圖書館通過機構知識庫和科研評價來提供服務。
針對科研成果信息管理的需求,南科大圖書館聯合科研部、網絡信息中心共同建設南科大機構知識庫,2020 年初啟用。在系統建設期間,另一項重要任務是建立行之有效的制度保障和實施方案。制度保障是指制定《南方科技大學學術成果保存與共享管理細則》,明確科研部、圖書館、院系單位和學者就學術成果保存和共享管理工作各自承擔的職責和分工,分別是統籌機構和決策部署、責任部門和日常事務、科研主體和直接責任,并明確規定“為了避免學術成果數據重復采集,學術成果管理系統將作為學校成果數據的權威來源”。為了確保該制度得到有效落實,科研部和圖書館會同人力資源部制定實施方案,規定年度考核中科研人員提交的論文/專著類成果列表必須從南科大機構知識庫導出。正由于規章制度和實施方案的雙重保障,所有科研人員每年都會使用南科大機構知識庫對本人成果進行認領和查漏補缺,從而有效提高機構知識庫的數據完整性和準確度。
針對論文成果的統計,圖書館根據主體的需求設計兩套服務方案。(1)學校和院系的常規統計:通過調研學校/院系的數據統計特點,開發機構知識庫的數據分析模塊,設計多維度統計指標,使絕大多數的校內統計項目可在機構知識庫中自動生成。(2)省市各上級部門下發的成果統計報表:往往有特定的要求,需要進行數據清洗才能實現,圖書館科研評價團隊為此提供定制化服務。以每年為“廣東省普通高等學校科技統計工作”提交的《科技成果情況表》(空表)為例(見表1),在圖書館提供科研評價服務前,科研部只可采用層層轉發、手工填表后再匯總的方式。不僅工作效率低、數據準確度得不到保障,而且科研人員需耗費大量時間填寫表格。自2018年以來,該表由圖書館負責完成。圖2清晰展示業務流程的前后變化,由原來的400余人參與填表轉變為1人填表,并且數據的準確度也得到大幅提升。這是高校踐行“讓科研人員不為填表報銷所困擾”的服務理念和提升現代化管理水平的體現之一。

圖2 《科技成果情況表》填報業務流程對比圖

表1 科技成果情況表(空表)
作為國家高等教育綜合改革試驗校,南科大以創新立校,以改革興校,探索適合國情的一流大學發展模式。在科學研究中,堅持需求導向、問題導向,加強基礎研究和應用基礎研究,提升科研原創能力,實現更多“從0 到1”的突破。在科研評價方面,強調對基礎研究、應用基礎研究、技術開發和成果轉化等科研產出實行分類評價;對基礎研究、應用基礎研究的業績評價更加注重科研創新的國內外同行影響力。2018年起,南科大圖書館每年為學校撰寫“學術論文影響力分析報告”,作為春季戰略研討會和科研工作會議的重要材料。鑒于科研成果評估指標的多元化和學術論文評價重質輕量的導向,2019年和2020年報告在框架制定、計量指標選用、對標機構選擇等方面做出一系列調整(見表 2)。

表2 近3年論文分析報告框架和內容的對比
對于文獻計量指標“怎么選”“怎么用”,南科大做到3個堅持:(1)不唯ESI,即不以學科進入ESI 1%或1‰作為分析目的,取消ESI學科院系/學者貢獻度分析;(2)重質輕量和指標多元化,不再使用總被引次數、單年累計被引次數等絕對值計量指標,構建由CNCI、Top1%論文百分比、國際合作論文百分比、橫向合作論文百分比等組成的多元指標體系,強調論文引文影響力、國際合作、產學研合作的重要性;(3)分類評價,學科對標機構的選擇更符合本學科特點,如化學學科的對標機構由“5所年輕大學”調整為“第四輪學科評估中該學科評為A+和A等級的高校”。基于上述3個堅持,2018年與2020年化學學科對標分析發生重大變化(見表3-4,圖3),后者清晰展現化學學科科研水平所處的位置、優勢和不足。

圖3 2020年報告:化學學科對標分析圖

表3 2018年報告:化學學科對標分析表
科研評價服務是高校館支撐學校“雙一流”建設的重點服務之一,部分館已具有較強的業務能力,建立了較高水平的專業館員團隊,形成較成熟的服務模式,得到學校的高度認可。與此同時,高校館面臨一些困難和挑戰:如何打破傳統以論文為主的科研成果評價模式,滿足分類評價所需的多類型科研成果數據支撐;如何合理使用科學計量指標、引入替代計量指標,全方位展現科研影響力;隨著高校人事制度改革以及圖書館普遍面臨的館員規模縮減的現實,如何持續高效、高質量地提供科研評價服務,等等。
科研成果是高校的核心知識資產,科研成果數據更是高校核心的數據資產,科研成果數據管理是開展科研評價服務的基石。長期以來學校各業務系統相互獨立,由于科研成果管理制度、業務流程、成果呈繳的監督規范等缺位,即便有機構知識庫等系統的支撐,也難以保障科研成果數據的完整性、準確性與及時性。這對基于多元數據的新型科研評價服務形成了重要的基礎障礙。因此,圖書館應在高校數據治理框架下聯合相關部門開展科研成果數據管理,打破科研成果數據孤島現象,實現數據流通、融合,呈現科研成果的全貌。

表4 2020年報告:化學學科對標分析表
首先,圖書館應與科研部等密切合作,統籌開展科研成果數據管理。例如,全面梳理不同學科的科研成果(論文、圖書、專利、研究報告、政策文件、展覽等),針對不同類型科研成果數據的業務屬性明確歸屬部門,制定業務流程和管理辦法,包括數據的收集、清洗、存儲、共享和分析等。值得注意的是,為避免數據重復建設,應遵循“一數一源”的原則,從制度上規定各類成果的主管部門為其數據的唯一來源。為解決數據完整性和準確性不足的問題,從業務流程上規定各類成果申報、年度考核等所需的數據須出自指定系統。
其次,與學校信息化部門合作,從平臺/工具、數據標準、數據安全等維度推動評估工作的開展,確保科研成果數據管理平臺符合學校數據治理規范,各類數據在學校相關系統中流通和融合。不同類型的科研成果數據可根據學校、院系、科研人員的需求在不同平臺實現共享,如機構知識庫作為論文、圖書類型的科研成果數據管理平臺,可從專利管理平臺收割專利數據、從科研項目平臺收割項目數據,從而全面展現學者的成果。
最后,科研成果數據管理的目的是服務學校的各項業務。在高校數據治理框架下,可以將科研成果數據價值最大化:除了支撐科研評價服務,對學校日常科研管理也起到很好的支撐作用。例如,根據不同業務場景,將不同細粒度的科研成果數據推送到相應的管理平臺,包括學校管理駕駛艙、教育數據統計、大學排名系統等。又如,根據不同用戶類型,設置分層的數據管理和查看授權,包括授予院系領導/科研管理崗對本院系各類成果數據的管理和查看權限、授權規劃部/大學排名團隊查看全校成果數據。
圖書館的科研評價服務能得到各利益相關方的認可,其中兩個重要因素是圖書館扮演中立的第三方支撐服務角色,以及各方對圖書館員在科學計量學專業知識的信任。為了避免計量指標的不恰當使用,南科大圖書館加強有關科研評價政策、合理使用計量指標的宣傳和指導,同時堅持定量與定性分析相結合的方法,探究多樣化的分類分層的評價機制。
在分類評價方面,南科大圖書館根據不同學科學術出版、學術交流和學術評價的特點,在評價方法、數據來源、計量指標等方面區分對待。在自然科學領域,以SCI、EI、Scopus等來源的基于引文的計量指標,可以較好地發揮評價功能,但不可唯SCI,強調“三類高質量論文”。在人文社會科學領域,學術專著和期刊論文都是主要的學術產出形式,而人文社科往往具有較強的本土特色,成果主要發表在國內期刊上,因此須突破以期刊論文為主導、重國際期刊輕國內期刊的評價模式。此外,應根據不同學科特點適當引入替代計量學指標以展現其社會影響力,如教育學、經濟學等領域的研究報告被政府文件、新聞報道引用是其影響力的體現之一。在應用學科領域,應注重評價科技創新、橫向合作、高價值專利。
在分層評價方面,根據不同層面、不同階段的評價主體合理使用定量評價和同行評議。針對學者/課題組等微觀層面的評價主體,應全面采用同行評議的方法,定量指標只作為評估專家的參考信息;針對學科/院系/大學等中觀層面的評價主體,應充分發揮好科學計量指標的作用,將定量指標作為診斷優劣勢的判斷指征,如存在顯著差異時,需要引入學科專家探析深層次原因。在人才引進階段,可以按時間軸繪制其整個學術生涯的科研成果表現,從而更清晰地展現其學術產出和影響力發展趨勢,并從研究主題新穎性分析其學術潛力。在中期考核階段,因將其進校前和進校后的研究成果作為兩個數據集進行分析,不僅發揮人才評價的作用,也可作為學校育才工作的參考。在聘期考核階段,應重點關注聘期內發表的代表性成果。
目前國內高校館的科研評價服務主要以面向校領導、院系的機構/學科層面的科研影響力對標分析、學科發展態勢分析為主,服務類型多為分析報告,評價目的多以總結性評價為主;較少開展面向科研人員,以提高科研成果管理能力、提升和展現科研影響力的培訓或咨詢服務。科研成果數據管理與科研評價服務密切相關,彼此相互促進。
圖書館應基于科研人員在研究影響力生命周期各個階段的需求,重點針對其在科研成果管理和提升科研影響力上的難點和痛點,系統性開展支持服務。因此,除針對基金課題、人才項目申報提供論文查收查引服務外,還應加強以下服務。(1)學術出版階段:提供期刊投稿指南、開放獲取出版咨詢、ORCID注冊指引等,如指出選擇開放獲取出版將有助于提升論文影響力,在投稿系統登記ORCID 將有助于成果的自動歸屬。(2)科研成果管理階段:為新進科研人員提供人名清洗服務,并將其整個學術生涯數據導入到機構知識庫個人成果列表;基于人名和地址識別機制,機構知識庫將學者進校后發表的成果數據進行自動匹配、添加到成果列表中,幫助學者輕松管理與維護成果數據。(3)學術履歷維護階段:開展ORCID、ResearcherID等常用學者ID的培訓咨詢服務,指引學者通過關聯不同學者ID輕松維護多個平臺上的履歷,指引學者在學校個人主頁、ResearchGate網站添加本人的學者ID,從而提升學術成果的顯示度以及增加潛在的科研合作機會。(4)研究影響力評價與展示階段:開展有關常用科學計量指標定義及其優缺點、高被引學者榜單方法論、替代計量學指標等的培訓和咨詢,幫助科研人員更科學地選擇評價指標,展示其科研影響力。
通過數據清洗、學者ID培訓與指引等一系列服務,將有效減輕科研人員維護本人科研成果數據的負擔,實現一套科研成果數據在多個平臺的共享,從而提升科研人員的參與度和滿意度。與此同時,因科研人員積極主動參與個人成果數據的維護,將有效提高數據的完整性、準確性與更新的及時性,有助于將館員從往常繁重的數據處理任務中解放出來,學習最新的知識和技能,確保館員在知識快速更迭的時代里持續高效、高質量地提供科研評價服務。
“雙一流”建設背景下,科研評價服務是高水平研究型大學圖書館的核心服務之一。但是,如果延續以定制化分析報告為主的服務模式,圖書館不僅面臨人力負擔過重的壓力,也存在被相關職能部門(如規劃部或第三方咨詢機構)取代的潛在風險。因此,圖書館應聚焦學校發展目標,在高校數據治理框架下統籌開展科研成果數據工作,依托制度建設的底層設計保障數據的互通互享和充分利用,滿足分類評價所需的多類型科研成果數據支撐;在合理使用科學計量學指標的指導思想下,探究多樣化的分類分層評價機制,針對不同學科、不同評價主體提供相適用的評價框架和指標;在強化面向研究影響力生命周期的服務理念下,貫徹嵌入核心業務流程的思路,依托貫穿科研人員和學校各層科研成果管理與評價流程的多樣化服務,提升科研人員的參與感和獲得感,提高學校科研數據管理效能和科學決策水平,確保科研評價服務的高水平、高效率。