文獻計量在科研團隊學術影響力分析中的實踐與思考
——以凍土工程國家重點實驗室為例

李 娜，賈筱景，毛文梁，馬建霞

（1.中國科學院西北生態環境資源研究院文獻情報中心，蘭州730000；2.華南理工大學圖書館，廣州510000）

0 引 言

學術影響通常是指在學術方面產生的影響，包括對人和對相關學術專業的理論和實踐等的影響［1］。加拿大人文與社會科學聯合會于2017年發布報告《評估人文與社會科學影響力的途徑》中強調，對學者或科研團隊影響力的評價研究，一直以來都是科研管理和科研學術評價領域研究熱點，也是科技評估實踐中的難點。我國的科研評估工作始于20世紀70年代末期，隨著獎勵政策、晉升制度與其掛鉤，SCI量化評估指標逐漸成為衡量國家級科研機構（如國內的大學和中國科學院）、科研團隊（國家級科研機構下屬的各研究單元）和科學工作者學術水平最重要的、甚至唯一的標尺［2］。現階段我國科學研究的規模和專業性與日俱增；與此同時，國內“不唯SCI”的呼聲不斷。在這種形勢下，對于已經完成和正在進行的各種紛繁復雜的科研工作及其大量科研產出，單靠組織專家評審方式開展定性考量很難達到公正而高效的評估效果。

在過去的10多年內，國內外有不少相關研究從發展評估指數、構建評估模型等角度出發，探索更為精準的評估和預測學術影響力的新方法［3-11］。然而，在這些工作中多偏重指標計算與評價體系的理論研究［12-13］，應用時存在執行困難、效果欠佳等缺點［14］。2016年5月習近平總書記在“科技三會”上明確指出，要改革科技評價制度、建立分類評價體系［15］。2018年6月中國科技部發布“關于加強國家重點實驗室建設發展的若干意見”中指出，要大幅提升國家重點實驗室的原始創新能力、國際學術影響力等［16］。合理評判一個國家重點實驗室科研團隊的學術影響力，在團隊自我診斷與管理導向方面均具有實際意義。當然，任何一個評估體系的建立需要經歷一個較長期的實踐與反復修正過程。文獻計量作為一種相對客觀、操作性強的方法，被廣泛地應用于科研績效評估領域。實際應用中，通常是采用文獻計量學指標來量化并分析某一科研團體的發文質量與影響力［17-18］。在評價科研工作者及科研團隊的工作中，盡管文獻計量學指標的適用性會因評價對象和評價尺度的不同而有差別［19］，但是從現實條件出發，文獻計量指標和方法在定量評估中仍具有其獨特的客觀、明確、可對比性高等優勢［20］。

每個科研團隊均有其自己的學科與研究特點，尤其是基礎研究，作為高新技術發展的源頭，其高水平的論文一向是他們最主要的研究成果產出，也是文獻計量統計的主要數據源。國家重點實驗室評估是基礎研究同行評議中最為復雜的一類評價工作，所遵循的評估主要原則是定性與定量指標有機結合［21］。本文以國內凍土研究領域最為著名的團隊——中國凍土工程國家重點實驗室為例，通過細分可覆蓋整個凍土領域的4個研究分支（凍土工程、凍土力學、凍土環境和凍土物理），并利用文獻計量的方法，從學科領域和研究分支的角度對比分析了該科研團隊的學術影響力及其隨年份的演化趨勢。研究與實踐的嘗試可為評估工作的定量信息分析提供具體數據支持，也可作為科研團隊未來學科發展與建設的參考依據。

1 數據來源與研究方法

分析數據均來自Web of Science數據庫核心合集，利用DDA（Derwent Data Analyzer）文獻計量專業分析軟件以及office Excel進行數據處理。整個數據集中的文獻類型限制為ARTICLE、REVIEW、LETTER和MEETING （proceedings paper/Article： proceedings paper）四種且均為SCIE/CPCI收錄論文的題錄信息。

根據《凍土學辭典》中表達凍土研究的關鍵詞進行檢索，將檢索到的凍土學研究領域研究論文的題錄信息作為基礎數據集。合并Abstract（Phrases）、Keywords （author＇s）和Title （Phrases）這3 個字段并咨詢領域權威專家，將整個凍土研究數據集按照關鍵詞控制檢索，劃分為如表1所示的4個研究方向，最終形成用來分類分析的子數據集。

表1 凍土領域4個研究分支控制關鍵詞表

2 應用實踐與分析

凍土工程國家重點實驗室是凍土領域知名的科研團隊，研究中利用以上收集并分類的整個凍土領域的發文數據，采用文獻計量的方法從不同角度挖掘整個團隊在該領域的學術表現，從整體（學科領域）到局部（研究分支）的角度全面分析團隊的學術影響力。

2.1 從學科領域看科研團隊的學術影響力

文獻計量學常用數據源通常來自多學科的大型數據庫，從數據庫中提取的常規指標最合適的評價對象是宏觀層面上的國家級科研機構（例如國內的大學和中國科學院）［19］。然而，凍土工程國家重點實驗室是以其所依托上級機構中國科學院在大型數據庫中進行分類統計。對于評價如此一個“小”的科研團隊來說，從宏觀層面獲取的分析結果的分辨率顯然無法精確地反映出“小”團隊在相應的學科領域的真實學術影響力。為了呈現“小”團隊在“大”領域中的研究實力，首先以“相似規模且研究領域相對集中”的原則將國際上的科研機構細分成相對獨立的科研團隊（或研究單元，即每個國家級科研機構下屬的某個實驗室、研究所、研究中心或者院系等），然后將這些具有類似規模的科研團隊作對比分析，最終獲得我國凍土工程國家重點實驗室在這個科研團隊群中所處的具體位置。

某一時間段內科研團隊在相關學科領域發表的論文數量，在一定程度上可以作為一個指標來量化該團隊對本學科領域所產生的學術影響力。因此，在表2中首先列出了2013～2017年5年間我國凍土工程國家重點實驗室以及與國際上其具有類似規模的科研團隊在凍土領域發文量TOP10的排名情況。

表2 凍土研究領域發文量TOP10科研機構（2013～2017）

數據顯示最近的5年間中國凍土工程國家重點實驗室在本領域的發文量（251篇）最多，且遠遠超出排名第2的亥姆霍茲極地海洋研究中心（169篇），說明了凍土工程國家重點實驗室的研究實力在凍土領域占有絕對優勢地位；通過細分科研團隊后，屬于阿拉斯加費爾班克斯分校的3個團隊（國際北極研究中心、地球物理研究所、生物學及野生動物系）從宏觀層面的分析中成功剝離出來，以獨立的個體呈現出了各自在該學科領域的學術地位。然而，僅從發文量這一指標來描述一個科研團隊的學術影響力具有明顯的局限性，主要原因是發文量參數無法提供發文質量的信息。科研團隊發表的論文質量可用論文的被引次數（可表征被本學科領域其他團隊對其的關注度）這一指標來量化。因此，進一步分析了發文量TOP10的各科研團隊的篇均被引頻次和被引頻數大于10的發文數量占總發文量的比例（以下稱為“高被引論文比例”），并將這兩個參數同樣呈現在表2中。需要注意的是，盡管凍土工程國家重點實驗室的發文量在凍土領域占有絕對優勢地位，該團隊對應的篇均被引頻次和高被引論文比例這兩個表征發文質量的指標在這10個團隊中卻處于最低水平；相反，發文量排名靠后的阿拉斯加費爾班克斯分校生物學及野生動物系（排名第8）和美國橡樹嶺國家實驗室（排名第9）的被引頻次和高被引論文比例均處于較高水平。由此可見，若想精確把握諸如凍土工程國家重點實驗室的科研團隊在其學科領域的影響力，首先要將研究相對集中的科研團隊單獨從國家級科研機構中提取出來，然后與類似規模的團隊群進行比較。這種分析方法有效地避免了不對等科研機構間的不公平對比。除此之外，在分析可表征學術影響力的指標時，單一指標往往具有很大的局限性和不確定性，再一次強調了今后的分析工作中研究成果的質和量之間的權衡考慮在獲得精準評估結果的重要性。

2.2 從研究分支看科研團隊的學術影響力

在學術影響力的評價中，不同學科領域及其分支方向都有其獨特之處，“大同行”與“小同行”不可同日而語的現象比比皆是；把不同的研究分支放在一起用同一個尺度去衡量更不科學；非同一研究分支的團隊通過傳統的文獻計量指標的統計計算當然也無法準確地反映其在“大”學科領域的學術影響力。雖然WOS數據庫中已經對期刊學科類別做了細致的區分，但考慮到期刊的綜合性以及學科的特點與交叉的紛繁，在實際執行當中卻很難利用。為了恪守文獻計量學評價中“同類相比”的基本原則［22］，本工作嘗試性的將涵蓋凍土研究領域的4大分支——凍土工程、凍土力學、凍土環境（災害）、凍土物理（熱力學、構造等），分別進行統計分析，分析結果如表3所示。

表3 凍土研究領域4大分支方向發文量優勢科研機構（2013～2017）

在對分析結果進行描述之前，需要強調的是，對于特定的一個科研團隊，4個研究分支的發文量之和遠遠大于其在“大”學科領域分析的總的發文量（例如2013～2017年間我國凍土工程國家重點實驗室在4個研究分支的發文量之和為589篇，而在凍土領域的總發文量為251篇［見表2］）。導致兩者不同的主要原因是在研究分支層面進行分析時，有些論文同時被劃分在不同的研究分支中。僅從2013～2017年間年的發文量來看，最近5年我國凍土工程國家重點實驗室和俄羅斯莫斯科羅蒙諾索夫國立大學地質與地理系在4個研究分支的學術影響力均處于明顯優勢地位（這一結果與在“大”領域分析的結果類似，見表2），且在這4個分支投入的研究力量相對均衡；需要指出的是，從大領域分析層面發文量排名第2的阿爾弗雷德魏格納研究所暨亥姆霍茲極地海洋研究中心（AWI）、排名第5的阿拉斯加費爾班克斯分校地球物理研究所和排名第6的加州大學伯克利分校勞倫斯伯克利國家實驗室，研究方向主要分布在凍土力學、凍土環境和凍土物理這3個分支，而對于凍土工程（幾乎）沒有涉及；排名分別為第4的阿拉斯加費爾班克斯分校國際北極研究中心和第8的生物學及野生動物系、排名第7的瑞典斯德哥爾摩大學Bolin氣候研究中心，研究方向（幾乎）沒有涉及到凍土工程和凍土物理；排名第9的美國橡樹嶺國家實驗室和第10的美國科羅拉多大學環境科學聯合研究院國家雪冰數據中心，研究方向主要分布在凍土環境這一分支。除此之外，4個分支在總體發文量方面差異也相對明顯：凍土環境分支的論文產出最多，排名前10的團隊發文量都在50篇以上且有2個團隊過100篇；其余3個分支的發文相對較少，尤其是凍土物理方向，發文量在10篇以上的科研團隊只有6家。通過引文分析所呈現的不同分支的研究成果被同行的關注程度（均篇被引頻次和高被引論文比例，見表3）可以發現：我國凍土工程國家重點實驗室在4個研究分支中，具有相對較好學術影響力的是凍土工程分支，其次為凍土物理分支。從整體上來看，凍土工程領域的整體發文量、被引頻次以及高被引論文比例都低于其他3個研究分支。這一結果揭示了在國際凍土領域中凍土工程是相對較弱的一個分支，當前推進該分支的中堅力量來自我國凍土工程國家重點實驗室團隊。

綜上所述，研究分支的細分可以讓不同的科研團隊在自身相對優勢的研究方向內進行對比，一定程度上削弱了研究方向差別帶來的干擾，更準確地展現研究團隊之間的真實差異，客觀公平地呈現團隊在對應研究方向的學術影響力。

2.3 從發文期刊看科研團隊學術影響力的演化趨勢

期刊影響因子（IF）是美國SCI創始人加菲爾德（E.Garfield）率先提出并且已經得到廣泛應用的一項期刊定量評價的重要指標［23］，雖然在評價領域存在很多爭議，但它依然是評價論文質量的一種直接有效的定量指標。實踐中，人們無法完全利用定量的方法來衡量某篇論文或某些論文的學術成就，但是如果分析在特定時期內某一科研團隊發文期刊的IF隨年份的演化規律，是可以在一定程度上反映該團隊在學科領域的學術影響力的動態演化。

圖1 凍土工程國家重點實驗室在2013～2017年間發文質量變化趨勢

3 結論與討論

對科研團隊學術影響力的客觀評估必須結合同行評議和定量分析兩種方式。文獻計量分析可以作為同行評議的一種補充，只要分析尺度把握合理，專業學科方向精確細分，分析呈現角度靈活處理，就可以將文獻計量方法有效地利用起來，為學術影響力評估提供可靠的數據支撐。

本研究以我國凍土工程國家重點實驗室以基礎研究為主的“小”科研團隊為例，用傳統的文獻計量方法從不同角度嘗試了如何展現一個科研團隊的學術影響力：從全球大學科領域全面把握一個科研團隊的總體發文情況以及在具有類似體量研究單元群之間的國際位置；再通過關鍵詞控制進行具體學科分支方向的劃分，細致對比分析出科研團隊在大學科領域中不同研究分支的優勢；從團隊整體發文期刊水平的變化，動態地評估了其學術水平在特定時期內的發展演變趨勢。

在科研評價領域，學者們都在探討如何更好地展現學術影響力，但對于“學術影響力”尚無清晰且被廣泛接受的定義。學術工作本身形式多樣且領域交叉頻繁，定量評價中無法通過某個單一指標或某組特定指標反映其多樣性的學術影響力。雖然文獻計量的評估方法存在一定的局限性，但在現有的條件下，利用發文數據進行評價無疑是一種相對客觀公平且易執行的方法。如何更合理地利用這種方法來展現一個科研機構或者科研團隊的學術影響力，應該根據其自身長期從事研究工作的學科特點來“量身定做”。

科研機構和科研團隊的學術影響力評估是一項非常具有挑戰性且支撐科研創新和科研管理的工作。在本文涉及的實踐中，領域專家在分析角度的確定以及數據檢索的過程中都扮演著不可或缺的角色。從第三方評估的角度出發，在堅持公平公正原則的基礎上，根據評價對象的特點，充分利用現有的、易獲取且客觀的數據資源，探索操作性強且具靈活性和適應性的評估方法，是該研究領域需要充分思考、共同努力的方向。