科技論文評價指標體系的研究現狀及發展研究

摘要：文章梳理了我國科技論文評價指標體系的研究現狀，總結研究熱點、把握研究趨勢，為科技論文評價指標體系的完善和發展提供理論參考。采用CiteSpace R6.1可視化分析工具，圍繞與“科技論文評價指標體系”相關的關鍵詞進行了系統分析，旨在深入探討當前研究的熱點問題。研究發現，國內相關論文的研究主題主要包括科技論文評價體系指標、指標體系構建、多維指標、學術創新評價、評價改革等。首先，回顧了學術論文評價指標的起源和發展歷程，包括傳統的引用次數、影響因子等指標，以及近年來興起的學術社交網絡和科學影響力指數等新型指標。其次，通過對相關文獻的分析，總結了當前學術界對于評價指標的研究熱點和關注領域，包括學科差異、合作網絡、知識轉化等方面。最后，展望了未來學術論文評價指標的發展趨勢，包括引入多維度評價指標、采用人工智能技術進行評估、推動開放科學運動等。

關鍵詞：科技論文評價；論文影響力；評價指標體系；文獻計量

中圖分類號：G353.1;R-05" 文獻標志碼：A

0 引言

科技論文評價體系采用客觀指標來評估學術研究的質量、產出以及影響力，以衡量研究人員的學術成就、支持科研經費的申請，以及決定職稱晉升等方面。科技論文評價起源于對學術成果質量和影響力的關注，其演進經歷了個體學者聲望、研究論文質量以及引用次數等不同階段［1］。隨著技術的不斷進步，科技論文評價正逐漸向多元化發展，評價指標不再局限于引文分析和影響因子等，而是逐步擴展到機構合作、學科交叉等層面。在這一演進過程中，其指標體系不斷變革，持續創新和完善，以適應學術界的變化和國際化趨勢［2］。

1 研究背景和意義

科技論文是科學研究成果的主要表達形式，高質量的論文不僅有助于研究者本人提升學術影響力、獲得基金項目、增加學術交流合作的機會及職稱晉升，同時也是科研機構和學術期刊評估研究質量和影響力的重要依據。

我國當前的學術評價指標體系雖然在一定階段促進了我國的學術發展，但隨著學術研究的多樣化，這些傳統指標對科技論文質量的評估也暴露出一些弊端。目前，我國科技論文評價體系中存在的突出問題主要有：（1）過于依賴量化指標，忽略了對研究質量及影響力的評估；（2）沒有充分考慮學科差異，不利于對跨學科研究進行評價；（3）過于追求SCI影響因子；（4）比較偏重基礎研究，對應用研究和技術創新的關注不足；（5）關注個體表現，對團體協作和集體貢獻的評價相對不足［3］。科學研究和學術交流的全球化使傳統科技論文評價體系面臨多方面挑戰和質疑。現行指標只反映論文在學術界的影響，而無法全面評估質量、創新性和實用性，忽略了學科多樣性［4］。

2 研究方法和數據來源

以主題包括“學術論文評價指標”“科學論文評價指標”“科技論文評價指標”等檢索知網數據庫，檢索區間限定為2014年1月1日到2023年10月30日（見圖1）。共檢索獲得文獻2689條，通過人工閱讀的方式，剔除與主題不相關的論文819篇；刪除“致謝”“前言”“啟示”“科技成果”等非論文信息493條，最終獲得研究數據1377條。

CiteSpace是一款基于JAVA運行環境開發的可視化軟件，由陳超美教授團隊設計。該軟件能夠對特定領域文獻進行計量，并通過知識圖譜揭示學科領域的發展和演化。本文運用CiteSpace 6.1 R6對中國知網數據庫的文獻數據進行格式轉化，以一年為單位進行關鍵詞描述和聚類，繪制知識圖譜并進行比較分析，以初步了解科技論文評價指標的發展脈絡。

科技論文評價指標相關文獻研究內容與趨勢分析：利用CiteSpace軟件的對數似然值（LLR）算法對文獻中的關鍵詞進行統計和聚類，并使用關鍵詞（K）對聚類進行命名；通過時間線視圖展示關鍵詞隨時間的演變趨勢和關聯關系；最后，為提高知識圖譜的可讀性，刪除出現頻次少于5次的關鍵詞，得到CNKI數據庫提供的科技論文相關文獻清晰可讀的知識圖譜［5］。

3 結果

本研究采用“數據分析+人工閱讀”方法，運用CiteSpace軟件對文獻關鍵詞進行分析，同時通過人工閱讀深入文獻內部，按照邏輯順序客觀呈現學術研究評價指標體系的具體內容。主要分為3個部分：首先，分析基本狀況，對過去期刊文章數量、主要發文機構和高被引學者進行分析，展現學術研究評價指標體系的發文情況；其次，挖掘研究文獻的主要內容，通過時間線圖譜和關鍵詞聚類分析，揭示研究的整體變遷歷程和各議題之間的關系；最后，剖析研究熱點和趨勢，統計關鍵詞以呈現科學研究評價體系的熱點，分析關鍵詞突現情況，預測未來研究發展趨勢，展現潛在熱點。

3.1 研究力量分析

對發文機構進行分析，得到機構合作圖譜，主要發文機構以高校和科研院所為主，其中發文量位列前5的機構是南京大學信息管理學院（47篇）、武漢大學信息管理學院（46篇）、浙江工商大學統計與數學學院（39篇）、中國科學院文獻情報中心（34篇）和中國科學技術信息研究所（33篇），如圖2所示。

圖2中共有330個節點，但只有203條連線，網絡密度僅為0.0037，可見當前科學研究評價指標領域發文機構比較分散。從研究機構的類型來看，作為核心機構的高校和研究所之間存在一定的交流，通過對現有跨機構合作情況的分析發現，大部分合作研究局限于一定的地域范圍之內，跨區域合作較少。未來應加強各類高校和研究機構之間的合作，進一步深化科研評價指標的分析框架，推動科技論文指標體系研究在實際層面的合作。

3.2 關鍵詞知識圖譜分析

關鍵詞是對文獻研究主題的高度總結，通過分析可明晰研究領域的熱點和發展動態。通過CiteSpace提取的345個關鍵詞，繪制了科學研究評價指標關鍵詞共現圖譜，用于展示這些關鍵詞之間的強邏輯關系（見圖3）。科技論文評價指標體系研究關鍵詞網絡圖中共有345個節點和369條連線，網絡密度為0.0062。其中，“評價指標”“學術期刊”“指標體系”“被引頻次”“影響因子”“學術評價”等關鍵詞頻次和中介中心性較高，占據重要地位，與研究內容相吻合。評價體系中除了傳統的學術質量評估指標，還引入了H指數、Z指數、P指數、MI指數、PR指數、S指數等多維度評價指標；新興方向包括“離散系數”“個體權重”“引文分布”“信息熵”“鏈路預測”“動態評估”等；學術跡則全面反映學者或機構的科學研究歷程；在研究方法方面，“人工智能”“大數據”“機器學習”“深度學習”“文本挖掘”等有助于分析大規模學術數據，挖掘潛在規律和趨勢；倡導“同行評議”“打擊學術不端”“控制過度自引”和維持“科研信用”以保障學術誠信和研究成果的品質；“區塊鏈”技術可用于記錄學術成果信息，提升評價體系公正性和可信度。

3.3 關鍵詞聚類分析

關鍵詞聚類分析，在科學研究評價指標研究關鍵詞共詞分析基礎上，對關鍵詞進行聚類分析以明晰主題分布。由CNKI數據庫挖掘的關鍵詞可聚類為10個主題，每個主題均有對應的編號，編號越小表明聚類模塊中關鍵詞數越多。通過梳理聚類結果，可知當前國內研究形成了聚類0——H指數；聚類1——影響因子；聚類2——評價指標；聚類3——指標體系；聚類4——評價；聚類5——學術評價；聚類6——引文分析；聚類7——期刊評價；聚類8——科學評價；聚類9——技術預測。根據聚類標簽內關鍵詞的相似程度，并結合相關文獻解讀，可以將學術研究評價指標體系研究主題歸為4大類，包括學術研究的具體指標、學術研究的評價角度、學術評價指標的計算方式、學術評價指標的應用（見圖4）。

3.4 年度熱詞

結合圖譜與文獻分析結果，可知當前學術研究評價指標體系研究領域的重點關注點是學術評估指標、評估方法及評估工具。參考關鍵字的聚類和時間線圖，得到學術研究評價指標體系年度關鍵詞歸納表（見表1）。

在過去的10年間，科技期刊評價指標體系的演進一直是研究者們關注的焦點。2014年之前，學術界多用影響因子、H指數等指標來評價期刊和學者的學術影響力［6］。影響因子由特定期刊在兩年內被引用的文章總數與該期刊兩年內發表的文章總數相除獲得；而H指數則綜合考慮了作者的產出和被引用次數，因子分析和引文分析則幫助研究者更深入地了解研究領域的關鍵因素和重要文獻［7］。

2015年，學術跡和專利分析逐漸成為評估研究績效的重要工具；引文指標和相關分析幫助研究者理解文章之間的關聯性，而回歸分析和聚類分析則提供了更深入的統計方法，以揭示研究領域的潛在規律；H5指數和Plum Analytics等新興指標也為學術評價提供了多樣的視角。

2016年，同行評議和載文量開始成為評估學術質量的重要手段；組合評價和專利指標為多維度評價提供了更全面的工具，而合著/合作網絡的分析揭示了研究社群之間的關系；影響矩和熵值/熵權法等新的評價方法進一步拓寬了學術評價的視野。

2017年，人工智能、代表作、信息熵等方法引起研究者們廣泛關注；學術不端和知識圖譜的研究成為學術界的熱點，而PC指數則提供了對作者合作網絡新層面的理解。

2018年，Z指數、引文網絡、EM指數等新的評價指標應運而生，瀏覽量和鏈路預測等新方法為研究影響力的評估提供了更多選擇；CW算子、E指數和F指標等新興工具也進一步豐富了學術評價的手段。

2019年，機器學習、過度自引、MI指數、PR指數等關鍵詞表明了學術研究正不斷迎接科技的發展；動態評估/評價和區塊鏈等新興技術開始逐漸應用于學術評價的領域，為研究質量提供更多創新性的測量方式。

2020年，自然權重、元評價、文本挖掘、五計學等新概念紛紛出現。引文分布和科研信用等主題引起學術界的廣泛關注，而HS指數等新的評價指標為學術研究提供了更為細致入微的分析方法。

2021年，偽權重、線性評價、國際合作、離散系數等成為學術評價領域的新關注點。被引質量和χ指數等新指標突顯了對研究質量和引用情況更為深刻的關注。

2022年，權重失靈、個體權重、大數據、學術譜系、德爾菲法和深度學習等詞匯表明學術評價正在朝著更加智能化和數據驅動的方向發展。大數據的應用為學術研究提供了更龐大的信息資源，深度學習等技術則為更復雜的分析和模型構建提供了可能。

綜上所述，學術評價指標的發展不僅反映了科學研究的不斷演進，也為研究者提供了更為全面和精細的方法來評估學術質量和影響力。隨著科技的不斷發展，相信未來會有更多新的評價指標和方法涌現，為學術界提供更為準確和有力的評價工具。

4 主要結論和展望

4.1 主要結論

本文運用CiteSpace文獻計量軟件，并通過外延知識補全，構建了科技論文評估指標體系的融合知識圖譜，有助于分析績效投入與產出、評估效益因素、評價合理性和研究方向穩定性，對2014—2023年CNKI中以學術研究評價指標體系為主題的高質量文獻進行系統性分析，得出了以下主要結論。

（1）就發文時間而言，學術研究評價指標體系的研究熱點呈現與政策出臺內容相關的變化。在作者方面，科技論文評價指標體系的作者合作規模相對較小。從機構角度看，其發文機構分布較為分散，主要以高校和研究所為發文主體，各機構的研究重點存在顯著差異。

（2）對學術研究影響力指標體系的關鍵詞進行分析，結果表明，研究熱點主要集中在“評價指標”“學術期刊”“指標體系”“被引頻次”“影響因子”“學術評價”等高中介中心性關鍵詞，且呈現出明顯的時序特征。

（3）通過對學術影響力評價指標體系關鍵詞進行聚類分析，發現研究涵蓋了4大類內容。第一類是學術研究的具體指標，明確了衡量學術影響力的關鍵要素；第二類是學術研究的評價角度，闡述了實施路徑，為建立全面評價體系提供了指導；第三類是學術評價指標的計算方式，通過量化研究結果，揭示了學術影響力的建設水平；第四類是評價指標的應用結果，指明了推進學術影響力評價的戰略方向。這4大類內容共同構成了對學術影響力評價指標體系全面而深入的研究。

4.2 未來展望

首先，隨著數據科學和計量學方法的興起，科技論文評估的量化指標得以更全面和準確地被測量。傳統的科技論文評價指標在某些情境下難以全面反映研究的影響力和貢獻。新興的數據科學技術，如文本挖掘和社會網絡分析，使研究成果的關聯性更清晰可見，為學術評價提供了更多元的數據支持［8］。

其次，人工智能技術的應用使科技論文評價指標體系更智能化和個性化。通過深度學習算法，評價系統能更好地理解研究者的貢獻和創新，避免了過度依賴傳統指標的弊端。這樣的智能評價系統能更好地適應學科的特殊性和多樣性，為研究者提供更具針對性的反饋，推動學術研究朝著更創新和有深度的方向發展［9］。

此外，技術的進步使科技論文評價體系更具開放性和透明化。區塊鏈技術等新興技術的應用，使學術成果的來源、引用和使用等信息都能被追溯，其不可篡改的特征，為學術評價提供了更透明和可信的基礎。這種開放性的評價體系有助于減少學術不端行為，促進學術社區的誠信和合作。

綜合而言，技術的發展為學術評價指標體系提供了更豐富和準確的數據支持，也為其智能化、開放性的發展提供了新的可能性。在這個背景下，學術評價體系應不斷優化，如在引入多維評價體系的同時，注重研究的質量和對社會的實際影響；考慮學科差異，定制不同學科的評價標準，以客觀反映各領域的特點及貢獻；應用多樣化指標體系，不僅關注SCI影響因子，還應考慮其他學術產出、科研團隊貢獻等指標；平衡基礎和應用研究，鼓勵技術創新的產出；強調團隊合作，在評價中突出團隊合作和集體貢獻，而不僅僅關注個體表現；加強學術誠信，采取有效手段防范學術不端行為，以更好適應不斷變化的學術環境，為科研人員提供更具針對性和全面的評價。

參考文獻

［1］蘇強，蔡曉衛.效率還是價值：高校教師評價制度的邏輯困境及其張力調適［J］.華東師范大學學報（教育科學版），2023（6）：133-141.

［2］鄧三鴻，楊杰，王昊，等.多源異構數據視角下的學術評價：內涵、進展與展望［J］.科技情報研究，2023（4）：42-56.

［3］許天才，馮婷婷，潘雨亭，等.高校圖書館輔助論文代表作復合式評價的調研與分析［J］.圖書情報工作，2022（14）：49-57.

［4］劉益東.從同行承認到規范推薦：開放評價引發的開放科學革命與人才制度革命［J］.北京師范大學學報（社會科學版），2020（3）：29-41.

［5］陳悅，陳超美，劉則淵，等.CiteSpace知識圖譜的方法論功能［J］.科學學研究，2015（2）：242-253.

［6］陳斌.從“表現主義”到“本質主義”：大學學術評價指標化的支配及其超越［J］.高等教育研究，2021（5）：44-54.

［7］楊瑞仙，高鑫寧，董克.我國學術代表作評價研究進展［J］.圖書情報工作，2022（17）：129-140.

［8］王燕.高被引論文的參考文獻特征及其對影響因子貢獻研究：以我國眼科學期刊為例［J］.江蘇科技信息，2018（21）：10-13.

［9］朱永新，楊帆.ChatGPT/生成式人工智能與教育創新：機遇、挑戰以及未來［J］.華東師范大學學報（教育科學版），2023（7）：1-14.

（編輯 何琳）

Advances and prospect in the studies of scientific paper evaluation index system

ZHU" Shaohua， CHEN" Yi， FENG" Qi， WANG" Tingting*

（The Library of Ruijin Hospital，Shanghai Jiao Tong University School of Medicine， Shanghai 200025， China）

Abstract：" The article summarizes the current research status of the evaluation index system for scientific and technological papers in China， summarizes research hotspots， grasps research trends， and provides theoretical references for the improvement and development of the evaluation index system for scientific and technological papers. The CiteSpace R6.1 visualization analysis tool was used to conduct a systematic analysis of keywords related to the “evaluation index system for scientific papers”， aiming to deeply explore the current hot research issues. Research has found that the topics of domestic related papers mainly include evaluation system indicators for scientific and technological papers， indicator system construction， multidimensional indicators， academic innovation evaluation， evaluation reform， etc. Firstly， the origin and development process of academic paper evaluation indicators were reviewed， including traditional indicators such as citation frequency and influencing factors， as well as new indicators such as academic social networks and scientific influence indices that have emerged in recent years. Secondly， through the analysis of relevant literature， the current academic research hotspots and areas of focus on evaluation indicators were summarized， including disciplinary differences， collaborative networks， knowledge transformation， and other aspects. Finally， the development trends of future academic paper evaluation indicators were discussed， including the introduction of multidimensional evaluation indicators， the use of artificial intelligence technology for evaluation， and the promotion of the open science movement.

Key words： scientific paper evaluation; paper influence; evaluation index system; bibliometrics

基金項目：市級醫院科技論文評價方法研究；項目編號：2022SKMR-25。

作者簡介：朱韶華（1978—），女，館員，碩士；研究方向：文本挖掘，文獻計量。

*通信作者：王婷婷（1988—），女，館員，碩士；研究方向：數字媒體，信息藝術技術，文獻計量。