《關于深化項目評審、人才評價、機構評估改革的意見》強調“推行代表作評價制度,注重標志性成果的質量、貢獻、影響”,旨在扭轉不科學的評價導向。代表作評價制度建設已成為科技評價改革的重點,成為加強科研誠信建設、落實“破五唯”的重要舉措。
由于不同學科、技術、行業領域的專業特征各異,導致學術代表作的類型也呈現多樣化形態,既可以是學術論文、學術專著、專利、研究報告等常見的科技文獻,也可以是技術轉讓、技術服務、技術咨詢、獲獎項目、衍生作品、藝術作品、古籍整理等成果形式。遵循可代表性原則和可比較性原則,代表作遴選時可以采用“代表作集群”形式,通過對代表性成果多維、立體和全方面的評價,更客觀、準確地反映項目、人才、機構所取得學術成果的質量、影響力、創新和實際貢獻。文獻情報機構可以為推進代表作評價制度的落實,做好代表作的評價參謀,強化相關基礎條件和咨詢方法建設。
第一,要加強科技大數據建設。在進行科技信息資源建設的基礎上,注重體現信息作品質量、貢獻、影響等方面大數據的采集,如信息作品的下載與利用數據、同行評價數據,科技文獻的引用信息,科技成果的轉化數據等,并在此基礎上進行深入分析、挖掘,盡可能獲得支撐專家評價的來源信息。
第二,要做好作者知識庫構建工作。在作者名稱消歧基礎上,進行作者畫像勾勒,展示作者完整的學術成果鏈和研究軌跡,提供對作者成果的可視化分析。綜合運用文獻計量、技術演化、自然語言處理等技術方法,從科學性、創新性與價值性三個維度識別眾多類型作品的內容、創新點、效用等信息,幫助同行專家對作者進行不同維度的評價分析,以遴選出反映作者能力、水平和貢獻的有代表性或標志性的作品。
第三,要做好代表作關聯分析工作。結合作者代表作的內容特征及情境信息,把與其具有可比性的其他科技工作者的作品也遴選出來,并結合代表作的應用場景進行定量統計和關聯分析,為專家將代表作與同類作品進行橫向比較提供信息基礎,以輔助專家鑒別、認定。
隨著開放科學的不斷發展、文本挖掘技術的快速應用,借助科技大數據資源和知識庫建設,可幫助專家摸清科研現狀及學科發展脈絡,輔助專家對代表作價值進行評價,識別學術代表作的內容特征,準確抓取代表作的創新點和貢獻點,探索將多個學者的創新貢獻、研究主體內容進行可視化展示的方法,對于完善同行評價有顯著的數據支撐作用。既可減少同行評價的分歧和模糊操作空間,又可提升評價效率和評價準確性,為學術代表作評價制度的落實提供強有力的數據支持。