國內外科學數據評價研究綜述

蔡麗華 倪代川

（1. 上海大學圖書情報檔案系，上海 200444；2. 上海大學圖書館，上海 200444）

科學數據，又稱科學研究數據，或研究數據，是指被收集起來且被視為推理、討論或計算基礎的所有信息，特別是需要審查的事實或數字，包括統計數據、實驗結果、測量結果、實地觀察結果、調查結果、訪談記錄和圖像等[1]。在數據密集型時代，科學數據已經成為推動學術研究發展與進步最基礎與重要的內容[2]，科學數據評價對完善科學數據管理、推動科學數據開放共享意義重大。2021年10月底，筆者以“科學數據”或“研究數據”“科研數據”“開放數據”“政府數據”為篇名，以“評價”或“評估”作為并列篇名，在中國知網、國家圖書館館藏書目檢索出126篇文獻；再以“scientific data”或“research data”“open data”“government data”為篇名，“assess*”或“evaluat*”為并列篇名在Web of Science、Scopus數據庫中檢索出99篇文獻。最后經過深度閱讀研究篩選出109篇重要相關文獻。鑒于開放數據、政府數據在一定程度上屬于被收集起來且被視為推理、討論或計算基礎的信息，與科學數據存在交叉。為保證研究的完整性與科學性，因此將開放數據、政府數據相關評價研究納入綜述內容。雖然胡惠芳等[3]對科學數據評價展開綜述，但是二者研究重點不同，本文側重對科學數據各方面及其評價指標、評價流程以及評價方法的歸納，兩者所得結論也不相同。該領域文獻量從2014年后有明顯上漲趨勢，研究方向較為新穎，因此對科學數據評價展開綜述有利于揭示現有研究現狀，推動國內相關理論研究與實踐發展。

1 科學數據評價內容研究

隨著對科學數據認識的深入，科學數據評價的影響因素也在不斷改變與更新。目前，科學數據評價主要是針對科學數據的某一要素或要素的某一方面展開研究。這些要素主要包括科學數據所處背景、數據本身質量、元數據質量、開放度、管理服務、開放平臺、相關組織等。而這些要素的質量都會直接或間接地影響科學數據評價，并不斷成為科學數據評價不可或缺的一部分。其中科學數據所處背景常與其他要素一同進行評價。本部分主要從下述方面展開論述。

1.1 科學數據質量評價

科學數據的質量對于確保科學研究及其分析結果的可靠性至關重要[4]，對科學數據質量進行有效檢驗與評估可以提高科學數據的有效利用以及推動科學數據開放共享。國內外對于科學數據質量評價研究主要集中在科學數據質量影響因素、評價指標兩方面。此外也有研究希望通過啟發式算法實現自動推斷數據集內容并執行數據質量評估的目標，但在技術實現與實際應用上仍有困難[5]。也有研究通過全面數據質量管理方法（Total data quality management，TDQM）對科學數據質量進行分析與改進，以提高科學數據質量水平[6]。其中，科學數據質量的影響因素[7-8]主要有元數據標準的建設質量、數據生命周期各流程的相關操作、相關技術支持（包括數據清洗技術、開發數據質量監測與反饋技術等）。科學數據質量評價主要圍繞數據開放[9-10]、數據救援[11]、數據期刊同行評議[12]、特定領域數據[8,13]等角度展開，評價維度主要涵蓋數據集類別、數據形式、數據效用、數據內容質量、數據透明度、數據開放性等方面。

科學數據質量標準目前并沒有統一的規范，學科領域、出發點以及評價情境的不同對科學數據質量的評價標準也不盡相同。評價維度與指標之間并非完全獨立，它們可能部分重疊。而且各維度之間并不是相互獨立的，同一組的維度之間或組與組之間也存在相關性。但也有一些被普遍認同的指標，如一致性、時效性（及時性）、完整性、準確性等數據質量內在屬性，以及開放性、可理解性、可獲取性等應用層面的評價指標。其中，值得注意的是，現有評價指標與FAIR原則，即實現數字資源的可查找性（findability）、可訪問性（accessibility）、互操作性（interoperability）和可重用性（reusability）[14]有著高度重合，這也意味著國內外對于提高科學數據的開放性、透明性與可重用性有一致的看法。目前對科學數據質量評價的研究還處于一個不成熟階段，存在實驗數據不充分、分析不夠系統等問題。另外，學者提出有效的科學數據質量評價框架是有限的，適用范圍也不夠廣泛。

1.2 科學數據元數據評價

在科學數據管理與開放共享過程中，元數據作為“數據的數據”發揮了重要作用，為用戶發現數據和再利用數據提供了依據[15]。而元數據能否發揮重要作用取決于元數據質量的好壞。現有評價體系的確立主要有兩種方法：第一種是基于林業數據資源特征與生命周期理論構建評價體系[7]；第二種是通過建立不同元數據標準的元數據屬性與DCAT詞匯表之間的映射關系來構建評價體系[16]。以上研究雖出發點不同、評價方法不同，但確定的評價體系有高度相似性，在元數據的開放性、完整性、可獲取性、兼容性、合規性等評價指標上存在高度認同。另外有研究對元數據元素進行描述性分析[17]，對元數據評價有一定的指導意義。就目前的研究成果而言，單獨針對科學數據元數據質量評價研究較為欠缺，多是與科學數據其他要素一同納入評價體系，或是作為科學數據某一要素的某一方面進行評價[18-19]。現階段研究對元數據質量不夠重視，且現有評價體系不夠完善，缺乏實證驗證，即缺乏細粒度的評價案例和實際應用的評價系統，因此其評價體系的可行性與科學性有待進一步確認。

1.3 科學數據開放評價

科學數據作為一個高價值的信息來源，其在收集過程中耗費巨大，因此在現有研究完成后應公開訪問并免費提供。目前研究主要集中在科學數據開放現狀，即準備度與開放度評價兩方面。但同時關注準備度與開放度評價的研究較少，研究不夠深入。科學數據開放準備度是指科學數據所處的內外部環境，這是科學數據開放的基礎和支撐。重視對科學數據開放的前期準備能夠最大程度地避免開放數據項目的盲目開展，進一步促進科學數據開放共享。科學數據開放準備度評估研究在國內已初露頭角，其評價體系主要圍繞以下維度展開：法律法規、政策、領導力、組織與管理、經濟技術與社會、開放數據需求等。科學數據開放度與科學數據準備度不同，其注重開放的過程和結果，評價指標體系研究成果較為豐富，主要圍繞開放質量、相關保障、用戶易用、相關服務以及基礎建設五個維度展開[20-21]，雖然評價主體存在一定的差異，但在評價指標上存在一定的相似度。

目前科學數據開放評價研究除了圍繞構建評價體系外，多是圍繞分析、比較國外政府開放數據項目中的評價體系（如Open Data Barometer、Open Data Index、Open Data Census、European PSI Scoreboard、Open Data Compass等）[22]，主要包括政府效率、透明與問責、環境可持續性、包容被邊緣化的群體、經濟增長和支持企業家精神這6個指標，研究對象多為政府數據，并逐步關注與研究基于中國實踐的開放政府數據評價框架和指標體系，對其他領域科學數據開放評價關注度不足。此外，對科學數據開放評價的研究成果還包括開放發展速度評價、開放有效性評價、開放數據更新等，雖然成果豐富，但是關注點并不聚焦，理論研究不夠成熟。

1.4 科學數據管理服務評價

科學數據管理能夠為研究人員提供快速、高質量、長期訪問數據的機會，充分實現其價值。現有研究主要關注科學數據管理服務能力評價，對科學數據管理需求評價涉及較少。

科學數據管理服務基于英國數據管理中心（DCC）的理解是在科學數據生命周期中進行維護、保存以及使科學數據增值的管理服務，該服務貫穿數據從創建與接收到保存、描述與再創造等過程中。對科研數據管理服務進行評價，有助于推動科學交流與合作以及科學數據開放共享與利用。現有科學數據管理服務評價對象主要為科學數據、科學數據管理基礎設施和科學數據管理服務三類，評價體系多以能力成熟度模型（CMM）為基礎，分成初始級、已管理級、已定義級、定量管理級、優化級服務能力指標體系[23]。另有研究在對比CMM的基礎上，引入德國RISE-DE科研數據管理服務自評估模型，為科學數據管理服務評價提供了另一種可能[24]。現有科學數據管理評價多通過借鑒其他學科較為成熟的評價模型開展，能與科學數據管理服務評價較好融合，但也多局限于此，存在評價角度單一、評價方法的創新性與針對性不足，且多缺乏實證研究，難以證明現有評價模型的可用性與適用性。

1.5 科學數據平臺評價

鑒于獨立的科學數據難以被公眾發現、獲取以及利用，作為科學數據的載體，科學數據平臺對于提高數據的有效利用以及數據供需兩端的對接互動至關重要。國內外對科學數據開放平臺研究成果豐富多面，涉及科學數據開放平臺的價值、績效、元數據質量、服務質量等方面。其涉及的評價維度主要包含平臺建設基礎、平臺數據、平臺規模、平臺管理功能和平臺使用效果與影響等[25-27]，具體涉及指導方針、需求與目標、政策支持、經費支持、組織與領導力、運行管理、技術支持、數據描述與元數據、數據質量、關聯數據質量、數據來源、數據管理、數據發布、數據存儲、數據時效、數據易用、數據格式、數據分析、數據開放、數據獲取、數據引導、數據安全、數據交叉、平臺服務、科研效能、服務統計、用戶滿意度、用戶反饋與協作、界面友好性等評價指標。另有學者聚焦平臺的數據層面[28]、價值層面[29]以及績效層面評價[30-32]展開了具體研究，雖缺乏全面性但具有一定的針對性，對科學數據平臺評價研究具有一定的借鑒意義。

隨著科學數據開放共享運動的展開，公眾獲取科學數據的途徑拓寬以及獲取難度的降低，科學數據平臺評價研究覆蓋的廣度與深度也在不斷拓寬與加深，科學數據平臺評價研究的全面性與科學性在不斷提高。值得注意的是，雖然國內外對科學數據相關平臺的評價維度與指標大致相同，但國外評價研究注意到平臺關聯數據質量的重要性[27,33]，展開了針對性的評價研究取得了一定的成果，而國內在此方面還存在欠缺。

1.6 其他

科學數據評價覆蓋的范圍較廣，除上述內容外，還涉及科學數據學術影響力評價及風險評價等。科學數據影響力是對科學數據需求的反映，即科學數據影響力是應用研究成果對社會、經濟、環境、文化所產生的有益影響，可分為學術影響力、社會影響力、政治影響力和經濟影響力。學術影響力評價有兩個研究方向：一是基于傳統出版物的評價體系構建，即通過選取相關引文指標來構建科學數據影響力評價體系[34]；二是通過探究科學數據自身特征，從中提煉出關鍵評價指標來實現對科學數據學術影響力的定量化計算[2]。這種評價體系還處于探索階段，因此相關研究成果較少。相較于科學數據學術影響力的研究，國內對科學數據的社會、政治和經濟影響等方面的評價研究甚少，且研究不深入。此外，鑒于科學數據可能會面臨缺乏使用、缺乏元數據、缺乏治理以及不可抗力災難等多種風險，可以針對特定數據集的風險特征來構建數據風險框架，以確保現有科學數據的價值持續性，但現有研究較為缺乏[35]。

2 科學數據評價流程與方法研究

就邏輯而言，科學數據評價流程應包含評價前、評價中以及評價后3個基本組成部分，分別對應科學數據評價的前期準備、過程實施和結果運用3個基本流程。

2.1 科學數據評價的前期準備

科學數據評價的前期準備主要包括確定評價目標、評價原則以及評價主體等。科學數據評價目標就數據層面而言，主要是為了優化科學數據質量，提高其再利用價值；就科學數據管理層面而言，主要是為了降低管理成本與風險，杜絕造假數據，存儲具有長期保存價值的數據，提高管理效率；就使用者而言，是為了能夠獲得寶貴的科研資料以用于科學研究，提高學術價值。

2.1.1 評價原則

評價指標體系的質量直接影響了評價結果的準確性與真實性，因此在構建科學數據評價體系前應遵循一定的原則。現有科學數據評價內容研究豐富多面，不同的評價內容，評價方向與重點不同，遵循的原則也不相同。例如，針對科學數據平臺評價，應尊重平臺自身特性，將引導性原則考慮在內[25]。但科學數據評價體系的構建在大方向上仍有共通之處，即遵循系統性、延續性以及可操作性原則。

2.1.2 評價主體

在科學數據生命周期中，數據管理者、數據管理機構、數據創建者、數據使用者是主要的利益主體[36]，其中數據管理者、數據管理機構以及數據使用者對科學數據評價時站在客觀的角度對科學數據進行評價，較為公正、嚴謹。科學數據的創建者對數據進行評價，多從有助于科學研究的目的出發，評價方法較為主觀，但科學性與價值性較高。根據不同的評價主體，評價目的和原則也會有相應調整。因此厘清評價主體間的角色定位及其關系，有助于充分發揮各利益主體在構建評價體系中的導引作用，建立目標明確、科學合理的評價指標體系。現有研究已能從多主體角度出發對科學數據進行評價，但多數研究依舊是從單角度或雙角度出發，評價不全面但仍有一定的借鑒意義。

2.2 科學數據評價的過程實施

2.2.1 評價方法的應用

通過科學數據評價的前期準備，評估框架的設計在一定程度上體現出了科學性與系統性。當前多數研究是將多種方法相結合來確定評價指標與權重，在一定程度上提高了評價體系的有效性和可操作性。

（1）評價指標的確定。①經驗借鑒法。運用文獻分析法、Meta整合[10]等研究方法對現有評價框架、模型進行分析和總結的基礎上構建評價框架。②特征分析法。通過分析、總結科學數據本身或科學數據某一方面的特征、影響因素，以及結合特定的分析角度（數據使用者、數據管理機構等）來構建評價框架。③德爾菲法（專家調查法）。在初步設計指標框架之后，通過發放問卷、訪談等方式咨詢專家意見，并對指標框架進行修訂、完善。④交叉學科借鑒法。通過引入其他學科的理論方法，如TDQM、邏輯框架法等從不同的角度對科學數據進行評價。

（2）權重的確定。主要包括層次分析法（AHP法）[17]、德爾菲法[21]、熵權法[37]、結構方程模型[38]、TOPSIS法[25]等，也有研究采用權重等分[9]的方法。無論是在層次分析法，還是總分比重法等半定量權重確定方法中，專家都發揮了重要作用，都是通過對專家意見進行綜合、計算得出的結果，因此對專家的選擇至關重要。通過將多種方法結合以確定權重，將有利于更加科學、合理地確定評估指標的權重以及各項指標分等級的臨界值。其中，評價指標以及權重確立所涉及的評價方法見表1。

表1 科學數據主要評價方法匯總

在科學數據評價研究中，多種評價方法不斷涌現，不分伯仲，各有優勢。其中，層次分析法與德爾菲法作為信息分析的經典方法在實際應用中使用頻率最高，在構建評價指標體系時的優勢也顯而易見。另外，通過將不同學科的分析方法引入科學數據評價領域，拓展了現有評價方法的廣度，有一定的借鑒意義。例如，運用BP-神經網絡來對數據平臺進行評價，并對比德爾菲法的評價結果，驗證了BP-神經網絡用作新型評價工具的可行性[40]；運用杠桿管理，將不同元素映射到開放政府數據中對應的概念來對開放政府數據項目進行量化評估[9]；運用將專家群體、數據和各種信息與計算機技術有機結合的Meta-synthesis Approach（MSA）綜合集成方法將多項定性研究進行整合，構建一個通用的參考框架[10]。多種評價方法的涌現為進一步開展科學數據評價研究提供了新的可能，對促進科學數據開放具有重要的理論意義。

2.2.2 數據收集

數據作為最主要的評價對象，其獲取方式多種多樣。現有獲取方式有兩種：人工獲取和網絡自動抓取。目前科學數據評價研究已關注到評估數據獲取方式多元化的重要性，多數研究采用兩種方法相結合的方式，并通過增設面向不同主體的問卷，或通過其他非問卷的渠道如設計程序或火車采集器、八爪魚采集器、Maxamine web analyst、站長工具等數據軟件獲取評估數據，使獲取的數據更加準確、及時。

2.3 科學數據評價的結果運用

對科學數據進行評價后，對結果進行公布、評價結果的反饋、評價結果的運用以及對評價體系進行改進優化也至關重要。現有研究，主要集中在對評價結果進行公布階段，由于時間和精力等問題后續階段很少涉及，評價流程不完整。其中，也有研究[11]驗證了其評估指標的可靠性和可行性，但評價對象的范圍和數量普遍比較小，或只是研究科學數據某一類或某一方面，難以確定評價體系的普遍適用性與科學性。

3 總結與展望

現有科學數據評價研究主要以歸納科學數據某一要素的影響因素以及針對科學數據某一要素構建評價指標體系為主，即主要聚焦于科學數據質量評價、開放評價、平臺評價這三方面。就科學數據質量評價而言，鑒于數據質量作為一個“多維（multidimensional）”的概念，質量評價應站在多元化、多角度的方向展開，對科學數據質量嚴加把控；再者數據質量常被定義為“適合使用（fit for use）”，適用性、實用性等應包含在評價范圍內。另外可以通過將科學數據存入數據庫中來保證實現FAIR原則[41]，如利用圖書館在提供組織、存儲和保存原始數據方面的優勢[42]，鼓勵科研人員將原始研究數據存入機構存儲庫中。只有在充分考慮科學數據質量固有屬性以及有助于科學數據開放共享的基礎上，構建的科學數據質量評價指標體系才更具針對性、適用性與科學性。就科學數據開放評價而言，鑒于數據開放與計算機科學密切相關[43]，國內應該順應計算機科學蓬勃發展態勢，將計算機技術引入科學數據開放研究，促進科學數據開放共享，助力科學研究。科學數據開放應遵循宏觀指導的原則，并將行動計劃、個人隱私、聲明所有權、負責部門、數據管理系統以及融資機制等因素考慮在內。政府應與公眾建立合作，協調各方力量，合理配置資源，促進各方對開放數據的參與和實施[44]。就科學數據平臺而言，考慮到平臺的面向對象，在進行評價時要注重從用戶的角度出發，提倡從“專業人士為專業人士”到“專業人士為普通用戶”，要考慮普通用戶知識背景與技能掌握情況，以提供更好用戶體驗[45]。相關研究起初更多地關注平臺數據本身的特性，而忽略了平臺的用戶友好性。鑒于用戶對主流網絡平臺的操作具有順延性，即偏向于使用具有相同界面的數據平臺，可以通過借鑒主流搜索引擎和社交媒體平臺的界面設計——百度、Google、Facebook或其他流行社交媒體平臺，來確保其平臺操作上的連貫性與舒適性[46]。現有以下方面待深入研究。

（1）建立健全科學數據評價指標體系。現階段科學數據評價研究處于起步階段，缺乏實際應用。雖然現有評價體系百花齊放，但未有統一標準，缺乏宏觀層面的指導。值得注意的是，政府開放數據項目發展的如火如荼，其成功取決于強有力的科學評估政策[36]。因此，未來對于科學數據評價的研究應站在長遠發展的角度上，首先由政府或業內權威機構制定科學、系統的評估政策，再以此為指導設立更為科學、有效的評價指標體系，助推科學數據開放共享與科研創新。

（2）拓寬科學數據評價體系適用性。目前研究所建立的指標體系，并不是完善的、標準的，大部分只能作為評價時考慮的因素，適用對象模糊，未進行明確的區分或說明。僅少量文獻對醫學數據、林業數據等專業領域科學數據進行了評價。未來對科學數據評價時可以將各學科主題科學數據的特性納入評價體系，兼具共性與特性，提升評價體系的廣度與深度，并通過擴大學科覆蓋范圍來進一步驗證評價指標體系的通用性與適用性。

（3）完善科學數據評價流程。現有研究多是將構建評價體系與實證論證分離，并且缺乏采納各方對評價結果的反饋過程以及對評價體系的改進優化過程，此為當前研究的空白點。未來研究在數據獲取上可以通過設定一定的時間窗以及改進抽樣方法，增加樣本容量的方法，使結果更為準確，具有說服力。在對科學數據展開評價時應考慮從不同評價主體的需求角度出發，遵循一定的原則，不斷完善評價流程，提高科學數據的質量及其價值。

（4）改進科學數據評價方法。現有科學數據評價方法主要分為定性、定量或定性與定量方法相結合3種。其中，定性評價方法較少，主要為同行評議和扎根理論方法；定量評價方法主要有引文分析法、腳本自動度量（DEA）、模糊綜合評價法等。各種評價方法的涌現，讓評估科學數據評價工具的可用性也成為重點。每一種評價方法因其不同的評價主體、評價效率、評價數據來源而使其具有不同的評價成本、周期和準確程度，難以在單一層面上評價其優劣好壞。因此，在對科學數據進行評價時要同等重視定性評價與定量評價方法，并結合評價主體、評價數據來源、評價動因和客觀環境等因素，探索、比較多種評價方法對科學數據進行科學、系統、全面的評價。

（5）注重科學數據評價的全面性。首先，從科學數據內部層面來說，科學數據表現形式多樣，結構化數據與非結構數據并存，目前由于非結構化數據如圖片、視頻、音頻等本身量化難度大、技術要求高等原因，缺乏在這一方面的研究，只有少數以圖像為研究對象的領域有所涉及；其次，從科學數據外部開放共享的層面來說，學界多聚焦于對政府數據評價研究，不利于科學數據評價的全面發展以及實際應用。因此，未來應拓寬研究視野，不局限于任一學科，充分考慮科學數據內外部屬性，更好地促進科學數據的利用與開發，保證科學數據的可用性與科研產出。