數據資源共享服務平臺的應用研究

呂曹芳 王光興 吳燕

摘? 要：文章主要針對已有數據資源的特點，融合了大數據等相關技術，依托云平臺構建了數據資源共享應用服務支撐平臺體系。分析了現有平臺數據共享和應用方面的不足，探討了數據共享服務工作流程，共享服務平臺的體系架構等，為數據資源共享的應用提供了技術和方法。數據資源共享應用服務支撐平臺中給出了數據共享服務平臺、數據應用支撐工具，以生成數據產品或數據資源，推動數據共享應用。

關鍵詞：數據共享;云平臺;數據中心;大數據

中圖分類號：TP393.0;TP308? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）20-0112-04

Research on the Application of Data Resource Sharing Service Platform

LYU Caofang，WANG Guangxing，WU Yan

（PLA Army Academy of Artillery and Air Defense，Hefei? 230031，China）

Abstract：Based on the characteristics of existing data resources，this paper integrates big data and other related technologies，and builds the data resource sharing application service support platform system relying on the cloud platform. Analyzed the shortcomings of the existing platform data sharing and application，discussed the data sharing service workflow，the architecture of the sharing service platform，etc.，and provided technology and methods for the application of data resource sharing. The data resource sharing application service support platform presents data sharing service platform and data application support tools to generate data products or data resources and promote data sharing application.

Keywords：data sharing;cloud platform;data center;big data

0? 引? 言

當前，云平臺、大數據技術的迅猛發展深刻改變著人們的思維，也對傳統的數據存儲管理和共享服務方式產生了革命性的影響[1]。但是，受當時技術條件的制約，這些平臺都不是以大數據技術體制為背景開發的，面對來源廣泛、容量巨大、更新頻繁的數據資源，現有的平臺已經無法滿足對的數據存儲、計算、分析能力不斷增長的需求[2]。因此，亟須廣泛融合大數據等相關技術，合理借鑒現有的、成熟的、專業的數據工具，構建新型的大數據管理和共享服務平臺，以真正實現數據的安全、可靠、高效管理和共享應用。數據是數據資源建設的“源頭”，為實現數據的“聚、通、用”，本文探索構建了數據資源共享應用服務支撐平臺體系，并為基于云平臺的數據資源共享的應用提供了方法。作者單位因“十二五”以來的數據資源建設專項，積累了大量數據，但缺少相應的管理和共享服務平臺，所建數據無法進行有效加工整理和入庫管理，更談不上全面共享應用。因此作者探索構建新型的大數據管理和共享服務平臺，為真正實現大數據的安全、可靠、高效管理和共享應用提供思路。

1? 數據共享工作流程

國內在大數據建設初始，數據共享機制缺乏，制約了服務質量和效率，前期研制的相關數據平臺大多側重于數據管理功能，在數據共享服務和應用支撐方面重視不夠[3]，為了提高共享使用數據的積極性、主動性、按需共享、安全管控等服務，研究給出了數據共享工作流程，為實現數據的高效管理和共享服務提供了思路。

數據共享服務工作由四部分組成：一是數據用戶注冊審批;二是數據目錄管理發布;三是數據發現和應用;四是數據共享評價，工作流程如圖1所示。

數據共享用戶必須通過數據共享門戶網站提交用戶注冊信息，共享審批組根據實際情況審批用戶，并確定用戶分級和數據共享權限，審批通過的用戶在正式登陸之前設置身份驗證方法和信息。

數據中心共享服務組對數據目錄進行管理，形成數據目錄，待數據中心共享審批組審批后，在數據共享門戶網站上發布數據目錄。

用戶登錄后，通過瀏覽和查詢數據目錄了解現有數據情況，根據實際應用需要和自身權限，查詢和下載相關數據，或向數據中心提出數據共享申請，共享審批組對用戶數據共享申請進行審批，數據共享服務組根據數據共享申請制作數據產品（含分析計算和數據處理），然后通過在線或離線的方式分發共享數據。

用戶使用數據后，結合實際情況向數據提供方反饋數據使用情況、同時按要求銷毀共享數據，數據提供方根據反饋情況進行數據共享評估和數據質量溯源。

2? 平臺總體架構

2.1? 平臺體系架構設計

平臺體系架構是平臺建設的一個綜合模型，其由許多結構要素及各種視圖所組成，而各種視圖主要是基于各組成要素之間的聯系與互操作而形成的，用來完整描述平臺建設的整個體系。數據資源共享應用服務支撐平臺體系如圖2所示。

運行環境支撐主要包括基礎軟件、基礎硬件，操作系統等[4]。其中基礎軟件主要包括云操作系統軟件、大數據基礎軟件和支撐服務軟件組成，為上層各應用系統提供數據訪問、數據存儲、大數據處理、虛擬和物理資源的分配與調度以及服務運行支撐等服務，為下層硬件設備提供資源虛擬化與調度管理服務，為跨云平臺的各類數據信息資源和應用系統提供全生命周期的管理和維護，是資源服務和管理維護的核心系統軟件，是云平臺的神經中樞，對云平臺的整體運行質量具有重要影響。

理論技術支撐主要包括云平臺，大數據技術等。云平臺為大數據資源提供承載環境，為大數據分析挖掘提供軟硬件支撐，為應用系統的遷移、開發、部署、運行、維護提供數據服務和支撐。大數據技術主要是數據接入與存儲、大數據并行計算等。

數據共享服務管理平臺和數據共享門戶網站是整個平臺體系建設的重點。數據目錄管理發布平臺、數據產品制作工具、數據可視化建模工具等則是為數據共享服務工作提供工具支撐。平臺及相關工具研制需要相關共享服務標準規范和機制作保障，平臺的運行需要相關數據支撐。

數據共享應用用戶通過數據共享門戶網站或離線方式獲取共享數據，開展數據應用工作，并反饋數據共享服務質量問題;數據應用系統開發用戶通過數據共享門戶網站共享應用系統開發相關資源（開發組件），進行數據應用系統或相關業務系統開發。

2.2? 平臺功能架構設計

數據資源共享應用服務支撐平臺主要包括兩大部分：數據共享服務平臺和數據應用支撐工具（數據應用系統分為：共享應用支撐工具和應用開發支撐組件兩部分）。各部分的主要功能組成如圖3所示。

數據資源共享應用服務支撐平臺功能架構集服務、管理、應用、開發為一體。

（1）數據共享服務平臺。主要包括數據共享服務管理系統和數據共享服務門戶網站。

數據共享服務管理系統能為數據管理用戶提供用戶管理、數據目錄管理與發布、數據產品分發、共享效益評估等功能，確保數據目錄能按級動態發布，數據資源能按需按權共享。

數據共享服務門戶網站能為數據應用用戶提供數據查詢、數據產品（數據資源和數據模型等）、數據計算等服務功能，確保用戶能高效共享數據資源和計算資源。

（2）數據應用支撐工具。主要包括數據可視化建模工具，數據產品制作工具等。旨在為數據共享服務工作提供數據產品制作、數據計算分析、數據應用建模、數據預處理等功能。其中，數據可視化建模工具，通過ROLAP服務、Spark計算服務、SQL接口等，最終實現用戶要求的可見操作界面的數據分析挖掘建模和應用可視化建模及設計;數據產品制作工具，是數據共享服務平臺與數據云存儲平臺之間的連接器，其根據數據共享服務平臺中用戶的數據產品需求，通過整合、分析、計算等方式，將數據云存儲平臺中的數據進行加工，生成數據產品或數據資源[5]。

（3）應用開發支撐組件。主要提供的數據應用系統開發組件包括：MGIS組件、數據應用模型組件、分析挖掘組件、數據可視化組件等。旨在對內向用戶提供數據應用所需的數據和應用系統開發支撐，以避免重復開發，提高應用系統開發效率，更好更快推動數據應用工作;向外開放數據應用接口，以提高數據開放共享能力，全面推動數據共享應用工作。

3? 數據發現與共享服務

數據發現與共享服務主要為數據用戶提供數據目錄檢索、數據檢索、數據共享申請、數據產品瀏覽下載等功能。數據發現與共享服務工作流程如圖4所示。

數據發現與共享服務工作流程通過目錄檢索檢測所需數據，有使用需求，提出共享申請最終獲取數據的過程。

（1）目錄檢索：數據用戶登錄數據共享門戶網站，瀏覽和檢索數據目錄，幫助用戶了解數據資源池中數據情況，作為數據共享申請的依據。

（2）數據檢索：通過復合條件檢索工具檢索數據產品，如果檢索到符合條件的數據產品，在用戶權限允許的情況下，可以直接瀏覽或下載數據。

（3）數據共享申請：對于沒有現成的符合用戶需求的數據產品，或者有現成數據產品但受權限限制無法在線獲取的數據產品，用戶通過門戶網站提出數據共享申請。

（4）數據共享申請審批與數據產品分發：根據情況審批用戶共享數據產品的權限，或者重新制作符合用戶需要的數據產品，然后向用戶分發數據產品（或制作數據產品光盤）。

（5）用戶數據獲取：用戶通過數據共享門戶網站在線下載分發的數據產品，對于密級較高的數據產品，需要通過機要郵寄或現場領取的方式獲取數據。

4? 結? 論

本文主要在現有成熟的云平臺、大數據技術基礎上，吸收了最新架構技術，通過建立合理的數據共享機制，構建了安全可靠的數據共享應用平臺。一方面徹底消除數據建設者的安全顧慮，切實讓數據共享應用起來;另一方面讓所有的數據共享行為能得到認可和激勵，確保數據常建長用。但在建構過程中個別軟件與整個平臺系統的協調性、兼容性還有待進一步完善，數據建設標準還需要進一步研究。

參考文獻：

[1] 沈怡.科研數據實踐的實證研究對數據管理和共享的重要意義：個案回顧、反思與前瞻 [J].圖書情報知識，2018（4）：102-108.

[2] 呂欣，韓曉露，畢鈺，等.大數據安全保障框架與評價體系研究 [J].信息安全研究，2016，2（10）：913-919.

[3] 李正超.國內科學數據共享平臺建設現狀及發展策略研究 [J].圖書館理論與實踐，2018（8）：108-112.

[4] 傅天珍，鄭江平.國外面向科研人員的科學數據共享探析 [J].圖書館論壇，2015，35（2）：76-81.

[5] 劉晶晶，馬建華.論科研數據開放共享的三種途徑 [J].情報雜志，2015，34（10）：146-150+96.

作者簡介：呂曹芳（1979.09—），女，漢族，安徽壽縣人，副教授，碩士，研究方向：數據挖掘等。