數據處理與共享平臺架構的研究與應用

劉建輝 修姍姍

一、引言

當前，大數據、人工智能、區塊鏈等新技術成為掀起數字化轉型浪潮的關鍵變量，萬物互聯，數字時代的到來，對各行各業的諸多方面產生了深遠影響。特別是“云大物移智鏈邊”的結合對社會中任何實體的活動和行為數據化、模型化都成為可能，而從中抽取出的結構化信息，在市場預測、工業自動化等眾多領域創造出了前所未有的價值?？萍寄芰Φ臉O大豐富，數據價值日益凸顯，全息畫像、精準監測、風險預警、輔助決策等等，正在打破傳統的業務模式，催生出更加共享的經濟生態，通過與傳統產業的融合實現價值增量，為各行各業賦能，推動高質量的發展。

盡管越來越多的信息能為業務工作提供更大的便利，但在業務發展過程中，涉及的數據量大、數據種類多，信息數據的搜集整理難度越來越大。要想全面整合信息，真正獲取這些數據的價值，需建立數據思維，通過數據采集、數據建模、數據分析、數據呈現，總結數據深層次的規律，通過建立標準化數據平臺進行數據處理，發現數據隱含的潛在價值。

二、數據處理與共享平臺介紹

數據處理與共享平臺主要由數據接入服務、數據存儲服務、數據分析服務和數據共享服務組成，主要功能如下：

（一）數據接入服務

數據接入服務作為底層基礎支撐性服務，是數據處理與共享平臺的核心組成部分。數據接入服務通過提供多種數據接入工具，將基礎數據進行統一的匯聚接入，為數據分析提供原始數據支撐。

（二）數據存儲服務

數據存儲服務作為數據采集的上層，作為數據分析共享的支撐服務，也是數據處理與共享平臺的核心組成部分。數據存儲服務需要滿足對結構化數據、非結構化數據和半結構化數據的統一存儲和查詢的需求。查詢的高效性和存儲的安全性是數據存儲服務的兩項關鍵指標。

（三）數據分析服務

數據分析服務提供數據深度挖掘和分析，利用分布式存儲和并行計算框架，結合多種分布式計算引擎，對各類結構化、半結構化及非結構化的信息資源進行快速的分布式計算、并提供基于關聯、聚類、分類、預測等類算法庫以及可視化組件、拖拽式的數據挖掘分析開發工具包。

（四）數據共享服務

數據共享服務通過數據共享交換手段，實現數據的匯聚、流通，構建以數據為核心，業務為牽引、預警決策為目標的信息樞紐，為業務提供數據服務和決策支持。同時通過數據共享交換，實現跨部門、跨地域、跨層級的數據共享交換應用。

三、數據處理與共享平臺架構

數據處理與共享平臺包括數據處理模塊和數據共享模塊，主要包括存儲層、交互層、數據處理層、數據服務層。其中存儲層、交互層、數據處理層主要進行原始數據存儲以及數據處理，服務層主要提供數據共享服務，可以實現兩種模式數據共享，原始數據以及治理后的數據共享。

數據處理與共享平臺的在處理業務數據時，會將數據進行匯集、標準化處理以及融合，以便使用者查詢數據、分析數據。例如在獲取不同渠道的數據時，數據處理與共享平臺會先進行源數據存儲，接著進行數據標準化，將散亂的源數據進行有序的分類、存儲，最后在按照不同的需求進行數據的初步歸類，以便前端數據服務進行調用。

（一）數據處理模塊

數據處理模塊主要負責數據存儲、數據管控及數據分析，模塊采取扁平化設計，分布式部署，各節點之間完全對等，都可以對外提供服務。模塊建設將本著由內至外的原則設計實現。

一是要整合當前運行數據，建立基于云技術的數據交互共享平臺。明確大數據的采集、傳輸、存儲、使用、開放等各環節，保障網絡安全的范圍邊界、責任主體和具體要求，制定和實施大數據的采集開放、指標口徑、分類目錄、交換接口、訪問接口等關鍵共性標準。

二是要打通上下游系統數據資源，初步形成體系化應用的業態和數據產業鏈條。收集與深度挖掘業務系統數據源進行數據采集，實現各數據源數據統一匯總、統一存儲，解決“各自為政、條塊分割、煙囪林立、信息孤島”，初步實現數據整合。

三是要實現數據資源深度融合?；趥€性化業務要求，結合大數據分析和智能決策，實現數據資源的深度融合，提高數據輸出價值。

數據處理模塊功能結構上分為數據采集、數據處理、數據路由、數據輸出，數據采集對接大量外部接口，更加有效的保證數據采集高效、穩定；數據處理模塊主要是對收集到的數據進行清洗及模型化等處理，保證數據能夠被有效處理及存儲；數據路由主要為針對數據進行輸入輸出路由配置，保證數據路由有跡可循，同時滿足靈活多變的路由規則配置；數據輸出主要面向外部對接系統提供相關輸出數據，更加全面滿足不同對接系統協議需求，同時對異常進行監控處理，保證系統持續可用性。

數據處理模塊采用數據即服務（DaaS）技術理念，革新數據采集模式，深化數據應用服務， 探索設立數據開放共享關鍵共性標準，推進解決數據孤島問題，建立完整的共享平臺。

（二）數據共享

數據共享模塊包括常規數據收集、數據共享，共享數據種類除了能進行源數據的共享外，還可以將平臺中標準化的數據進行共享，從而使得共享的數據內容更加豐富，在此基礎上，該模塊還能提供一定程度的數據服務，即將收集來的數據以特定的條件進行分析并輸出一個結果或者趨勢，使該模塊的功能更加豐富。同時，數據共享模塊加入安全管理，其中包括數據授權、數據審計、數據加密、數據脫敏、安全治理功能。在實現源數據收集共享、數據服務共享、第三方數據交換的基礎上進一步強化數據安全、數據隱私的管控。數據共享模塊通過web Service的服務請求和調用，實現數據的交換和共享，數據使用者通過Rest API接口獲取相應的數據，具備支持多種協議、數據格式的共享，確保數據安全、有序、有效共享。

數據共享模塊整體框架是開放的生態框架，為了支持各系統業務模塊、業務功能的動態擴展、靈活更新，模塊采用以下原則進行設計實現。

業務數據共享“索引管道式”交換，數據共享模塊根據實際需求可通過網絡對松耦合、粗粒度的應用組件進行分布式部署、使用和組合。組合之間采用簡單的、可精準定義的接口進行通訊，不涉及底層編程接口標準、協議和通訊模型。所有數據訪問均通過數據接口組件，具有服務可重用、服務即時性、標準化服務接口、支持各種消息模式等特點，能夠更加從容的面對業務的變化、實時獲取相應數據。

微服務架構支撐數據采集、清洗、加工、共享等服務運行，數據共享模塊采用微服務體系架構，服務可獨立部署在不同進程中，不同服務之間是通過一些輕量級的機制進行通信，同時服務可獨立擴展伸縮，每個服務又定義了明確邊界。數據共享模塊使用分布式服務組成系統，根據業務對組織進行劃分，強調服務個體和弱通信，自動化運維，支持快速演化。

數據共享模塊運用數據管道運行服務引擎為驅動，通過建立不同信息資源共享交換的數據傳輸管道，形成各個獲取的數據 API 接口，按統一共性建設需求，整合并建立標準共享數據訪問接口和統一的數據格式，以接口形式對外提供各類數據服務，高效構建“數據接口資源池”，以降低數據使用者的開發難度和成本，最終實現數據的按需、按權、合規調度、適時共享，支持實時、精準共享與交換服務。

四、結語

綜上所述，數據處理與共享平臺的研究與應用，對數據資源有效利用，對用好、用活數據，具有重大促進作用。本文研究的數據處理與共享平臺是為了實現跨地區、跨層級的信息交換和共享，區別于傳統業務系統數據平臺，數據共享模塊基于數據處理模塊，提供的共享數據范圍廣、數據量大，數據交互更高效可靠，并提供統一的數據資源目錄，支持線上的資源申請，實現第三方應用的統一管理，提供統一的監控和日志記錄，更全面的數據脫敏策略和安全策略，提高業務協同效率，具有很高的實用價值。