基于微服務架構的大數據應用開發創新實踐

周建業 祝文飛 徐長君 史倩倩

摘要：解決企業面臨的海量數據組合查詢搜索問題，積極開展基于大數據技術和面向微服務架構的應用架構研究。以開源軟件體系為依托，采用分層架構設計的方法，將大數據技術平臺劃分為數據采集層、數據計算層、數據服務層、數據應用層這幾個層次。在各個層次上，研究和探索使用主流的大數據技術產品滿足對應層次的需要。在應用架構上，創新性使用微服務架構來替代以往的單體應用開發模式，基于業內主流的SpringCloud技術體系，實現了應用架構的全面微服務化。通過新的應用架構，不僅通過用戶實時統計分析的應用開發來驗證了微服務相關的服務注冊中心、服務配置中心、服務發現、網關路由、服務高可用、服務負載均衡、服務快速API化等相關技術方案，而且為基于大數據與微服務的技術融合提供了一條可工程化的路徑。

關鍵詞：大數據;微服務;架構設計;應用創新

引言

目前行業大數據已經廣泛應用于配電網和電力設備在線監測中，如運行狀態診斷、用戶行為特征分析、狀態評估、基于復雜相關關系識別的設備故障診斷和預測技術、基于大數據和信息融合的輸變電設備關鍵性能動態評估及預測等。雖然已經產生了海量數據，但大多數僅僅實現了數據存儲、查詢、統計等最基本層次的功能，尚未深入挖掘出隱藏在海量數據背后潛在的價值。若需要發現大數據中蘊含的更深層次的規律，保證系統運行的經濟性、安全性和可靠性，需要通過數據挖掘技術來完成決策任務。

1 概述

雙模IT概念由Gartner提出，雙模IT是指兩種不同的IT工作模式。一種模式專注于可預測性，其目標是可靠、可用和低成本，適用于需求明確的工作。比如ERP實施項目，在需求分析階段就必須將用戶的需求明確下來。另一種模式是探索性的工作，需求在開始階段并不明確。比如用大數據分析設備缺陷原因或者利用機器學習來預測設備劣化趨勢，在項目開始階段，用戶只知道項目的目標，對于具體的需求并不明確，需要和IT部門一起來探索。對于核電企業這種以資產運營為核心的企業，必須通過將雙模IT實施，才能在數字化浪潮中打贏數字化轉型這場硬仗工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更準確的資訊。大數據有數據量大、數據種類多、要求實時性強、數據所蘊藏的價值大等特點，簡稱為4V，即Volume、Velocity、Variety、Veracity。大數據的數據來源可能是多種來源，這些來源包括搭載感測設備的移動設備、高空感測科技（遙感）、軟件記錄、相機、麥克風、無線射頻辨識（RFID）和無線感測網絡。我們通常聲稱的大數據應用是指利用先進的大數據管理和處理技術，針對實際業務所面臨的日益膨脹的海量數據存儲問題以及在此之上的海量數據處理問題而設計相應的解決方案并應用微服務架構是相對于傳統的整體式架構（MonolithicArchitecture）而言的。

2 平臺建設目標及內容

大數據綜合服務平臺致力于為政府管理人員、科技工作者和社會大眾提供數據信息科技服務，平臺通過建立統一的標準規范，集聚科技資源，整合現有多源異構信息系統，提取處理并分析科技數據，形成集數據抽取、歸集、整合、存儲、處理、分析和服務為一體的全過程大數據綜合服務平臺。平臺基于先進的微服務技術架構建設，通過提供自動化部署及智能服務能力，建設“一個總門戶、兩個處理中心、五個子平臺及多個信息系統”的統一科技大數據綜合服務平臺。平臺包含一個綜合服務總門戶、微服務調度處理中心和大數據分析處理中心兩個處理中心、科技信息系統子平臺、科技資源子平臺、輔助決策子平臺、共享服務子平臺和基礎支撐子平臺五個子平臺。綜合服務總門戶是平臺的統一入口。總門戶發布最新的通知和動態，提供業務系統申報受理指南文件等，統一各業務子系統的登錄認證入口，分類展示科技資源數據，提供決策支持、數據統計的分析結果和報告，并對外提供統一共享服務。微服務調度中心是平臺的樞紐，為平臺提供基礎技術框架。平臺通過微服務技術架構完成服務組件的提供與消費、統一的服務發現和注冊、系統級消息通信、系統數據緩存、高可用服務集群整合、統一安全和運維體系保障等，微服務調度中心還與大數據分析處理中心協調進行數據共享交換的調度處理。大數據分析處理中心通過建立數據共享交換系統完成各平臺系統的數據對接互訪與共享交換，并對歸集到的數據進行存儲，利用統一的基礎數據及第三方認證系統對數據進行認證清洗，建立大數據處理模型并采用相應數據處理算法對數據進行處理分析，以此形成對數據的抽取、整理、清洗、存儲、分析和服務共享的全過程大數據綜合處理。科技信息系統子平臺是平臺信息化的重要支撐。現有已建成投入運行的信息系統，在建及將來要建的系統都歸置到該子平臺。整合貫通這些多源異構系統，要按實際情況區分對待，對已有異構系統需進行規范化改造，通過對接統一用戶中心等通用模塊完成統一的登錄認證，并逐步按照標準進一步規范貫通，對在建未建系統則要求在統一用戶中心及標準規范下才能繼續建設。另外子平臺利用總門戶和微服務調度中心對外提供統一的信息系統入口、登錄登出和統一認證功能，通過集中化管理，達到系統間及平臺間共享數據資源的目的。科技資源子平臺重點在于整合現有科技資源數據，包含現有的和歷史的電子化數據，采用關系型數據庫、各類文檔、圖片、視頻等多種存儲媒介對多源數據資源進行存儲處理。科技資源子平臺集中整合科技計劃項目、科技獎勵推薦、高新技術企業、重點實驗室、基礎條件平臺、工程技術中心、創業孵化平臺等科技資源和數據，通過對管理過程中的過程數據和歷史數據電子化，歸集形成科技資源數據倉庫。子平臺中可以單獨建設科技數據管理系統，對科技業務進行分類化數據管理，初期采集結果數據，后續再采集過程數據。輔助決策子平臺是大數據分析處理中心的延伸，該子平臺利用大數據模型及分析算法對歸集的科技數據進行分析挖掘，為政府決策者和管理人員提供輔助決策支撐。視情況生成科技創新指數、地區科技競爭力等分析報告。按需生成科技數據統計及統計結果輸出等。共享服務子平臺與總門戶協同對外提供服務，是平臺與第三方平臺交換數據的中介，也是平臺為科技人員和社會公眾提供服務的橋梁。該子平臺包括：與“信用山西”等第三方政府部門的數據共享;與科技部的數據信息互聯互通;市縣一體的科技領域管理與服務;對科研單位、專業機構、科技人員和評審專家等進行的科研信用評估評價;與實體政務大廳結合的通過線上線下平臺對外統一服務。

結語

為解決實際遇到的海量數據組合查詢搜索問題，積極開展基于大數據技術和面向微服務架構的應用架構研究。按照分層架構對大數據技術平臺進行設計，將平臺劃分為數據采集層、數據計算層、數據服務層、數據應用層。在各個層次，使用主流的大數據技術解決對應層次的需要。在應用架構上，使用SpringCloud實現應用的微服務化，實現了服務注冊、服務發現、網關路由、服務高可用、服務負載均衡等。通過對相關架構的設計和新興技術的實踐，滿足了用戶實時統計分析的需求。

參考文獻：

[1] 袁捷.貴州電網大數據應用探討[J].電力大數據，2017，20（12）：4-7.

[2] 張冰玉.基于數據挖掘技術的短期電力負荷預測[J].電力大數據，2017，20（10）：18-21.