異地多源數據讀寫同步技術

陳春宇

（中國電子科技集團公司電子科學研究院，北京100041）

1 多源異構數據庫系統框架

電磁數據具備格式多、來源多、種類多、數量多等特點，從格式上來講包括結構化、半結構化和非結構化數據；從來源上來講包括裝備采集數據、系統處理數據和人工分析數據；從種類上來講包括原始采集數據（全脈沖、中頻、無線頻譜）、分析結論數據（分選結論、信號樣式、目標位置、識別結論、人工分析報告）、支援情報數據（海空情、衛星情報、資料情報、偽基站傳播短信息內容、黑廣播傳播內容）、電子目標數據（輻射源參數、平臺目標及其活動規律、電子標簽、電磁目標位置及軌跡）和作戰基礎數據（電子戰部隊、電子戰武器裝備、臺站庫）等。

由于電磁數據具備以上特點，如不進行統一的預處理，將給后面的挖掘分析帶來很大的困難。多源異構電磁海量數據采集及匯聚技術主要解決電磁數據的統一采集（包括實時數據和非實時數據接入）、數據解析提取、數據去重去噪、數據格式轉換和數據持久化等問題。

電磁數據統一采集和匯聚技術主要通過數據服務總線ES 消息發布訂閱機制實現。主要實現途徑如下：

（1）實時數據或非實時數據，統一發布至數據服務總線ESB，并通知各訂閱組件；

（2）系統訂閱到數據后根據類別調用相應的數據解析服務進行索引信息和特性信息的提取；

（3）根據數據索引信息和特征信息跟數據庫中數據進行匹配計算，過濾掉重復數據；

（4）根據數據質量準則對數據進行質量評估，過濾掉不符合質量要求的數據；

（5）將數據格式統一轉換為Protobu 式，并調用存儲服務對數據進行持久化。

對于不支持數據總線采集和匯聚的老系統，采用數據庫上報和文件FT 傳方式來實現，以及通過智能網關進行協議轉換實現老設備掛接到數據服務總線ES，突破了多源異構海量電磁數據的統一采集、數據解析提取、數據去重去噪、數據格式轉換和數據持久化等問題。

2 數據讀寫語言

（1）通過服務接口返回采集

系統建設符合《無線電監測數據采集規范》和《無線電監測數據傳輸規范》。根據《無線電監測數據采集規范》和《無線電監測數據傳輸規范》，監測設備接到上層控制指令后，按指令要求進行監測采集，采集過程中或采集完成后，生成的結果通過如表1 的五種方式之一返回。

其中XML、stream 種方式結果返回到發起命令的監測管理平臺，由監測管理平臺處理后存入電磁大數據中心；URL、FTP、database 種方式結果直接存到電磁大數據中心。下層文件系統上傳大量詳細監測的結果以文件的方式保存在文件系統中。下層文件系統通過FT 傳到上層電磁大數據中心。

表1

（2）通過下層數據庫上報

電磁大數據中心的數據主要來源于下層業務數據庫。地市級數據庫定期將數據同步到省數據中心或省數據分中心，省數據中心或省數據分中心將本級數據定期同步到電磁大數據中心。

例如：當監測站配備了AI 收機時，AI 收機接收到的數據經過加工處理后，可能會直接存入到監測數據庫中，再通過監測數據庫將AI 測數據上報到上層電磁大數據中心。

（3）通過其他途徑導入

管理平臺通過數據導入、數據交換等方式，將天線系數、各類模板、國內臺站、國內頻率、國際臺站注冊信息、國際頻率協調信息等數據存入電磁大數據中心。

3 數據讀寫方法及接入技術

智能網關項目圍繞提升智能前端節點的數據感知能力、數據處理能力、前置響應能力和協同感知能力的要求，通過開展對感知數據采集、接入、處理和反饋的研究，提出基于分布式感知和處理的智能感知網關前端系統，突破感知數據歸一化、異構數據融合、綜合目標識別、邊緣計算、數據趨勢分析技術、前置目標服務和節點組網等技術，構建基于感知即服務的智能網關前端節點系統，形成快速構建各種感知系統能力，達到國內領先水平，為基于“感知即服務”的分布式智能網關前端系統的智能化和大數據應用打下堅實的基礎。

智能網關是分布式系統的前端關鍵設備，通過協同感知、邊緣計算和前置反饋等技術改變了原有感知系統前端采集、后端處理和反饋的機制，采用數據處理前移、分布式數據處理、節點協同感知和網格化部署等，使得感知設備具備大規模組網、前置快速響應、前置智能信息分析和感知節點自組網協同的能力，為后端大數據平臺提供統一數據和服務響應支持。當前系統實現以藍海島礁觀測系統、智能感知接人網關等為代表的分布式智能前端系統，極大提高感知數據采集、應急反應和多節點協同等能力，最終實現智能計算和大數據的前端延伸。

主要功能如下：

（1）感知數據格式歸一化功能：智能網關支持多種感知設備的接入和數據接收，實現統一的硬件接口轉換、設備即插即用和支持多種感知設備的接入，并把各種不同的感知設備類型的數據進行歸類處理，形成統一的數據格式。

（2）數據分布式處理功能；建立數據節點實現數據分布式處理的能力，實現前端數據清洗、處理和融合，并支持節點處理二次開發和遠程掛載能力。

（3）感知數據服務提供功能；網關節點提供統一的感知數據和數據服務總線，實現感知數據統一服務能力。

（4）系統擴展及自組網功能；構建的系統具有較強的擴展能力，新的節點的加入后可在不同節點之間進行數據轉發和自尋路由，不需要進行開發。

電磁大數據智能網關符合《無線電監測數據采集規范》和《無線電監測數據傳輸規范》標準，實現了通過RMT 協議和監測服務接口規范等手段，接入、整合不同廠商的監測設備、環境監測設備以及視頻監控設備，并以標準原子化服務（符合《超短波監測業務一體化平臺服務規范》）向外部提供統一的對異構監測設備的訪問控制，從而完成不同的廠商監測設備的整合，實現異構監測網絡的連接和互操作，為上級系統提供統一的設備控制、數據管理和智能分析的原子化服務。電磁智能網關支持實時工作模式、自主工作模式。具有監測環境數據的整合和協調功能，能協調同時對環境監測設備的多個控制請求指令，保障對設備的正確控制和設備狀態的正確反映，能采集監測設備的網絡流量、剩余磁盤容量、剩余內存容量、CPU 使用率等額外的資源消耗數據。

電磁大數據智能網關具有多種工作模式，可實現監測數據和自動采集和智能化分析，在采集監測數據時，自動識別頻譜變化，并檢測出引起頻譜變化的信號，識別信號的調制，測量信號的IT 數，解調解碼信號內容，記錄信號頻譜等特征。智能監測網關可對下屬設備訪問的優先級仲裁，協調多個用戶或任務對同一監測設備或環境監控設備的訪問控制，避免對設備的控制沖突的發生。

電磁大數據智能網關支持智能網絡切換，自動按照有線網絡、無線3G/4G 移動通信、衛星通信網絡優先級順序接入。支持數據傳輸過程中的數據重傳與斷點續傳（在網絡條件較差時），確保各類數據在傳輸過程中的數據完整性。

電磁大數據智能網關對下支持各種標準監測協議接入，包括RMTP、原子服務、LG；同時并可對不同廠商的監測協議進行適配，從而實現了異構監測設備的統一接入。智能網關對于上級系統同樣提供了RMTP、原子服務、LG 標準協議的控制訪問入口，其中通過RMT 協議或原子服務協議可實現與無委現已建監測系統進行無縫對接，同時通過LG 準協議可向軍隊頻管系統提供訪問接口。

4 結語

異地多源數據副本讀寫同步技術同時實現了對不同監測設備上報的異構監測數據進行整合，其所存儲和上報的數據格式遵循國家無線電管理“四庫一化”相關標準。智能網關同時提供實時數據流上報、服務調用返回（XML）、FTP、數據庫同步等接口方式，實現與上級系統的對接，可實現與無委現已建監測系統、軍隊頻管系統等之間的數據共享，下一步項目組將結合已有成果，從兩個層面開展工作。

一是結合中國電科云數據中心全國布局，啟動自主可控國家公共云節點試點建設，開展數據中心準入指標體系、評測方法研究，突破國家公共云資源調度、跨領域數據資源共享調度等關鍵技術，構建國家公共云數據資源調度體系，實現不同行業、不同業務領域和不同組織機構的數據中心之間的資源調度能力示范驗證。

二是結合技術研究的逐步深入，反向完善頂層架構設計、標準體系制修訂。