基于數據盒的多源空間數據敏捷集成方法

李 峰，王士成，邱 政，楊 勇，賈向陽

(1.中國電子科技集團公司航天信息應用技術重點實驗室，河北 石家莊 050081；2.武漢大學 計算機學院，湖北 武漢 430072)

0 引言

隨著我國對地觀測技術的發展，一方面造成了遙感數據體量的爆炸式增長，遙感產品種類、數據不斷增加，另一方面也為遙感數據的存儲管理、數據處理及共享服務帶來了巨大挑戰。當前我國遙感數據分散存儲在多個數據中心，例如對地資源觀測數據存儲在中國資源衛星應用中心，氣象觀測數據存儲在氣象衛星應用中心，海洋觀測數據存儲在衛星海洋應用中心，不同衛星的遙感數據在存儲格式、組織方式等方面存在較大差異[1-3]。

然而，在環保、減災、農業、林業、地質和國土等行業中，數據需求廣泛而多樣，常常需要集成來自不同數據中心的不同類型的對地觀測數據。集成方式通常首先使用在線文件下載或者離線復制等方式從不同的中心下載各種不同類型的數據，然后將數據匯聚在一起進行使用。將海量、多源、異構的數據集成在一起是一項工作量巨大的工作，一方面，需要對各種形式描述的元數據進行抽取、轉換、融合，并對時空和屬性信息進行索引支持高效查詢；另一方面，需要對遙感、無人機等影像文件進行匯聚存儲索引，切割為瓦片金字塔以供可視化展示；對矢量數據進行坐標轉換、存入空間數據庫、發布數據服務；對關系型數據庫進行數據導入、去重、糾錯，發布查詢服務，抽取矢量信息支持可視化。這些匯聚工作常常需要進行各種定制化開發和大量的數據檢查、清洗等工作[4-6]。

隨著對地觀測數據的極速增長，這種需要大量人工的數據集成已經很難滿足很多應用領域的數據需求。特別是對于一些需要快速響應的應用場景，迫切需要更加敏捷的數據集成方式。因此，如何快速地聚合多源數據、構筑應用服務，滿足遙感數據在不同領域的應用處理與共享分發需求，成為當前空間數據管理與共享服務領域亟需解決的一個問題[7-8]。

針對這種需求，提出了一種基于“數據盒”的“即插即用”的數據集成方法。“數據盒”是一個獨立部署、一鍵式運行的軟件實體，可以將需要集成的數據與相關應用進行一體化罐裝，對外提供數據查詢、管理、下載和瓦片等數據服務。不同數據中心可以定制化罐裝“數據盒”，然后分發給數據集成單位。數據集成單位通過一個“數據蜂巢”平臺，將來自不同數據中心的“數據盒”進行自動集成：各個“數據盒”的元數據自動匯聚在“數據蜂巢”，形成統一的數據視圖；各個“數據盒”的數據服務通過“數據蜂巢”進行統一代理和訪問，形成統一的服務視圖。

基于“數據盒”和“數據蜂巢”的數據集成模式，數據與服務分布式存儲在各個數據中心分發的“數據盒”中。“數據盒”啟動后數據和服務就可以被實時集成，關閉后數據和服務被自動關閉，實現了“即插即用”的自動化集成。

1 方法概述

基于“數據盒”和“數據蜂巢”的數據集成框架如圖1所示。“數據盒”是將數據與相關應用進行一體化封裝而成的可自主運行的軟件實體。在“數據盒”中提供異構數據的存儲索引機制，實現對矢量、影像文件、結構化數據的存儲以及支持對元數據的存儲和索引。在“數據盒”內，可以定制化安裝各種應用，例如元數據管理、數據匯聚、文件下載、矢量服務、瓦片服務、數據分發等各種類型的應用程序。“數據盒”可以獨立運行，通過內置應用實現對盒內數據的查詢、管理、下載和服務訪問。

圖1 基于“數據盒”和“數據蜂巢”的數據集成框架示意

數據集成需要匯聚來自不同數據中心的數據，這個集成工作是通過數據蜂巢整合多個“數據盒”來完成的。如圖1所示，來自于不同數據中心的3個“數據盒”通過“數據蜂巢”集成在一起。“數據蜂巢”提供了服務網關用來代理每個“數據盒”的應用服務請求；提供了數據管理平臺，可以匯聚各個“數據盒”的元數據，形成所有“數據盒”的數據全局視圖；提供數據訪問代理，實現對各個“數據盒”數據的統一訪問。

“數據蜂巢”可以支持“數據盒”的全生命周期管理，完成“數據盒”的上線、下線和實時狀態監控，面向業務應用提供統一的數據服務和數據訪問，實現多個數據中心數據的“分布式存儲、一體化管理、可拔插式自動化集成”。

2 關鍵技術

2.1 基于容器技術的“數據盒”定制化罐裝

“數據盒”的定制化罐裝主要是基于容器技術實現數據和自主程序的一體化封裝，并在新數據產生后及時更新“數據盒”，其灌裝過程如圖2所示，“數據盒”支持權限控制，防止非法使用。灌裝后的“數據盒”鏡像可以通過網絡傳輸，也可以通過離線的移動存儲設備復制，并可注冊到“數據蜂巢”中實現多源空間數據的虛擬組織和一體化檢索。

圖2 “數據盒”灌裝過程示意

“數據盒”的灌裝主要分3步，首先通過“數據盒”模版創建一組容器，分別對應存放的自主應用，包括元數據管理、對象存儲、數據服務發布、數據切片、結構化數據存儲與訪問等，同時還包括“數據盒”的運維管理與安全管理2個自主應用。當容器創建成功后，接下來將數據灌裝到容器中，灌裝的數據和元數據以文件形式作為灌裝的輸入。在完成數據灌裝后，各類異構的數據和元數據存儲在容器的數據卷中，將各個自主應用的鏡像文件連同數據卷對應的文件夾進行整體打包，生成一個可以獨立部署運行的“數據盒”鏡像，完成“數據盒”灌裝。

2.2 多源空間數據的匯聚整合

“數據盒”針對不同空間數據源匯聚各類空間數據，利用統一的遙感共享元數據規范進行描述，實現多源異構信息的規范化統一表示，以及描述信息的去重、補全和集成。在此基礎上進一步實現聚合和虛擬化組織，將信息按照不同的主題進行聚類，動態關聯不同類型空間數據。“數據蜂巢”可以對分布式動態接入的“數據盒”元數據進行匯集，如圖3所示，并通過數據關聯映射、數據聚類、元數據規范轉換，構建數據的全局索引，基于全局索引實現一體化的數據檢索，檢索出分散在各個數據盒中的數據。

圖3 多源異構空間數據匯聚示意

多源空間數據的匯聚整合主要包括多源遙感共享信息規范化、信息聚合和虛擬化組織。其中，多源遙感共享信息規范化主要包括多源異構信息的統一表示，以及描述信息的去重、補全和集成[11-13]。多源遙感共享信息規范化以ISO19115和ISO19115-2規范為參考依據，構建多源異構空間數據統一表示規范，完成多源異構信息的統一表示，篩除重復的信息、補全缺失信息，將描述同一個對象不同屬性的信息進行集成，提高空間數據的規范性和完整性，為信息整合提供統一的遙感信息基礎。信息聚合和虛擬化組織主要是將規范化后的空間數據按照不同的主題進行聚類，并為空間數據定義不同的標簽，建立各類數據之間的關聯關系，按照不同的應用需求，形成不同的虛擬化文件，動態關聯不同類型空間數據，從而提高信息的組織效率。

2.3 基于微服務發現與監控技術的“數據盒”云化集成

“數據蜂巢”完成“數據盒”的全生命周期管理，基于微服務發現與監控機制，通過“數據盒”的注冊，完成“數據盒”上線、數據匯聚和狀態監控；通過“數據盒”的注銷，完成“數據盒”下線、數據撤銷；通過動態調度，實現“數據盒”的集群調度，支撐海量高并發的應用場景。

“數據蜂巢”通過服務網關完成“數據盒”的動態調度，如圖4所示。通過服務網關的反向代理功能，實現內部各“數據盒”應用的統一訪問，保障數據訪問的安全性；利用服務網關的集群調度功能，對于同一“數據盒”的多個副本，可以通過負載均衡訪問來支持更高的訪問需求；利用節點動態更新功能，在“數據盒”上線和下線時動態更新代理映射和集群節點，保障數據訪問的可靠性。

圖4 基于服務網關的“數據盒”動態調度

3 原型系統與應用試驗

基于“數據盒”的多源空間數據敏捷集成方法研制了原型系統，該原型系統包括“數據盒”運維平臺和“數據蜂巢”管理平臺。“數據盒”運維平臺用來支持“數據盒”的應用安裝、配置、制作鏡像；“數據蜂巢”管理平臺用來對多個“數據盒”進行可拔插式敏捷集成。

原型系統選取應急前出指揮車的數據集成作為應用試驗場景，展示“數據盒”與“數據蜂巢”的集成模式。應急前出指揮車需要赴某地區執行應急任務，整合該地區的遙感影像、路網數據以及氣象數據。其中，遙感影像來自于國土衛星遙感應用中心，氣象數據來自于國家氣象局，路網數據來自于OpenStreetMap網站。

3.1 “數據盒”灌裝

針對這3個來源的數據，通過3個數據盒完成各自數據的灌裝，數據灌裝過程分為應用安裝、數據灌裝、數據盒打包3個步驟，灌裝完成后得到遙感影像、路網數據以及氣象數據3個數據盒。詳細過程如下：

(1) 應用安裝：數據灌裝人員啟動“數據盒”運維平臺，在運維平臺中的“應用”管理模塊，從“應用市場”中選擇一個應用點擊安裝進行安裝。應用市場中的每個應用都包括一組容器鏡像，以及這些容器鏡像的docker-compose配置文件。安裝應用時，自動創建并啟動各個應用的各個容器，實現一鍵式安裝。安裝后的應用可以在“我的應用”部分進行查看，如圖5所示。

圖5 數據盒應用安裝

(2) 數據灌裝：“數據盒”的數據灌裝功能是通過“數據管理應用GeoPortal”提供的。在該應用中，提供了“數據匯集”模塊，使用數據匯聚模塊，提供文件夾掃描、API拉取等方式將外部的遙感、矢量和關系型數據灌裝到數據盒中。圖6的示例中創建了一個文件夾掃描任務，可以將指定文件夾中的數據文件導入到數據盒內。

圖6 “數據盒”數據灌裝：使用文件夾掃描方式灌裝遙感數據

不同類型數據文件的元數據格式各異，可以通過配置一個數據模型來實現元數據的自動轉換。在GeoPortal中使用ElasticSearch存放元數據，使用Minio Server存放文件數據，使用Clickhouse存放關系數據，這些灌裝后的數據都存放在數據盒所指定的本地文件夾中。

(3) “數據盒”打包：在“數據盒”打包時會將內置的應用與數據進行一體化打包，打包后會生成“數據盒”鏡像文件存儲在本地磁盤上。一個“數據盒”鏡像中包括內部應用的容器鏡像文件，以及啟動這些鏡像的docker-compose文件，同時包括所有灌裝的數據文件。應用打包的過程把各個內置應用的docker-compose配置文件進行合并，生成統一的“數據盒”容器配置文件，并配置好數據文件的數據卷映射，形成可以一鍵式啟動的“數據盒”鏡像。

3.2 “數據盒”在“數據蜂巢”中的集成

“數據盒”灌裝完成后，得到遙感影像、路網數據以及氣象數據3個“數據盒”，“數據盒”可以通過“數據蜂巢”進行即插即用的集成。

(1)“數據盒”的動態發現：啟動“數據盒”成功后，會根據配置的“數據蜂巢”地址自動連接“數據蜂巢”，實現“數據盒”的自動注冊與動態發現。在“數據蜂巢”中可以看到3個已經成功啟動的“數據盒”。“數據蜂巢”會持續監聽“數據盒”的心跳信息。當某個“數據盒”關閉后，在蜂巢中可以看到“數據盒”的狀態變成下線狀態，如圖7所示。

圖7 “數據盒”在“數據蜂巢”中的動態發現與管理

(2) “數據盒”的數據訪問：“數據盒”啟動后，會自動將盒內數據的元數據注冊到“數據蜂巢”的數據管理平臺中，從而在“數據蜂巢”中可以對各個“數據盒”進行全局的數據檢索和查看。數據體本身存放在各個“數據盒”中，通過“數據蜂巢”的網關進行代理訪問。在“數據蜂巢”的數管平臺中，可以對“數據盒”內的數據進行統一的檢索、下載、瀏覽、分發，實現數據的分布式存儲和統一訪問。

(3) “數據盒”的應用訪問：“數據盒”啟動后，應用都處于運行狀態，然而由于“數據盒”部署在服務器網內，沒有對外的訪問接口，因此需要通過“數據蜂巢”的網關進行統一代理來訪問。在“數據蜂巢”界面(圖7)中，可以點擊進入某個“數據盒”的運維頁面，以及各個應用的頁面，實現“數據盒”應用的統一訪問。

3.3 與傳統數據集成方式的比較

基于“數據盒”的多源空間數據敏捷集成方法與傳統集成方法[4,10-14]相比，具有如下優勢：

(1) 即插即用的集成：傳統集成方式需要大量的人力來實現數據的匯聚、集成。在指揮車例子中，如果使用傳統方法，來自不同單位的異構數據，都需要單獨編寫代碼進行數據與元數據的轉換入庫，需要人工發布數據服務，來支持數據查詢與可視化。利用“數據盒”技術，由于各個數據提供單位已經將“數據盒”內數據灌裝完成，交付的是一個可以支持訪問數據、提供數據服務的軟件實體，通過“數據蜂巢”可以實現全自動的即插即用的集成。同時，數據提供單位也可以利用“數據盒”進行“一次灌裝、多方分發”，將最新的數據分發到多個數據使用單位。

(2) 數據應用一體化集成：傳統數據集成方式只關心數據集成，但實際上不同類型的數據需要多樣化的服務模式，衛星遙感數據、海洋監測數據、測繪數據、矢量數據、視頻影像，以及針對領域定制的專題產品需要特殊的展示和使用方法，這些都需要相關應用的支撐才能完成。“數據盒”提供了數據應用一體化集成的能力，這種能力為更加有效地使用數據提供了更多的可能性。

(3) 分布自治的數據管理：傳統集成方式中，數據提供單位提供的數據體支持分發給集成單位，進行集中時的數據存儲與管理。而使用“數據盒”來進行數據集成，數據分布式存儲在各個“數據盒”內部，由“數據盒”內的應用進行自治管理。這種數據的自治性一方面可以提供靈活的數據快速裝配、定制和分發能力，另一方面也提供了更多可能的數據管理能力，數據提供方可以在“數據盒”中進行數據的訪問控制、流量統計、動態更新，從而實現更安全、可靠、易用的數據服務。

4 結束語

海量、異構、多源的空間數據集成是一項任務量繁重的工作，常規方法需要大量的編碼實現數據的接入、轉換、索引、存儲和服務來完成數據集成。針對這一問題，提出了一種基于“數據盒”的多源空間數據敏捷集成方法。各個數據中心可以將數據和應用進行一體化封裝成為拆包即用的“數據盒”。不同來源的“數據盒”可以通過一個“數據蜂巢”實現即插即用的自動化集成。給出了“數據盒”的架構和技術原理，給出了數據盒灌裝、基于“數據蜂巢”云化集成與多源數據匯聚融合關鍵技術。通過案例展示了“數據盒”的灌裝和“數據蜂巢”集成過程。與傳統集成方案相比，基于“數據盒”的集成方案具有即插即用的集成、應用數據一體化的集成、分布自治的數據管理的優勢。

在未來工作中，將擴展“數據盒”與“數據蜂巢”的能力，在數據安全性、運行可靠性、數據動態更新、可控的數據分發等方面進行增強，并在生產應用中推廣使用。