遙感影像在線處理流程編排與算法調度技術研究

廖芳芳，雷雨桐，蘇永恒，劉富乾，管占磊，吳聆益

（1.航天宏圖信息技術股份有限公司，北京 100195；2.上海宏圖空間網絡科技有限公司，上海 201702）

面對爆炸式增長的遙感影像以及不同行業應用的復雜算法和業務流程，遙感數據的單機處理變得困難[1-2]。為解決這一問題，云計算技術被越來越多地應用于遙感領域，旨在提升海量遙感數據的處理效率[3-10]。國外產品有谷歌地球引擎（Google Earth Engine，GEE）、ArcGIS online、ENVI Services Engine等[11-14]，國內產品有EarthDataMiner、PIE-Engine、OpenRS-Cloud 等[15]。

該文基于云原生技術框架，探索遙感算法模型快速集成以及全流程任務編排技術，并通過資源的動態調度實現遙感計算任務的高速并行處理，提供高效的海量遙感數據批處理和專題產品自動化生產解決方案。

1 云原生流程編排與算法調度

1.1 核心技術架構

為滿足海量遙感影像在線處理過程中算法擴展、流程編排、并行調度和任務監控的需求，該文構建了遙感數據處理并行調度管理平臺，圖1 展示了平臺的基本架構，其核心內容包括生產消息、消息調度引擎、并行計算集群三部分，分別對應遙感數據處理流程編排過程中生產消息、收發消息和消費消息三個過程。其中生產消息主要指引接外部專題數據、各種流程任務觸發指令輸入、用戶干預指令等信息快速推入消息調度集群；消息調度引擎是消息調度集群的核心，主要負責數據的接收、存儲和快速分發；并行計算集群是消息的消費者，負責從消息調度引擎訂閱消息并進行消息的處理。

圖1 并行調度管理平臺技術架構

并行調度管理技術流程如圖2 所示。并行調度管理技術采用云原生開發框架，以Kubernetes 作為底層運行平臺，容器作為算法模型封裝載體，構建流程驅動和資源調度雙層架構，采用標準OpenAPI/RESTful API 業務集成，實現對整個系統可使用資源的管理與調度，以及遙感數據處理流程任務的調度、分發、執行與監控功能。在并行調度管理平臺中，用戶自定義的遙感數據處理流程被轉換成JSON 格式的模型描述信息，模型描述信息傳遞給后臺形成流程任務，工作流服務對全部的流程任務狀態進行管理和監控，并根據流程任務狀態將其分配給工作流引擎。工作流引擎通過Batch 算法將流程任務按批次分布到各節點；基于DAG 流程調度算法，解析每個流程任務的模型描述信息，識別調用算法信息及算法執行順序結構信息；Pipeline 分發執行節點上的算法任務。算法模型插件服務提供了算法模型標準化接口，實現行業專題算法包的快速集成和彈性擴展。算法模型通過鏡像服務進行部署，通過Kubernetes API Server 進行以Pod 為基本單位的算法集群調度。

圖2 并行調度管理技術流程

1.1.1 消息調度引擎

消息調度引擎是遙感數據處理并行調度管理平臺的中樞神經系統，負責遙感數據處理任務流程的消息接收、存儲和分發。將消息按不同的專題進行存儲，并持久存儲到文件系統。當外部系統需要進行并行計算時，外部系統作為消息的生產者，通過消息調度引擎，把遙感數據計算任務加入到消息隊列中。然后消息調度引擎通過對消息隊列的排隊、去重后，進入消息緩存中。并行計算集群作為消息的消費者，通過對消息的并行消費和計算管理，執行遙感數據處理任務流程，達到并行計算的目的。消息調度引擎主要管理的消息有用戶消息、訂閱關系、隊列調度、緩存管理、日志監控消息等。

1.1.2 并行計算集群

遙感數據處理并行調度管理平臺的并行計算集群以多計算節點構建計算資源池，并采取分組的方式訂閱消費專題數據。每一個消費者組可以認為是一種遙感處理流程的多任務集群，能夠并行地消費指定專題數據并完成計算工作。由于計算平臺主要接收和處理大規模的遙感數據并行計算任務，當接收到這些任務時，集群通過并行調用任務算法，完成大規模遙感數據處理任務。并行計算管理主要提供任務管理、任務編排、任務部署、任務監控、資源管理等服務，實現對任務的監控管理和對資源的合理利用。

遙感數據處理并行調度管理平臺通過構建消息調度引擎和并行計算集群，具備高并發遙感數據處理任務快速實現功能、支持CPU/GPU/流計算等并行模式、支持多種任務觸發機制、支持資源的彈性伸縮、支持大規模批量數據的快速吞吐、具有超高的穩定性，實現遙感數據處理任務自動化編排、自動化調動、多模式調度、任務監控和任務緩存功能。

1.2 基于云原生的算法流程編排調度引擎

工作流引擎負責流程任務解析和資源調度，對于工作流執行至關重要[16]。該文采用的工作流引擎是一種基于云原生的算法流程編排調度引擎，可分為三層架構：

1）存儲層：狀態機服務使用分布式隊列來管理預定的遙感算法任務，并且使用動態隊列來管理分布式延遲隊列。

2）服務層：工作流服務提供遙感數據處理任務相關的注冊、管理、監控等服務；任務服務提供對遙感數據處理任務的注冊、管理等服務；狀態機服務用來選擇遙感數據處理流程下一步應該執行的算法，更新工作流執行狀態；隊列服務提供動態可擴展的虛擬隊列服務。

3）API 層：工作流相關API 負責啟動、控制流程；元數據相關API 負責定義任務和工作流藍圖；任務相關API 負責獲取流程中的任務詳情，輪詢、更新任務狀態。

基于云原生的算法流程編排調度引擎的核心是狀態機服務，也稱為決策者服務。當工作流事件發生時（例如遙感算法完成、失敗等），決策器將根據工作流定義和工作流的當前狀態選擇下一算法，并發送到相應的算法/任務隊列中或更新工作流的狀態，來進一步驅動流程執行。基于云原生的遙感大數據處理算法流程編排調度引擎體系架構如圖3 所示。

圖3 基于云原生的遙感大數據處理算法流程編排調度引擎體系架構

1.3 算法任務執行模型

基于云原生的算法任務執行模型是基于RPC 通信模型的，工作節點與引擎服務分布在不同的機器上。工作節點通過HTTP 協議與引擎服務器通信，并使用輪詢模型來獲取任務隊列中的待執行任務。

工作節點實現了對任務輪詢的冪等性，并且工作節點和引擎服務都是無狀態的，因此非常易于擴展，可以根據虛擬隊列中任務的排隊情況實現工作節點的自動伸縮，可以輕松支持數以萬計的流程并行執行。算法任務執行完成后同樣通過基于HTTP協議的Restful API 告知管理/執行服務，管理/執行服務接到通知后通過算法流程編排調度引擎來調度流程下一步的執行。算法任務執行模型如圖4 所示。

圖4 基于云原生的算法任務執行模型

工作節點和引擎服務完全通過無狀態的HTTP協議進行通信，整個流程驅動的過程完全解耦，解決了基于消息中間件單個消息處理時間過長的問題，易于擴展，尤其適用于遙感大數據處理算法的流程編排和調度。

2 功能實現

該文基于遙感數據處理并行調度管理技術，構建了基于云原生的遙感數據處理云服務平臺，實現面向遙感大數據的在線可視化流程定制、自動化生產服務，同時提供了算法擴展、流程編排、并行調度和任務監控功能。

2.1 可視化流程設計管理功能

針對遙感影像類型頗多，處理流程差異較大的特點，建立可視化流程設計管理系統，方便用戶直觀地定制遙感數據處理流程，并對流程進行管理、調度和監控。平臺通過調度組件化的算法模塊，對遙感數據處理和專題產品生產進行流程化編排，結合業務流程配置，建立或調整業務流程，快速實現遙感數據批量處理及生產。主要實現的功能有流程設計功能、流程調度功能、流程監控功能、流程查詢功能。

平臺實現了靈活的可視化流程構建方式，提供可視化流程編排工具，支持用戶自定義遙感數據處理生產線。流程編排過程操作便捷，算法用拖拽方式組合，參數通過流程線傳遞，所見即所用；支持串行、并行、分支及判斷多種復雜處理流程的構建；支持自動化執行算法與人機交互（精細作業）算法串聯，實現WEB 與客戶端無縫銜接；提供用戶在流程編排過程中，根據業務需要定義生產參數（例如不同衛星的分辨率），簡化任務創建參數設置過程。生產任務執行時，系統自動化調度生產線進行生產，用戶不需要關心數據流向。

2.2 標準化的算法擴展功能

平臺實現遙感算法的集成、更新、維護、共享等管理服務功能。提供算法模型標準化接口，實現行業專題算法的快速集成。支持對Python、C++、IDL、Matlab 等多種語言編寫的算法插件進行封裝，支持將多源異構數據處理、專題產品制作等算法封裝成容器，在平臺中調度管理，方便用戶自主上傳注冊算法插件，很好地解決了多源遙感數據在線處理能力擴展問題。

算法插件要求包括算法的可執行程序、依賴庫以及JSON 格式的配置文件，以zip 包的形式上傳注冊，平臺解析算法插件后算法即被加入算法庫中，可實現在流程中調用。算法插件的配置文件定義了算法的標識、版本、環境、資源、參數等內容。

2.3 集群計算運行管理功能

集群計算運行管理功能模塊主要負責依據遙感數據批量處理的業務量推算支撐硬件環境資源（包括計算資源、存儲資源、網絡資源等）的需求，基于軟硬件環境構建集群運行環境，科學開展任務管理和作業調度，為遙感數據產品并行化生產提供技術支持。主要實現的功能有運行支撐資源估算功能、任務管理功能、系統資源監控功能。

運行支撐資源估算能夠實現計算資源、網絡資源、存儲資源和作業資源估算的功能，為遙感產品生產調查管理和資源優化配置提供數據支撐。任務管理功能主要負責接收遙感產品生產任務要求，通過自動解析、分析生成具體作業調度單，并下達作業并行調度，同時針對任務流程執行的全過程進行監控，顯示算法執行狀態。系統資源監控功能主要實現對集群的靜態和動態信息進行實時監控，主要包括內存、CPU、存儲空間使用情況，數據上傳下載速率，以及節點負載狀態等內容，為新任務的資源配置提供基本的參考條件。

3 性能測試

該文構建了遙感數據處理云服務平臺并進行了平臺性能測試，測試環境如表1 所示。測試數據選用GF1-PMS 影像（全色+多光譜）、GF1-WFV 影像（多光譜）和GF2 影像（全色+多光譜），測試流程為數據解壓縮、影像匹配、正射校正、影像融合到元數據生產全流程，逐景批量全自動生產。

表1 測試環境

分別通過單機節點和該文系統的多節點并行計算，執行上述遙感影像全自動批量生產流程，測試結果如圖5 所示。由圖5 可知，當數據量較小時，該文系統與單機節點計算效率差別不大，這是由于服務啟動時間的存在降低了平均處理速率；當數據量大于100 GB 時，該文系統計算耗時明顯低于單機節點耗時。隨著數據量增加，單機節點計算耗時急劇增加，該文系統計算耗時的加速平緩且遠低于單機節點，證明了該文技術框架的可行性。

圖5 單機節點與該文系統多節點并行計算測試結果對比

4 結束語

針對遙感影像處理過程中數據量大、數據處理流程復雜、行業專題算法差異性大等問題，提出基于云基礎設施的數據處理并行調度管理技術，實現了遙感數據處理全流程編排和算法擴展。基于云原生的算法流程編排調度引擎被證明適用于遙感大數據處理算法的流程編排和調度，高效靈活的任務調度管理機制實現了對大規模服務器和計算資源的部署、調度及監控管理，保障了遙感數據生產流程的快速并行計算能力，且具有低耦合、易于擴展的優點。以容器為算法模型封裝載體，有效解決了不同算法模型因運行環境和編譯語言差異造成的集成部署問題。測試結果表明，該文提出的技術方案可行，能夠滿足海量遙感數據高效批處理的需求。