面向遙感影像協同處理的并行框架服務系統

湯曉濤，張 麗,3，黃 艷

1.西安測繪研究所，陜西 西安，710054；2.地理信息工程國家重點實驗室，陜西 西安，710054；3.信息工程大學地理空間信息學院，河南 鄭州，450052

?

面向遙感影像協同處理的并行框架服務系統

湯曉濤1,2，張 麗1,2,3，黃 艷1,2

1.西安測繪研究所，陜西 西安，710054；2.地理信息工程國家重點實驗室，陜西 西安，710054；3.信息工程大學地理空間信息學院，河南 鄭州，450052

遙感影像種類的不斷增加和數據量的急劇膨脹，使得建立良好可擴展性的遙感影像協同處理平臺顯得非常急迫和必要。本文從海量遙感影像協同處理需求出發，設計了一套與資源松耦合的并行框架服務系統，并給出了服務系統的組成和各關鍵服務的實現途徑。實驗結果表明，該框架不僅能合理分配作業任務、適應不同優先級的任務、實現負載均衡，而且其調度策略靈活，呈現出部署靈活方便、使用友好、適應性強的特點。

遙感影像；協同處理；并行框架；服務系統；松耦合

1 引 言

近年來，隨著遙感平臺和傳感器等技術的不斷發展以及國家高分辨率重大專項的全面推進，遙感影像種類不斷增加，數據量急劇膨脹，數以PB級的各類遙感影像數據亟待處理成能夠服務國防和國民經濟建設所需要的測繪產品，這對遙感影像數據處理技術和系統提出了嚴峻的挑戰。但是，目前能得到及時處理和應用的遙感影像數據不足10%，從而形成了一種所謂“遙感影像數據既多又少”的現狀[1]。在此背景下，建立一個具有高效處理能力和良好可擴展性的遙感影像協同處理平臺顯得非常緊迫和必要[2]。

由于云計算和網格計算具有協同工作的特點，具備支持動態異構環境、支持跨組織機構的資源共享、支持可伸縮性等能力，可以解決異構環境下遙感數據的快速處理和應用服務問題[3-8]。因此，為適應遙感影像規模化和高效處理需求，充分利用計算資源，實現海量遙感影像的高效處理，西安測繪研究所在遙感影像協同處理技術方面進行了一些探索，融合云計算相關技術開發了一套遙感影像協同處理平臺。該平臺以GPU-CPU混合集群協同處理為基本架構，采用插件式體系，實現了并行框架與遙感影像專業處理插件的無縫集成。

2 并行框架服務系統組成

中國云計算網將云計算定義為：云計算是分布式計算(Distributed Computing)、并行計算(Parallel Computing)和網格計算(Grid Computing)的發展[9]。分布式計算和存儲、高擴展性、用戶友好性、良好的管理性是云計算的本質特征，云計算系統的核心是提供服務，而且服務的實現機制對用戶透明，用戶無需了解云計算的具體機制，就可以獲得需要的服務[10]。

為此，基于服務的設計理念構建了遙感影像協同處理并行框架，該框架由作業管理、任務調度、計算與負載監視、資源信息、Web管理等服務和集群作業API(Application Programming Interface，應用編程接口)構成，其組成及其相互關系如圖1所示。該系統的運行方式主要分為作業任務提交和執行與集群或作業狀態查詢兩類。

當進行作業任務提交和執行時，系統運行流程主要包括7個步驟：①用戶在作業控制終端，通過集群作業API向系統提交作業任務；②作業管理服務收到來自用戶的作業請求后，把作業信息提交任務調度服務；③任務調度服務通過資源信息服務收集每個節點的狀態信息；④同時，任務調度服務根據作業任務需求和節點狀態，尋找并確定合適的作業執行節點，并把調度結果反饋于作業管理服務；⑤作業管理服務收到來自任務調度服務的調度結果后，把作業數據發送到該執行節點上；⑥該節點的計算與負載監視服務把作業執行結果提交給作業管理服務，同時把該節點狀態提交給資源信息服務；⑦作業管理服務把執行結果保存在相應的數據庫或工程目錄下。

當用戶進行集群/作業狀態查詢時，系統運行流程主要包括4個步驟：①用戶通過集群作業API提交查詢請求；②節點與負載監視服務把相應節點與該節點任務狀態信息上報給資源信息服務；③資源信息服務對各節點的狀態信息進行分類匯總，由Web管理服務提取這些狀態信息；④Web管理服務把收到的信息通過集群作業API反饋給用戶。

圖1 協同處理并行框架服務系統組成及相互關系圖

3 關鍵服務設計

3.1 作業管理服務

圖2 作業管理服務結構圖

作業管理服務是整個并行框架的中心服務，并且在一個集群中有且只有一個。從用戶的角度看，作業管理服務是整個并行處理系統的入口，作業命令和管理命令都由它解釋并執行；從集群內部來看，作業管理服務像一個專門的作業隊列管理器，其中包含了作業的靜態信息和動態信息。作業管理服務的結構如圖2所示，其主要職責包括：①作業請求接收：驗證用戶的身份，接收用戶提交的作業請求；②作業管理：維護作業的執行狀態，響應作業相關管理命令；③作業隊列管理：維護作業隊列的狀態，響應作業隊列相關管理命令；④計算節點管理：維護有效的節點列表，控制節點的狀態；⑤安全管理：實現用戶/組的管理，相關權限的定義；⑥計算擴展管理：實現計算擴展功能包的查詢和在計算節點上的分發；⑦配置管理：實現并行處理系統全局配置的管理。

3.1.1 計算任務生成

作業管理服務為每個執行的作業啟動了一個新的進程，即作業計劃進程，并同該進程之間建立管道連接。新作業計劃進程加載作業算法的計劃插件，將生成的任務描述通過管道傳遞給作業管理服務去調度和分發；作業管理服務又把任務執行后的結果信息發送給作業計劃進程，并由后者再傳遞給作業計劃對象，以實現任務處理流程的控制和狀態更新，具體流程如圖3所示，包含以下8個步驟。

圖3 作業管理服務流程圖

①作業管理服務通過通訊與解析模塊向作業計劃進程請求新的計算任務；

②作業計劃進程調用作業計劃對象的接口以獲得新任務的XML(Extensible Markup Language，可擴展標記語言)描述；

③作業計劃對象將生成的任務描述返回給作業計劃進程；

④作業計劃進程將任務描述通過通訊與解析模塊返回給作業管理服務；

⑤通過調度，作業管理服務將計算任務分發給計算節點去執行；

⑥計算節點將計算的結果信息返回給作業管理服務；

⑦作業管理服務將結果信息通過通訊與解析模塊發送給作業計劃進程；

⑧作業計劃進程將計算結果信息傳遞給對應的作業計劃對象。

3.1.2 作業數據庫設計

作業管理服務為了支持整個系統的有效運行，需要保存和更新系統的當前狀態、作業隊列信息和狀態、作業屬性信息、運行參數和狀態、作業已生成的任務描述信息及狀態、作業的任務調度記錄、計算擴展的注冊信息、系統安全信息和配置信息等信息內容。

鑒于上述信息具有較明顯的關系型數據特點，并且考慮到系統運行中會頻繁更新其中的數據，因此，為了管理上的便捷性，系統采用嵌入式的文件型數據庫SQLite作為實際的存儲形式。該數據庫的訪問代碼直接編譯到作業管理服務中，由服務完全控制和管理，解除了人員手動管理大型商業數據庫的負擔。

3.2 任務調度服務

任務調度服務主要實現計算任務和計算資源之間的配對，決定計算任務的實際執行位置。其內置的基本調度策略是盡可能讓更多的計算任務在可用集群節點上并行執行，以充分利用集群節點的計算能力；同時盡量讓整體處于平衡狀態，即避免某些節點過載的同時其它一些節點卻處于空閑狀態。任務調度服務的結構如圖4所示，一個調度周期包括6個步驟。

圖4 任務調度服務結構

①作業管理服務通知任務調度服務開始一次調度。

②任務調度服務向資源信息服務請求當前集群中各個節點的負載狀態。

③資源信息服務返回節點列表及負載狀態。

④任務調度服務向作業管理服務請求需要調度的計算任務列表及其資源需求。

⑤作業管理服務返回目前可以調度的計算任務列表。

⑥任務調度服務根據調度策略決定可運行的任務及其位置，以“任務調度表”的形式返回作業管理服務，完成一次調度。

任務調度服務總是在收到管理服務的“開始調度”指令后才啟動調度過程，并且在完成一次調度周期后，如果有節點尚未滿載，并且還有任務等待執行，那么任務調度服務則會進入下一個調度周期，直到上述條件不滿足或任務均無法被調度為止。為了保證資源的有效利用，作業管理服務在以下5種情況下均會發出“開始調度”指令：①資源信息服務通知有新的節點加入到集群中；②資源信息服務通知有節點進入輕載狀態；③資源信息服務通知有節點失效，作業管理服務回收該節點未完成作業后；④用戶提交了新的作業請求；⑤用戶調整了已提交作業的計算資源需求。

任務調度服務同作業管理服務和資源信息服務的通訊是通過相關的信息訪問API完成的，這些API僅在并行框架內部供任務調度服務使用，通過獲得作業信息和節點狀態信息，再結合自身內部特定的調度策略，就可以產生不同的調度表。

為了適應不同任務的需要，任務調度服務內部同時存在FCFS(即First Come, First Severed,先到先服務策略)、Priority(優先級服務策略)、Fair share(平等劃分策略)等三個不同策略的調度服務。作業管理服務在啟動時可以根據系統的配置和任務特點選擇使用的調度服務，或在運行過程中動態改變所用的調度服務。

3.3 計算與負載監視服務

計算與負載監視服務部署在每個物理計算節點，其主要負責作業任務的具體執行和節點負載狀況的獲取與上報，由分節點核心模塊、通訊器模塊、作業任務控制器模塊、GPU管理器模塊、工作線程管理器模塊、數據緩存模塊等6個模塊組成。其中，分節點核心模塊主要負責分節點的流程性工作，是其它對象的調用者，如通過通訊器接收和傳遞各種命令和任務信息，調用作業任務控制器管理任務信息，進行線程分配、數據預讀、算法庫加載管理等；通訊器模塊負責統一管理與外部的網絡通訊工作，建立針對各種外部通訊的專用接口，封裝通訊協議和信息傳輸打包和解包過程；作業任務控制器模塊負責管理被指派的任務，建立任務隊列，維護的信息包括任務處理類型、當前狀態、執行線程、數據準備狀況等；GPU管理器模塊負責維護和管理節點上可用的GPU信息，記錄狀態和綁定的處理線程ID；工作線程管理器模塊負責管理和維護一個工作線程池；數據緩存模塊負責分塊管理數據緩存，依據作業任務的排序預先將任務目標數據讀入緩存，便于任務執行時直接將緩存數據用于計算。

計算與負載監視服務邏輯關系如圖5所示，主要包括8個步驟：①～②作業管理服務把作業指派信息和作業數據通過通訊器模塊傳送給分節點核心模塊；③分節點核心模塊調用作業任務控制器，把作業任務加入當前任務隊列進行管理；④作業任務管理器根據作業任務的需求對作業隊列進行排序，并把任務隊列中排在最前面的作業任務及數據信息通知分節點核心模塊；⑤分節點核心模塊對載入的任務視情況調用相應的數據緩存模塊、工作線程管理器模塊和GPU管理器模塊完成作業；⑥～⑦分節點核心模塊把當前節點的資源信息和任務狀態信息通過通訊器模塊上報給該節點資源信息服務；⑧當作業任務執行完畢，分節點核心模塊把處理結果通過通訊器模塊返回作業管理服務。

圖5 計算與負載監視服務邏輯關系圖

3.4 資源信息服務

資源信息服務主要承擔監聽、收集、分發、存儲并行計算網絡中各節點計算機系統資源、 作業

隊列和作業任務狀態的功能，為作業管理服務、任務調度服務以及Web管理服務提供各種資源的實時查詢及狀態通知功能。資源信息服務與其它服務的邏輯關系如圖6所示，主要功能為：①接收各節點計算機(包括控制終端)的資源信息、作業任務狀態，包括：CPU頻率、核心數、使用率，物理內存、可用物理內存，網絡傳輸情況(連接速度、中斷分析等)，作業任務情況等；②存儲實時數據至數據庫，保存相關處理日志；③主動向作業管理服務通知作業完成、節點狀態和網絡狀態等事件；④提供接口，實現查詢功能(實時狀態查詢和歷史數據查詢)。

圖6 資源信息服務邏輯關聯圖

資源信息服務的數據存儲有集群實時狀態數據存儲和作業/任務日志庫等兩個部分。集群實時狀態數據為集群系統內各個計算節點的近期和當前狀態，主要包含計算節點的負載數據，這些數據無需持久化，保留一段時間后(如最近3個小時)即可刪除；作業/任務日志庫中記錄了系統內作業的狀態數據和計算任務的狀態數據以及調度記錄，這些信息通過Web服務以XML格式發布，以實現與作業管理和任務調度的集成。

資源信息服務的主要功能實現方式包括：

①各工作節點計算機(包括控制終端)通過UDP協議向資源信息服務發送實時的工作狀態數據、心跳包(監控網狀狀態)、計算機資源數據；通信方式為單向，節點計算機->資源信息服務，即工作節點計算機只向資源信息服務發送數據，資源信息服務不向節點反饋數據。

②資源信息服務對實時數據進行數據庫存儲。

③作為TCP/IP服務端，節點計算機狀態變更時，資源信息服務將主動發送消息通知作業管理服務及任務調度服務。

本文在無線傳感器網絡與未知目標之間有相對移動的情況下研究了聯合TDOA/FDOA定位方法,在文獻[12]提出的半正定松弛方法的基礎上提出了一種增強型的半正定松弛方法,利用增強型的優化方法有效改善了定位的精度。本文通過深度挖掘優化變量之間的內在聯系,并將這些聯系構造成合理的約束條件,進而將這些非凸約束松弛成凸約束對半正定規劃問題進行收緊,求得了全局最優解。文章理論證明了這些約束條件是有效的,起到了收緊半正定松弛規劃問題的作用。增強半正定規劃問題是一個凸優化問題,它能找到近似WLS問題的全局最優解,進而避免了收斂于局部極小點的情況。

④作為TCP/IP服務端，提供接口，以供Web管理服務進行實時數據和歷史數據查詢。

3.5 Web管理服務

Web管理服務主要給用戶提供舒適的Web界面，對分布式并行處理系統中各節點的資源、工作狀態等進行展示。用戶從Web界面可以清楚地了解網絡中每個計算節點的各種信息，包括：各節點計算機資源信息、作業隊列情況、作業任務工作狀態、網絡聯通情況等。Web管理服務與其它服務的邏輯關聯如圖7所示；Web客戶機通過HTTP發出請求，應用服務器將靜態頁面送交Web服務器處理；將數據庫請求和其它非關系數據服務器的請求經過處理后，送至相應的服務器進行處理；獲得結果后再加工成為Web客戶機可以識別的HTML頁面并發送給Web客戶機。

圖7 Web管理服務邏輯關聯圖

由于Python提供了豐富的開發Web服務應用的框架，因此它可迅速定制出符合應用要求的、易于部署的服務系統。為了保證系統的跨平臺性，降低系統部署和后期管理的工作難度，Web管理服務使用Python實現。

3.6 集群作業API

客戶端API是協同處理系統提供給外部程序調用的一套函數庫，封裝了包括作業任務下達、作業結果接收、執行狀態查看、運行管理等功能。

①數據結構定義

處理作業定義：包括作業類型、作業名稱、ID、生成時間、處理目標、優先級、參數列表、資源需求、時間要求、GPU版本等。

處理數據定義：數據名稱、ID、數據類型、數據范圍、存儲信息等。

參數格式：參數類型、參數值、隊列長度等。

②作業執行接口組

作業提交：向協同處理系統提交一個需要執行的作業任務，參數包括提交人、XML形式的作業描述。

作業執行暫停：暫停執行一個已提交的處理作業，參數包括作業ID等。

作業取消：暫停執行一個已提交的處理作業，參數包括作業ID等。

③狀態接口組：查詢并行系統運行情況、作業執行進度。

④運行管理接口組：并行系統訪問端口配置、加密方式、初始化、啟動/停止等。

4 環境部署與實驗

為了驗證系統的特點和能力，本文部署了輕量級使用場景，參試設備主要包括一臺GPU-CPU混合集群刀片式服務器，一臺GPU-CPU處理工作站、一臺常規DELL工作站，兩臺DELL便攜機(一臺安裝Windows 7操作系統，另一臺安裝國產中標麒麟操作系統)。其中，GPU-CPU混合集群刀片式服務器由3個GPU計算節點和1個管理/存儲節點組成。

進行遙感影像處理實驗過程中，一是通過增加和減少接入協同處理平臺設備數量的同時，查看資源利用情況、節點負載和任務執行情況等；二是對系統下達不同優先級的遙感影像處理任務，查看任務調度執行情況；三是在處理過程中，強制終止一些實驗任務，查看任務在節點間的遷移情況；四是人為使個別節點失效，查看任務遷移情況。實驗中并行框架呈現出以下特點和能力：①具備以負載均衡的方式完成任務調度的能力；②具備良好擴展性，系統在設備或節點增減的情況下均能正常處理，說明系統能夠適應不同規模的資源環境，可通過增減計算節點動態調整裝備規模；③具備良好適應性，對資源的配置以及操作系統沒有統一的要求，允許異構；④具備獨立性，與資源松耦合，遙感影像作業任務啟動時，才與專業處理插件和資源即時耦合。

5 結束語

本文根據多源遙感影像高效處理需求，基于服務的設計理念，設計實現了一套并行框架，該框架不僅能合理分配作業任務，實現負載均衡，而且其調度策略靈活，能夠適應不同優先級的任務，同時呈現出部署靈活方便、使用友好、適應性強的特點。目前，已經實現了該框架與航空線/面陣、航天線陣可見光影像的典型處理算法的集成，包括影像匹配，DSM粗差探測與濾波、DEM生成、正射糾正等，下一步將繼續通過更多算法的并行化改造與集成，對并行框架不斷進行測試和優化完善。

[1]李德仁，沈欣．論智能化對地觀測系統[J]．測繪科學，2005，30(4)：9-11.

[2]李德仁.攝影測量與遙感學的發展展望[J]．武漢大學學報·信息科學版，2008，33(12)：1211-1215．

[3]Foster I, Kesselman C, Tuecke S. The Anatomy of the Grid: EnablingScalable Virtual Organizations [J]. International Journal of HighPerformance Computing Applications, 2001, 15(3): 200-222.

[4]Nikolaos Giannadakis, Anthony Rowe, Moustafa Ghanem. InfoGrid:providing information integration for knowledge discovery [J].Information Sciences-Informatics and Computer Science, 2003,155(3-4): 199-226.

[5]徐志偉, 馮百明, 李偉等. 網格計算技術[M]. 北京: 電子工業出版社, 2004.

[6]都志輝, 陳渝, 劉鵬. 網格計算[M]. 北京: 科學出版社, 2005.

[7] 張衛, 查亞兵. 基于網格的先進分布式仿真綜述[J]. 系統仿真學報, 2008, 20(5): 1089-1092.

[8]朱紅春，劉海英，張繼賢等. 遙感數據處理的網格系統仿真實現及應用研究[J]. 系統仿真學報, 2010, 22(9): 2095-2099.

[9]劉鵬.云計算的定義和特點[EB/OL].[2009-02-15].Http://www.chinacloud.cn/show.aspx?id=741&cid=17.

[10]鄧倩妮，陳全．云計算及其關鍵技術[J].高性能計算發展與應用，2009, 26(1): 2-6．

The Parallel Framework Service System for Cooperative Processing of Remote Sensing Image

Tang Xiaotao1,2, Zhang Li1,2,3, Huang Yan1,2

1. Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 2. State Key Laboratory of Geo-information Engineering, Xi’an 710054, China 3. Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China

It is necessary and urgent to build up a remote sensing image cooperative processing system which has good extensibility due to the increase of remote sensing image types and inflation of the data size. In this paper, a parallel framework service system for cooperative processing of remote sensing image is designed, which is loose coupled with the computing resources, the system composition and realization approach of the key service are also presented. The tested and verified result shows that this parallel framework can not only allocate computing tasks reasonably, adapt to different priority level task and realize load balancing, but also has the characteristics of flexibility for scheduling strategy and deployment as well as the good adaptability.

remote sensing image；cooperative processing；parallel framework；service system；loose coupling

2015-01-08。

湯曉濤(1963—)，男，研究員，主要從事攝影測量處理方面的研究。

P231

A