GXL二次開發(fā)在國產(chǎn)衛(wèi)星數(shù)據(jù)處理中的應(yīng)用研究

張偉, 張濤, 鄭雄偉, 齊建偉, 王光輝

(1.自然資源部國土衛(wèi)星遙感應(yīng)用中心，北京 100048； 2.中國地質(zhì)調(diào)查局，北京 100037)

0 引言

隨著我國航天技術(shù)的不斷革新，國產(chǎn)衛(wèi)星遙感數(shù)據(jù)呈指數(shù)級增長，數(shù)據(jù)量在滿足各行業(yè)務(wù)需求的同時，也對衛(wèi)星數(shù)據(jù)處理提出了更大的挑戰(zhàn)，傳統(tǒng)單機作業(yè)模式已然不能滿足目前的需求。在計算機、高速網(wǎng)絡(luò)、大型存儲技術(shù)快速發(fā)展的年代，衛(wèi)星數(shù)據(jù)處理平臺亟須向集群式自動化轉(zhuǎn)變[1]。

地理成像加速器(Geoimaging Accelerator，GXL)是加拿大PCI公司設(shè)計的新一代集群式遙感數(shù)據(jù)處理平臺，可對航空、衛(wèi)星遙感數(shù)據(jù)進行流程自動化生產(chǎn)，已大規(guī)模應(yīng)用于國外衛(wèi)星產(chǎn)品的生產(chǎn)中。在高分辨率衛(wèi)星影像正射產(chǎn)品生產(chǎn)中，GXL依據(jù)控制資料對QuickBird，GeoEye，WorldView-1/2，TH01等航天衛(wèi)星傳感器數(shù)據(jù)進行分布式自動化處理，在產(chǎn)品精度滿足生產(chǎn)要求的同時，大幅縮短生產(chǎn)周期，降低生產(chǎn)成本[2-7]。針對國產(chǎn)衛(wèi)星數(shù)據(jù)處理方面，張世群等[8]利用PCI GXL在短時間糾正了包含資源三號(ZY-3)衛(wèi)星在內(nèi)的5 600景影像，成果精度滿足地理國情監(jiān)測項目要求，為地理國情后續(xù)工作提供了可靠的數(shù)據(jù)基礎(chǔ); 喬曉虹等[9]在第一次地理國情普查中驗證了結(jié)合資源一號02C(ZY1-02C)、高分一號(GF-1)、ZY-3國產(chǎn)衛(wèi)星，運用 GXL 提供的影像配準影像模式可以較大程度上減小1∶50 000數(shù)字高程模型(digital elevation model，DEM)糾正時點核準正射影像與信息采集影像套合誤差，為后續(xù)時點核查工作提供可靠的地理精度保障，GXL已經(jīng)成為地理國情普查中主要的數(shù)據(jù)處理軟件[10-11]。

由于衛(wèi)星數(shù)據(jù)源不斷增加，數(shù)據(jù)處理的復(fù)雜度逐漸加大，僅利用GXL平臺中固有功能模塊很難滿足新時期大數(shù)據(jù)模式下的衛(wèi)星數(shù)據(jù)處理需求。雖然有學(xué)者結(jié)合其他衛(wèi)星數(shù)據(jù)處理平臺(如GeoWay CIPS和ERDAS等)開發(fā)新功能模塊用以補充GXL不足[12]，或者基于GXL開發(fā)功能重新設(shè)計遙感影像生產(chǎn)管理系統(tǒng)[13-14]，并擴展新功能優(yōu)化GXL，用以實現(xiàn)國產(chǎn)衛(wèi)星數(shù)據(jù)便捷化處理，但這些均是建立新系統(tǒng)或者多個系統(tǒng)之間協(xié)同交互的基礎(chǔ)上進行的，實現(xiàn)難度大，對于普通GXL使用者并不實用。

GXL平臺的強大不僅在于其提供高效可靠的固有功能模塊，還在于其具有高度靈活的可擴展性，可以和其他遙感數(shù)據(jù)處理軟件無縫銜接使用[15]，而且其提供的二次開發(fā)接口可快速完成自建功能算法的流程化嵌入，擴展并優(yōu)化數(shù)據(jù)處理流程。然而，基于此方面并應(yīng)用于國產(chǎn)衛(wèi)星流程化處理的研究相對較少，為此，本文重點研究利用GXL平臺的二次開發(fā)功能，擴展優(yōu)化國產(chǎn)衛(wèi)星數(shù)據(jù)處理工作流，并有效提高國產(chǎn)衛(wèi)星產(chǎn)品的生產(chǎn)效率和便捷化處理。

1 GXL二次開發(fā)理論

1.1 GXL軟件框架結(jié)構(gòu)

GXL軟件是面向計算機集群的數(shù)據(jù)處理軟件，是以網(wǎng)絡(luò)為連接基礎(chǔ)的，應(yīng)用于分布式多機的超算平臺。其主要功能組件由客戶端、數(shù)據(jù)存儲服務(wù)器、作業(yè)調(diào)度控制器、作業(yè)執(zhí)行處理器4部分組成，如圖1所示。數(shù)據(jù)處理流向描述如下： 客戶端負責(zé)提交數(shù)據(jù)處理任務(wù)參數(shù)，涉及人工交互和作業(yè)狀態(tài)顯示，主要以B/S架構(gòu)的瀏覽器端方式展現(xiàn)，用戶在電腦端的瀏覽器上啟動GXL軟件，通過選擇功能模塊創(chuàng)建流程化作業(yè)即可提交數(shù)據(jù)處理任務(wù)。其次，作業(yè)控制器根據(jù)提交作業(yè)對其分析并結(jié)合網(wǎng)絡(luò)尋找可用的處理服務(wù)器節(jié)點，將作業(yè)任務(wù)參數(shù)通過數(shù)據(jù)庫鏈接傳遞于正常作業(yè)的處理服務(wù)器節(jié)點，同時啟動和監(jiān)控處理服務(wù)器的任務(wù)，完成分布式任務(wù)部署，此時多個任務(wù)服務(wù)器根據(jù)數(shù)據(jù)路徑參數(shù)訪問數(shù)據(jù)存儲服務(wù)器，并對執(zhí)行具體處理任務(wù)，完成數(shù)據(jù)的讀寫處理等相關(guān)操作，同時將狀態(tài)反饋于作業(yè)控制器并傳遞于瀏覽器客戶端，顯示數(shù)據(jù)處理的日志信息。作業(yè)流首先按圖1中實線箭頭方向執(zhí)行，然后再按虛線箭頭方向反饋，完成一個作業(yè)周期。

圖1 GXL功能組件架構(gòu)圖

數(shù)據(jù)處理任務(wù)流貫穿于GXL的4大功能部件塊之間，且模塊之間互不影響，從軟件框架模式上分析，GXL軟件整體上由3部分構(gòu)成，是典型的MVC(Model View Controller)框架(圖2)。其中模型層(Model)位于GXL軟件框架底層，主要完成遙感數(shù)據(jù)存取、數(shù)據(jù)處理核心算法實現(xiàn)，通常部署于作業(yè)處理服務(wù)器中，是數(shù)據(jù)處理真正的執(zhí)行者； 視圖層(View)位于GXL軟件最上層，通常部署于GXL客戶端組件塊中，面向使用者，通過瀏覽器與用戶完成交互操作，具體實現(xiàn)GXL任務(wù)的參數(shù)輸入、任務(wù)狀態(tài)展示、日志信息輸出等； 控制器層(Controller)則位于模型層與視圖層之間，通常部署于GXL任務(wù)管理節(jié)點，利用數(shù)據(jù)庫和網(wǎng)絡(luò)調(diào)度算法，負責(zé)完成兩者之間的信息傳遞、處理算法注冊、作業(yè)調(diào)度管理，并于View端顯示計算節(jié)點(模型運行環(huán)境)的資源負載狀態(tài)等，三者通過網(wǎng)絡(luò)以最低偶合度完成連接，將模型層與視圖層最大化分離，具有部署快、靈活性強、高擴展性等優(yōu)勢。

圖2 GXL軟件的MCV框架

以MVC模式為構(gòu)建基礎(chǔ)，GXL中所有任務(wù)流功能均滿足這種模式，每個具體功能模塊所需要的參數(shù)在視圖端以網(wǎng)頁形式顯示與交互，在模型端(即后臺)執(zhí)行，同時受限于控制器的作業(yè)定制規(guī)則，從而以負載均衡的優(yōu)配形式最大化利用集群服務(wù)器計算資源。所以，在MVC模式下的，針對GXL中的新增運算模塊，需要分別對模型端、視圖端、控制端3方面進行開發(fā)，最終完成功能擴展。

1.2 GXL二次開發(fā)方法

軟件的二次開發(fā)是指在現(xiàn)有軟件框架的基礎(chǔ)上定制修改與功能擴展，實現(xiàn)滿足自己業(yè)務(wù)等需要的功能。應(yīng)用于GXL軟件，即在功能模塊中創(chuàng)建二次開發(fā)作業(yè)核心，擴展常規(guī)化GXL數(shù)據(jù)處理流，將新開發(fā)算法部署于GXL平臺，綜合利用GXL的集群調(diào)度平臺，達到流程擴展和優(yōu)化處理的目的。根據(jù)GXL軟件框架構(gòu)成可知，新增模塊需要適配MVC框架，根據(jù)GXL平臺程序接口規(guī)范，完成二次開發(fā)。

依據(jù)1.1小節(jié)可知，GXL的二次開發(fā)策略實際上是根據(jù)MVC這3個方面的接口規(guī)范分別實現(xiàn)功能擴展，具體策略如下：

圖3 模型端開發(fā)

2)其次在視圖端。GXL以網(wǎng)頁形式提供參數(shù)輸出，頁面設(shè)置由GXL Web界面接口GUI PRM XML結(jié)構(gòu)決定，主要參數(shù)類型如表1所示。根據(jù)表1指定類型為設(shè)計與布局輸出界面參數(shù)，最終提交的視圖端接口文件為XML類型文件，部署于GXL web服務(wù)中。圖4描述了“正射糾正”模塊在視圖端中XML文件與web解析后的結(jié)果。經(jīng)解析的XML文件為交互式界面，其中的每一選項均在XML文件中找到對應(yīng)語句，即在視圖的開發(fā)主要依賴于XML語言編寫規(guī)范，依據(jù)GUI PRM結(jié)構(gòu)接口要求完成。

表1 GUI RPM XML結(jié)構(gòu)元素表

圖4 正射糾正模塊視圖端顯示

3)最后在控制器端?？刂破鞫说淖饔檬菍⒛Ｐ投怂惴ㄅc視圖端界面聯(lián)系起來，根據(jù)用戶交互獲取到的數(shù)據(jù)參數(shù)傳遞給模型端，并依據(jù)任務(wù)量大小對模型端作業(yè)和計算機資源進行調(diào)度管理。GXL在控制端將JPS(Job Processing System)服務(wù)和Postgresql數(shù)據(jù)庫相結(jié)合，依據(jù)程序監(jiān)控與操作數(shù)據(jù)庫中的對應(yīng)表，從而實現(xiàn)控制功能。在控制器端任務(wù)作業(yè)流如圖5所示，主要分為算法注冊、參數(shù)注冊、對作業(yè)任務(wù)進行執(zhí)行配置3個步驟。

圖5 控制端二次開發(fā)部署圖

同樣以GXL系統(tǒng)自帶模塊“正射糾正”為例，其通過算法注冊，對正射糾正中的主作業(yè)和子作業(yè)完成注冊，界面參數(shù)的統(tǒng)一類型為PrmXmlType，視圖端文件參數(shù)為OrthoParameters，模型端為MasterOrtho.pyc和Ortho.pyc，分別為主作業(yè)與子作業(yè)角本，執(zhí)行優(yōu)先級分別為50，所占資源，針對子作業(yè)為21，對應(yīng)每個執(zhí)行線程資源分配為21，即每次單節(jié)計算節(jié)點可運行100/21=4個任務(wù)。正射校正模塊的算法注冊代碼為：

SELECT install_job (

′GXLMasterOrtho′, ′正射校正′,

′影像正射校正，生成正射產(chǎn)品。′,

50, ′GXLWorkflow′, ′PrmXmlType′, ′OrthoParameters′,

′正射校正主作業(yè)參數(shù)′);

SELECT install_job (

′GXLOrtho′, ′正射校正子作業(yè)′,

′對指定的影像正射校正，生成正射產(chǎn)品?！?

50, ′GXLWorkflow′, ′PrmXmlType′, ′OrthoParameters′,

正射校正子作業(yè)參數(shù)′);

試驗時，光學(xué)測試與緊湊斷裂拉伸試驗同步進行，使用兩個1600萬像素的CCD相機采集圖像，圖像采集幀率為4fps。圖6(a)為上相機(圖3(b)所示的兩個相機，一上一下)拍攝的試樣4表面散斑圖像，在裂尖附近的局部放大散斑圖像見圖6(b)所示，圖像放大率為26pixel/mm。

2 國產(chǎn)高分衛(wèi)星處理應(yīng)用與分析

GXL二次開發(fā)功能不僅可以將新增算法完整加入數(shù)據(jù)處理流，完成定制流程化，而且可將新開發(fā)擴展算法快速應(yīng)用于集群環(huán)境，最大化提高新算法運行效率。所以，GXL二次開發(fā)可以為常規(guī)數(shù)據(jù)流程進行2個方面的改進： ①流程優(yōu)化; ②效率提升。本文以613景GF-1(322景)、GF-2(215景)和ZY1-02C(76景)的多源國產(chǎn)數(shù)據(jù)協(xié)同正射糾正處理為例，通過開發(fā)新模型，完成優(yōu)化數(shù)據(jù)處理流與增強數(shù)據(jù)處理效率方面的改進與提升，進而驗證GXL二次開發(fā)在國產(chǎn)衛(wèi)星數(shù)據(jù)處理的應(yīng)用。

2.1 國產(chǎn)高分衛(wèi)星數(shù)據(jù)處理流程

眾所周知，國產(chǎn)高空間分辨衛(wèi)星遙感數(shù)據(jù)的GXL正射糾正處理流程如圖6所示，主要包含原始數(shù)據(jù)(1級產(chǎn)品)導(dǎo)入、控制點采集、區(qū)域網(wǎng)平差、正射糾正4步。①完成多源影像格式轉(zhuǎn)換，識別元數(shù)據(jù)信息； ②結(jié)合參考底圖進行控制點采集與篩選； ③完成影像間連接點采集與篩選以及結(jié)合第二步的控制點聯(lián)合區(qū)域網(wǎng)平差； ④結(jié)合高程數(shù)據(jù)完成全色多光譜影像配準和多源數(shù)據(jù)協(xié)同正射糾正。

圖6 GXL國產(chǎn)衛(wèi)星數(shù)據(jù)處理流程

2.2 GXL二次開發(fā)優(yōu)化正射生產(chǎn)業(yè)務(wù)化流程

2.1節(jié)所描述的功能模塊均為GXL內(nèi)嵌功能，這個流程在業(yè)務(wù)化運行時有一定的限制條件： ①數(shù)據(jù)導(dǎo)入必須為文件夾狀態(tài)，不能為tar包； ②數(shù)據(jù)完整性必須良好，即一個任務(wù)批次中的原始數(shù)據(jù)必須存在全色和多光譜且一對一匹配； ③正射產(chǎn)品的文件名稱為GXL內(nèi)部文件系統(tǒng)所定義，與業(yè)務(wù)化成果數(shù)據(jù)庫文件命名形式不匹配，不能直接歸檔可入庫。在通常業(yè)務(wù)生產(chǎn)中，以上限制均可在人工交互輔助下克服，然而隨著數(shù)據(jù)量的不斷增長和衛(wèi)星種類的日益繁多，人工干預(yù)的作業(yè)模式已不能滿足業(yè)務(wù)需求。為此，針對以上3個條件分別開發(fā)新型模塊，優(yōu)化現(xiàn)有數(shù)據(jù)處理流程，釋放人力資源。

首先，針對第一條件。由于為了保證衛(wèi)星數(shù)據(jù)在傳輸過程的完全和效率問題，通過專線獲取到的原始數(shù)據(jù)通常以*.tar.gz壓縮包為主，這一數(shù)據(jù)源對于GXL的影像導(dǎo)入是不識別的，手動解壓通常效率低下。因此利用GXL二次開發(fā)，設(shè)計“原始影像解壓縮”功能來解決以上問題。依據(jù)1.2節(jié)所述，分別在模型端完成衛(wèi)星數(shù)據(jù)解壓縮核心功能； 在視圖端設(shè)計輸入輸出路徑(即，影像輸出文件夾與解壓結(jié)果文件夾選項框)； 在控制器端完成算法注冊，同時實現(xiàn)多節(jié)點并行運行，控制每個計算節(jié)點執(zhí)行10個子任務(wù)，圖7顯示了“原始影像解壓縮”功能模塊開發(fā)在MCV模式下的開發(fā)情況。

圖7 “原始影像解壓縮”MCV開發(fā)圖

其次，為了避免在業(yè)務(wù)化生產(chǎn)過程中由于原始數(shù)據(jù)不完整造成最后成果的不完整而導(dǎo)致大批量的返工操作，針對第二個條件，設(shè)計“影像完整性”二次開發(fā)模塊完成現(xiàn)有國產(chǎn)衛(wèi)星傳感器在產(chǎn)品號相同的情況下缺失全色與多光譜配對的不完整數(shù)據(jù)，此功能在“影像導(dǎo)入”模塊之前，在“原始影像解壓縮”模塊之后，流程為： 通過對衛(wèi)星文件列表分析，依據(jù)原始數(shù)據(jù)產(chǎn)品ID進行關(guān)鍵字檢索，并按表2中所描述的影像完整性進行分析差別，查找到缺失的原始數(shù)據(jù)。依據(jù)MVC設(shè)計開發(fā)原則，該功能在模型端進行實現(xiàn)，而在視圖端設(shè)計文件夾輸入和日志文件輸出界面框，而在控制器端完成算法和界面代碼的注冊。具體流程如圖8所示。

表2 原始數(shù)據(jù)完整性描述

圖8 “影像完整性檢查”Model 設(shè)計

再次，針對GXL正射生產(chǎn)的成果，由于GXL系統(tǒng)不能滿足業(yè)務(wù)需求，即： ①配套生產(chǎn)出影像產(chǎn)品的xml描述文件、影像產(chǎn)品的矢量范圍(shapefile格式)、影像快視圖、拇指圖、產(chǎn)品檢驗報告文件(*.pdf)； ②正射產(chǎn)品及其配套文件名需按照“產(chǎn)品等級_衛(wèi)星名稱_時相_產(chǎn)品號_傳感器名稱_量化等級_任務(wù)單號_標識號”重新命名，并以一景一個文件夾的結(jié)果整理。因此分別設(shè)計GXL二次開發(fā)5個功能模塊(表3)： “大范圍基礎(chǔ)數(shù)據(jù)快速索引和解析”、“成果元數(shù)據(jù)生成”、“質(zhì)檢報告生成”、“成果歸檔預(yù)處理”、“成果歸檔”。5個功能模塊依次順序執(zhí)行，前3個負責(zé)完成生成正射產(chǎn)品的配套描述文件，后2個負責(zé)完成所有正射產(chǎn)品文件名的修改與整理。每個模塊同樣遵循MCV開發(fā)模式，詳細開發(fā)思路不再贅述。

表3 正射產(chǎn)品成果整理二次開發(fā)模塊說明

最后，通過GXL二次開發(fā)技術(shù)擴展系統(tǒng)內(nèi)嵌國產(chǎn)衛(wèi)星數(shù)據(jù)正射糾正處理流程，可以全程自動化處理，不再受限于上述3個限制條件，更好地滿足實際業(yè)務(wù)化生產(chǎn)需求，優(yōu)化后正射產(chǎn)品數(shù)據(jù)生產(chǎn)業(yè)務(wù)化流程如圖9所示，其中紅色為擴展的二次開發(fā)模塊，常規(guī)GXL數(shù)據(jù)處理流程見圖6。

圖9 二次開發(fā)擴展國產(chǎn)衛(wèi)星數(shù)據(jù)處理流程

2.3 實驗結(jié)果與分析

表4 原始影像解壓縮時間統(tǒng)計表

表5 影像完整性分析時間統(tǒng)計表

表6統(tǒng)計了“正射產(chǎn)品成果整理”一系列模塊(其中，M1—M5分別代表成果整理二次開發(fā)的5個模塊)在2個實驗方案運行的結(jié)果，最終形成一整套遙感影像融合成果文件集： 包含具體的融合產(chǎn)品文件和質(zhì)量生產(chǎn)檢測報告、以及對應(yīng)的地理范圍矢量文件和縮略圖，文件命名方式如2.2節(jié)中業(yè)務(wù)要求一致。

表6 正射產(chǎn)品成果整理時間統(tǒng)計表

分析以上表格數(shù)據(jù)可得出如下結(jié)論： ①由于“影像完整性分析”模塊只運行主作業(yè)模式，并沒有并行執(zhí)行，其工作效率低于直接在單機上運行該程序算法(表5)，這是由于GXL集群式消息傳遞服務(wù)所致，即使只運行一個主節(jié)點作業(yè)，也避免不了各節(jié)點之間的通信與消息傳遞，從而降低了運行效率； ②二次開發(fā)模塊在集群環(huán)境下運行效率高于單次執(zhí)行(表4和表6)，表明利用GXL二次開發(fā)功能可充分調(diào)用集群平臺資源，將二次開發(fā)算法分布式部署，提高執(zhí)行效率； ③二次開發(fā)模塊可以和原GXL內(nèi)嵌模塊鏈式執(zhí)行可定制流程設(shè)計，操作靈活，簡便快捷，更適合大規(guī)模的數(shù)據(jù)處理。

為了統(tǒng)一比較，將二次開發(fā)模塊所運行時間的總和統(tǒng)計于表7，圖10為其可視化結(jié)果。圖表表明，GXL二次開發(fā)雖然有部分模塊會降低執(zhí)行效率，但卻增加了操作的簡便性，使處理流程更加完整。而從整體來看，GXL的二次開發(fā)對國產(chǎn)衛(wèi)星數(shù)據(jù)處理可充分發(fā)揮集群式電腦優(yōu)勢，執(zhí)行效率得到了較好的優(yōu)化(加速比16.48)，同時結(jié)果和人工交互的一致。所以GXL二次開發(fā)對國產(chǎn)衛(wèi)星數(shù)據(jù)處理流程不僅使用業(yè)務(wù)化流程更加優(yōu)化，還可充分利用集群計算資源，提高數(shù)據(jù)處理效率。

表7 二次開發(fā)與常規(guī)處理流程時間統(tǒng)計表

圖10 二次開發(fā)中各模塊運行效率比對圖

3 結(jié)論

本文通過從GXL軟件架構(gòu)框架MCV模式入手，重點分析基于MCV的二次開發(fā)方法，并結(jié)合國產(chǎn)衛(wèi)星數(shù)據(jù)處理流程及其業(yè)務(wù)化運行中的受限條件，擴展性開發(fā)“原始影像解壓縮”、“影像完整性分析”和“正射產(chǎn)品成果整理”功能模塊，嵌入并改進現(xiàn)有數(shù)據(jù)處理流程，通過實驗分別統(tǒng)計基于GXL二次開發(fā)改進的流程與原流程的運行效率。結(jié)果表明：

1)基于MCV模式的GXL二次開發(fā)可有效利用集群計算資源，充分提高了新開發(fā)功能模塊的運行效率。

2)利用GXL二次開發(fā)優(yōu)化后的國產(chǎn)衛(wèi)星數(shù)據(jù)處理流程，不僅自動化程度高，而且在相同工作量的情況下，整個流程具有更高的處理效率。

本文研究的范圍是基于MCV模式下的GXL二次開發(fā)方法，需要考慮3個層次的程序編寫擴展，具有一定的復(fù)雜性。GXL是以作業(yè)為管理核心的調(diào)度平臺，同時也開放了針對作業(yè)管理服務(wù)器JPS的調(diào)用接口，具有開發(fā)力度小、維護成本低等優(yōu)勢，未來可考慮兩者結(jié)合式開發(fā)模式，預(yù)期既可以靈活擴展GXL功能，又可降低開發(fā)成本，更好地滿足國產(chǎn)衛(wèi)星數(shù)據(jù)處理的業(yè)務(wù)需求。