數(shù)據(jù)密集型計(jì)算的遙感圖像預(yù)處理方法①

周 兵, 劉曉楠,, 臧文乾, 陳 恒,(河南大學(xué) 計(jì)算機(jī)與信息工程學(xué)院, 開(kāi)封 47500)(中國(guó)科學(xué)院遙感與數(shù)字地球研究所, 北京 000)

數(shù)據(jù)密集型計(jì)算的遙感圖像預(yù)處理方法①

周 兵1, 劉曉楠1,2, 臧文乾2, 陳 恒1,21(河南大學(xué) 計(jì)算機(jī)與信息工程學(xué)院, 開(kāi)封 475001)2(中國(guó)科學(xué)院遙感與數(shù)字地球研究所, 北京 100101)

針對(duì)大數(shù)據(jù)時(shí)代, 數(shù)據(jù)密集型計(jì)算已經(jīng)成為國(guó)內(nèi)外的一個(gè)研究熱點(diǎn). 遙感數(shù)據(jù)具有多源化、海量化特點(diǎn),是名副其實(shí)的大數(shù)據(jù). 研究適用于遙感影像自動(dòng)化、業(yè)務(wù)化處理的數(shù)據(jù)密集型計(jì)算方法, 是目前遙感應(yīng)用技術(shù)面臨的挑戰(zhàn)所面臨的挑戰(zhàn), 本文提出了一種基于數(shù)據(jù)密集型計(jì)算的遙感圖像處理方法. 在文中, 首先圍繞遙感數(shù)據(jù)自動(dòng)化、業(yè)務(wù)化預(yù)處理等問(wèn)題, 深入調(diào)查和分析了國(guó)內(nèi)外研究現(xiàn)狀, 進(jìn)而介紹了系統(tǒng)體系結(jié)構(gòu), 通過(guò)工作流靈活組織多種算法模型協(xié)同工作, 設(shè)計(jì)以“5并行1加速”的計(jì)算體系解決數(shù)據(jù)密集型的遙感圖像預(yù)處理, 并通過(guò)產(chǎn)品生產(chǎn)實(shí)例對(duì)其性能進(jìn)行測(cè)試. 結(jié)果表明, 該系統(tǒng)在保證處理精度的前提下, 大大提高了遙感大數(shù)據(jù)預(yù)處理的效率.

遙感數(shù)據(jù); 遙感預(yù)處理; 數(shù)據(jù)密集型計(jì)算; 并行計(jì)算; 5并行1加速; 工作流

隨著航空與遙感技術(shù)的不斷發(fā)展, 遙感數(shù)據(jù)正在以太比特級(jí)(TB)速度增長(zhǎng), 數(shù)據(jù)的處理環(huán)節(jié)速度卻普遍緩慢, 現(xiàn)有的人工作業(yè)方式的時(shí)效性已經(jīng)不能滿(mǎn)足日?？蒲泻蜕a(chǎn)活動(dòng)的要求[1]. 由于遙感衛(wèi)星上的傳感器種類(lèi)眾多, 各類(lèi)型數(shù)據(jù)處理的算法不同, 進(jìn)行大尺度范圍、長(zhǎng)時(shí)間序列的數(shù)據(jù)密集型計(jì)算[2]特性日漸凸顯, 因此通過(guò)獨(dú)立于數(shù)據(jù)處理的流程來(lái)組合算法減少系統(tǒng)復(fù)雜度成為了當(dāng)下研究的熱點(diǎn)問(wèn)題.

商用軟件存在操作方法各異、參數(shù)設(shè)置復(fù)雜等問(wèn)題,而且涉及幾何處理上欠缺自動(dòng)化批量處理的模式[3]. 針對(duì)這些問(wèn)題遙感數(shù)據(jù)處理需要設(shè)計(jì)出一個(gè)可靠的半自動(dòng)生產(chǎn)模型并在保證精確度的同時(shí)提高處理的效率.國(guó)內(nèi)外一些學(xué)者對(duì)于這些問(wèn)題也做了一定研究, 如文獻(xiàn)[4]提出一種帶幾何約束的大幅面自動(dòng)快速配準(zhǔn)方法來(lái)提升影像處理速度. 針對(duì)海量數(shù)據(jù)的遙感圖像處理,除了提高處理效率還需要可靠、魯棒的自動(dòng)化生產(chǎn).文獻(xiàn)[5]和文獻(xiàn)[6]運(yùn)用主副版本機(jī)制有效的提高了調(diào)度算法的可靠性. 文獻(xiàn)[7]通過(guò)工作流實(shí)現(xiàn)遙感數(shù)據(jù)和處理算法的統(tǒng)一控制和管理, 以達(dá)到簡(jiǎn)化系統(tǒng)復(fù)雜度的目的. 通過(guò)工作流和有效的調(diào)度算法可以極大的提高構(gòu)件的可復(fù)用性, 更好的實(shí)現(xiàn)數(shù)據(jù)流的自動(dòng)控制.文獻(xiàn)[8]和文獻(xiàn)[9]通過(guò)GPU-CPU協(xié)同模式為算法的性能提高和遙感影像處理系統(tǒng)構(gòu)建提供了高效的解決方案, 充分發(fā)揮單機(jī)環(huán)境下不同硬件資源的計(jì)算優(yōu)勢(shì).文獻(xiàn)[10]通過(guò)最大值似然分類(lèi)算法驗(yàn)證基于云計(jì)算可以實(shí)現(xiàn)遙感圖像的快速處理. 文獻(xiàn)[11]將數(shù)據(jù)、功能、任務(wù)并行融合到遙感生產(chǎn)中, 形成三級(jí)并行的設(shè)計(jì)方案有效的提高業(yè)務(wù)化處理的效率.

結(jié)合目前的研究現(xiàn)狀, 本文設(shè)計(jì)的遙感預(yù)處理系統(tǒng)根據(jù)定量化應(yīng)用需求, 利用0-2級(jí)產(chǎn)品進(jìn)行幾何和光譜精化校正獲得基礎(chǔ)標(biāo)準(zhǔn)信息產(chǎn)品. 針對(duì)遙感影像數(shù)據(jù)量大、涵蓋信息多、處理模型復(fù)雜、處理時(shí)間長(zhǎng)等問(wèn)題, 采用靈活的工作流模式組織幾何糾正、云檢測(cè)、大氣糾正、融合、數(shù)據(jù)標(biāo)準(zhǔn)化等多種算法模型形成全鏈路處理系統(tǒng), 并實(shí)現(xiàn)結(jié)構(gòu)簡(jiǎn)單具備通用性、可擴(kuò)展性的處理架構(gòu), 結(jié)合多種并行方式來(lái)縮短遙感影像處理的生產(chǎn)時(shí)間, 實(shí)現(xiàn)遙感數(shù)據(jù)的業(yè)務(wù)化生產(chǎn).

1 系統(tǒng)的體系結(jié)構(gòu)

本系統(tǒng)針對(duì)遙感產(chǎn)品的生產(chǎn)需求和遙感數(shù)據(jù)量大、數(shù)據(jù)類(lèi)型復(fù)雜的特點(diǎn), 結(jié)合多種并行方式縮短遙感數(shù)據(jù)的生產(chǎn)時(shí)間, 利用生產(chǎn)節(jié)點(diǎn)、分布式數(shù)據(jù)庫(kù)構(gòu)成高速計(jì)算環(huán)境, 通過(guò)資源的合理配置有效的組織多種模型協(xié)同工作, 系統(tǒng)體系結(jié)構(gòu)如圖1所示.

(1) 人機(jī)交互層的主要作用是由任務(wù)訂單推送得到要處理的原始數(shù)據(jù); 然后針對(duì)不同類(lèi)型的數(shù)據(jù)調(diào)用不同的算法進(jìn)行處理, 按照訂單需求定制合理的工作流進(jìn)行數(shù)據(jù)生產(chǎn); 最后將結(jié)果和分析以可視化的方式呈現(xiàn)并提供質(zhì)量檢測(cè)查看數(shù)據(jù)精度.

(2) 通訊層主要包括各生產(chǎn)節(jié)點(diǎn)之間的數(shù)據(jù)和消息傳輸, 服務(wù)于自動(dòng)配準(zhǔn)的瓦片獲取和將處理好的產(chǎn)品數(shù)據(jù)入庫(kù).

(3) 基礎(chǔ)算法層集成了大量的算法模型, 解決不同遙感數(shù)據(jù)在具體問(wèn)題上的分析計(jì)算, 通過(guò)工作流實(shí)現(xiàn)算法模型的統(tǒng)一管理和調(diào)用觸發(fā).

圖1 系統(tǒng)總體框圖

2 系統(tǒng)架構(gòu)設(shè)計(jì)

系統(tǒng)的工作核心是生產(chǎn)多源定量遙感產(chǎn)品, 通過(guò)任務(wù)推送和本地文件獲得要處理的數(shù)據(jù)集, 以工作流形式組織管理多種算法模型, 支持協(xié)同處理過(guò)程中的順序、異步和并行等多種業(yè)務(wù)流程與批處理等工作模式, 通過(guò)XML記錄算法模型、業(yè)務(wù)流程和數(shù)據(jù)等信息并對(duì)生產(chǎn)過(guò)程進(jìn)行監(jiān)控.

2.1 算法模型的組織管理

遙感觀測(cè)數(shù)據(jù)通過(guò)遙感算法模型與地表目標(biāo)參數(shù)聯(lián)系起來(lái), 遙感數(shù)據(jù)的生產(chǎn)過(guò)程是一系列包含大量計(jì)算的復(fù)雜過(guò)程, 將這個(gè)復(fù)雜過(guò)程分解為多個(gè)環(huán)節(jié)處理, 每個(gè)處理環(huán)節(jié)對(duì)應(yīng)于具體的遙感算法模型, 將這些算法模型集成起來(lái)協(xié)同完成整個(gè)處理來(lái)解決定量遙感生產(chǎn)問(wèn)題.

由于模塊眾多、參數(shù)復(fù)雜等問(wèn)題, 為了處理不同的任務(wù)往往需要對(duì)算法進(jìn)行靈活組合, 進(jìn)而形成自適應(yīng)的工作流程. 將業(yè)務(wù)過(guò)程按照預(yù)先設(shè)定的規(guī)則借助應(yīng)用程序和操作人員對(duì)相關(guān)數(shù)據(jù)的處理形成的工作流模式, 正適應(yīng)于這種多模塊多種參數(shù)調(diào)節(jié)的批量數(shù)據(jù)業(yè)務(wù)化生產(chǎn). 將算法統(tǒng)一編譯為基于命令行的無(wú)GUI信息的控制臺(tái)程序, 系統(tǒng)通過(guò)插件模式, 動(dòng)態(tài)組織、加載現(xiàn)有的算法模型, 并將輸入輸出參數(shù)以及運(yùn)行所依賴(lài)的庫(kù)文件等信息以XML文件的形式保存起來(lái), 以便進(jìn)行參數(shù)校驗(yàn)和異常處理. 將算法模型按照一定的邏輯功能順序有機(jī)的組合成階段性任務(wù), 根據(jù)需求設(shè)置配置文件定制相應(yīng)的業(yè)務(wù)生產(chǎn)流程, 執(zhí)行時(shí)解析模型屬性類(lèi)實(shí)現(xiàn)模型和數(shù)據(jù)交換. 如圖2所示, 以工作流[12]模式來(lái)組合算法模型能更好的解決業(yè)務(wù)化中模塊多、算法重復(fù)使用、開(kāi)發(fā)和維護(hù)成本高等問(wèn)題, 實(shí)現(xiàn)將業(yè)務(wù)邏輯和實(shí)際應(yīng)用分離, 更好的適應(yīng)遙感數(shù)據(jù)處理的快速變化.

圖2 工作流組織管理算法模型

2.2 工作流程

由于遙感圖像成圖時(shí)受傳感器、地球旋轉(zhuǎn)、大氣等因素影響, 圖像與其對(duì)應(yīng)地物的實(shí)際信息會(huì)產(chǎn)生一定的偏差. 為了糾正這些偏差本系統(tǒng)以模型庫(kù)和任務(wù)流方式, 集成了圖像配準(zhǔn)、幾何糾正、大氣糾正、融合、云檢測(cè)、信息統(tǒng)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)化和快視圖等多種處理模型應(yīng)用于遙感大數(shù)據(jù)密集型預(yù)處理計(jì)算工作流程如圖3所示. 圖像配準(zhǔn)主要根據(jù)底圖與配準(zhǔn)影像的特征地物來(lái)保證圖像位置的正確性, 通過(guò)原始影像經(jīng)緯度范圍按照?qǐng)D像分辨率經(jīng)過(guò)公式轉(zhuǎn)換成對(duì)應(yīng)的層級(jí)和行列號(hào)范圍, 通過(guò)Web Service服務(wù)從數(shù)據(jù)庫(kù)中檢索瓦片并下載到本地, 將獲取的瓦片數(shù)據(jù)拼接為區(qū)域一致的基準(zhǔn)影像經(jīng)過(guò)HARRIS或SIFT算法自動(dòng)提取控制點(diǎn). 訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)獲取基準(zhǔn)圖像動(dòng)態(tài)提取控制點(diǎn)的方法省去了人工采集的繁瑣; 基準(zhǔn)圖像存儲(chǔ)在分布式的數(shù)據(jù)庫(kù)中節(jié)省本地存儲(chǔ)空間提高系統(tǒng)可移植性; 基準(zhǔn)影像的數(shù)據(jù)類(lèi)型可按照生產(chǎn)需要進(jìn)行調(diào)整進(jìn)一步提高配準(zhǔn)精度.

經(jīng)緯度轉(zhuǎn)換行列號(hào)公式為:

其中某個(gè)點(diǎn)的經(jīng)緯度坐標(biāo)為(Long, Lat), Z為影像層級(jí)x瓦片分割間隔度數(shù)的倒數(shù), floor為下取整函數(shù).

幾何糾正模塊主要通過(guò)有理函數(shù)模型或多項(xiàng)式模型來(lái)消除影像中的幾何誤差. 有理函數(shù)模型根據(jù)原始影像的RPC參數(shù), 通過(guò)最小二階乘法求解RPC參數(shù)結(jié)合嶺估計(jì)[13]實(shí)現(xiàn)函數(shù)模型糾正. 多項(xiàng)式模型不考慮成像空間幾何過(guò)程, 直接對(duì)影像變形本身進(jìn)行數(shù)學(xué)模擬,計(jì)算中的待定系數(shù)由控制點(diǎn)坐標(biāo)確定. 根據(jù)幾何糾正模型中不同模塊的數(shù)據(jù)依賴(lài)關(guān)系, 在模型調(diào)用前根據(jù)生產(chǎn)要求結(jié)合文件檢測(cè)自動(dòng)匹配合適的糾正模型進(jìn)行處理. 融合模塊利用全色的高分辨率和多光譜的波普信息進(jìn)行融合獲得比單一數(shù)據(jù)更豐富的信息. 目前僅對(duì)高分一號(hào)2m全色和8m多光譜以及高分二號(hào)1m全色和4m多光譜進(jìn)行融合, 其它數(shù)據(jù)類(lèi)型則不做融合處理. 針對(duì)這種情況采用條件觸發(fā)方式調(diào)用, 根據(jù)衛(wèi)星和傳感器判斷數(shù)據(jù)類(lèi)型, 對(duì)滿(mǎn)足條件的數(shù)據(jù)檢索模型參數(shù)是否存在即幾何糾正后的多光譜及全色數(shù)據(jù),參數(shù)檢測(cè)正常則進(jìn)行融合處理.

標(biāo)準(zhǔn)化模塊將糾正后的數(shù)據(jù)按照五層十五級(jí)標(biāo)準(zhǔn)[14]進(jìn)行切分, 切分后的數(shù)據(jù)可以快速聚合實(shí)現(xiàn)了靈活的管理調(diào)度服務(wù)于并行計(jì)算. 工作流在執(zhí)行過(guò)程中進(jìn)行過(guò)程控制, 通過(guò)Log類(lèi)監(jiān)控每個(gè)任務(wù)標(biāo)記其屬性并輸出日志文件記錄主任務(wù)時(shí)間和算法模型執(zhí)行時(shí)間以及錯(cuò)誤信息, 通過(guò)時(shí)間和異常信息判斷模型的調(diào)用情況.根據(jù)模型間的邏輯關(guān)系建立的工作流既能滿(mǎn)足算法模型的靈活組織管理, 又能服務(wù)于業(yè)務(wù)化生產(chǎn)減少人工操作更好的應(yīng)用于數(shù)據(jù)密集型計(jì)算.

3 “5并行1加速”計(jì)算體系

遙感數(shù)據(jù)呈現(xiàn)出的多時(shí)相、多光譜、多分辨率和多傳感器等現(xiàn)狀形成了數(shù)據(jù)量大且類(lèi)型各異的特點(diǎn).遙感數(shù)據(jù)的處理是一個(gè)復(fù)雜的過(guò)程涉及處理器硬件、磁盤(pán)存儲(chǔ)、算法模塊、網(wǎng)絡(luò)通信等一系列因素. 處理環(huán)節(jié)中除了將算法模型進(jìn)行合理的組織管理, 還需要提高數(shù)據(jù)的處理效率. 在業(yè)務(wù)化的處理時(shí)根據(jù)數(shù)據(jù)量將數(shù)據(jù)按生產(chǎn)訂單進(jìn)行劃分, 分布到多機(jī)環(huán)境下進(jìn)行同步處理縮短生產(chǎn)時(shí)間. 在生產(chǎn)節(jié)點(diǎn)按時(shí)間和優(yōu)先級(jí)結(jié)合的方式處理任務(wù)上結(jié)合算法模型間的邏輯關(guān)系并行處理數(shù)據(jù)提高CPU利用率. 針對(duì)一景遙感影像數(shù)據(jù)量很大無(wú)法全部讀入計(jì)算機(jī)內(nèi)存的現(xiàn)象, 通過(guò)對(duì)數(shù)據(jù)分區(qū)分塊, 利用GPU在圖形圖像上的處理優(yōu)勢(shì)在算法中進(jìn)行加速. 待一景遙感數(shù)據(jù)分為較小圖像后可以通過(guò)多線(xiàn)程將不同數(shù)據(jù)塊同時(shí)處理. 形成結(jié)合多機(jī)并行、任務(wù)并行、數(shù)據(jù)并行、算法并行、多線(xiàn)程并行和GPU加速的“5并行1加速”的計(jì)算體系, 結(jié)構(gòu)體系如圖3所示.

圖3 系統(tǒng)工作流程圖

圖4 “5并行1加速”結(jié)構(gòu)體系圖

3.1 多機(jī)并行

多機(jī)并行是一組計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)連接部署相同的處理環(huán)境使其能協(xié)作完成計(jì)算工作. 每臺(tái)參與計(jì)算的計(jì)算機(jī)都是一個(gè)生產(chǎn)節(jié)點(diǎn), 負(fù)責(zé)一部分任務(wù)的執(zhí)行處理. 在接收到產(chǎn)品生產(chǎn)訂單后分給調(diào)度服務(wù)器進(jìn)行任務(wù)分配, 多機(jī)環(huán)境下要充分考慮節(jié)點(diǎn)的負(fù)載通過(guò)任務(wù)分配進(jìn)行調(diào)度, 節(jié)點(diǎn)的生產(chǎn)能力主要取決于當(dāng)前的可用內(nèi)存、CPU利用率、磁盤(pán)讀寫(xiě)速度、網(wǎng)絡(luò)帶寬, 綜合這四方面性能指標(biāo)通過(guò)公式分析節(jié)點(diǎn)生產(chǎn)能力值Pi,對(duì)Pi值高的節(jié)點(diǎn)優(yōu)先分配任務(wù), 實(shí)現(xiàn)滿(mǎn)足節(jié)點(diǎn)負(fù)載均衡的多機(jī)計(jì)算環(huán)境.

其中Mi、Ci、Di、Ni表示第i個(gè)節(jié)點(diǎn)的可用內(nèi)存、CPU利用率、磁盤(pán)讀寫(xiě)速度及網(wǎng)絡(luò)帶寬, Mmax、Cmax、Dmax、Nmax分別對(duì)應(yīng)四個(gè)方面上的最大值, W1、W2、W3、W4為四個(gè)指標(biāo)的權(quán)重系數(shù), 且W1+W2+ W3+W4=1, 根據(jù)節(jié)點(diǎn)即要滿(mǎn)足數(shù)據(jù)傳輸又要處理密集型計(jì)算, 這里設(shè)置w值均為0.25.

在任務(wù)分配服務(wù)器上存有生產(chǎn)訂單Dready、等待訂單Dwait用于分配任務(wù), 空閑隊(duì)列Nspare和忙碌Nbusy隊(duì)列用于調(diào)度節(jié)點(diǎn). 任務(wù)訂單信息D(D1,D2,…,Di)其中Di為訂單編號(hào), 節(jié)點(diǎn)隊(duì)列信息N (Node1, Node2,…,Nodei),其中 Nodei(Mi,Ci,Di,Ni,Pi,Numi) 存儲(chǔ)節(jié)點(diǎn)的基本信息信息, 其中Numi為節(jié)點(diǎn)i的當(dāng)前任務(wù)數(shù).

對(duì)節(jié)點(diǎn)進(jìn)行任務(wù)分配方法如下:

(1) 任務(wù)調(diào)度解析訂單信息, 對(duì)任務(wù)編號(hào)形成子任務(wù)并放入Dwait.

(2) 判斷Nspare是否為空, 不為空則根據(jù)節(jié)點(diǎn)Pi值對(duì)節(jié)點(diǎn)空閑隊(duì)列排序, 對(duì)Pi值相等的節(jié)點(diǎn)按Numi值排序, 從Dwait中移出子任務(wù)加入Dready并分配生產(chǎn)節(jié)點(diǎn),同時(shí)把生產(chǎn)節(jié)點(diǎn)從Nspare中移出存入Nbusy; Nspare為空則繼續(xù)等待.

(3) 收到子任務(wù)生產(chǎn)完成消息時(shí), 將子任務(wù)從Dready中移除, 并將生產(chǎn)節(jié)點(diǎn)從Nbusy中刪除, 加入Nspare.

(4) 判斷Dwait是否為空, 不為空?qǐng)?zhí)行(2), 為空則執(zhí)行(5).

(5) 判斷Dready是否為空, 不為空則任務(wù)沒(méi)有執(zhí)行完等待, 等待直到有子任務(wù)生產(chǎn)完成即第3步; 為空則任務(wù)生產(chǎn)結(jié)束執(zhí)行結(jié)束.

3.2 任務(wù)并行

在完成任務(wù)分配后任務(wù)訂單被分配到生產(chǎn)節(jié)點(diǎn)上,分解產(chǎn)品訂單生成任務(wù), 由于遙感數(shù)據(jù)處理時(shí)間長(zhǎng)、耦合高將任務(wù)根據(jù)類(lèi)別分為普通任務(wù)隊(duì)列Tcom(T1,T2,…Ti)和應(yīng)急任務(wù)隊(duì)列Temer(T1,T2,…Ti)Ti為任務(wù)編號(hào), 任務(wù)隊(duì)列基于FIFO先來(lái)先服務(wù)策略按任務(wù)到達(dá)時(shí)間順序執(zhí)行, 在每個(gè)任務(wù)執(zhí)行前會(huì)先判斷Temer是否為空, 是則繼續(xù)Tcom隊(duì)列按順序生產(chǎn), 否則結(jié)合基于優(yōu)先級(jí)的調(diào)度算法, 暫停Tcom隊(duì)列出隊(duì)生產(chǎn)Temer中數(shù)據(jù)直到結(jié)束后繼續(xù)Tcom. 將任務(wù)按照優(yōu)先級(jí)和時(shí)間戳屬性進(jìn)行劃分通過(guò)任務(wù)隊(duì)列的協(xié)同處理模式提高生產(chǎn)效率.

3.3 數(shù)據(jù)并行

數(shù)據(jù)并行分為數(shù)據(jù)傳輸上的并行和數(shù)據(jù)計(jì)算上的并行. 數(shù)據(jù)傳輸上的并行主要通過(guò)將數(shù)據(jù)分發(fā)到多個(gè)生產(chǎn)節(jié)點(diǎn)進(jìn)行同時(shí)生產(chǎn), 數(shù)據(jù)計(jì)算上的并行主要在單機(jī)環(huán)境下對(duì)工作流引擎執(zhí)行過(guò)程中產(chǎn)生的中間數(shù)據(jù)集進(jìn)行并行計(jì)算, 這些數(shù)據(jù)一般會(huì)繼續(xù)被后續(xù)子任務(wù)使用, 數(shù)據(jù)放置在相關(guān)度[15]最大的數(shù)據(jù)中心減少不必要的傳輸開(kāi)銷(xiāo). 相對(duì)像素級(jí)的并行處理來(lái)說(shuō), 其數(shù)據(jù)之間相關(guān)性較小, 不同的數(shù)據(jù)塊可能需要執(zhí)行相同的操作. 通過(guò)線(xiàn)程各自讀取分配的影像, 每個(gè)數(shù)據(jù)獨(dú)立完成其計(jì)算任務(wù). 例如在一景影像分波段后得到紅綠藍(lán)波段和紅外波段, 通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)化算法分別開(kāi)設(shè)線(xiàn)程對(duì)四個(gè)波段的圖像同時(shí)執(zhí)行切片操作得到瓦片數(shù)據(jù).融合后的切片數(shù)據(jù)量多達(dá)上百個(gè), 在大量瓦片數(shù)據(jù)生成快視圖時(shí)按順序操作處理時(shí)間長(zhǎng), 需要對(duì)不同行列號(hào)下的數(shù)據(jù)同時(shí)生產(chǎn)提高效率.

3.4 算法并行

算法并行在工作流中結(jié)合算法參數(shù)信息, 調(diào)用多個(gè)算法模型同時(shí)處理. 下一級(jí)算法之間共享數(shù)據(jù)的讀取, 不同算法輸出不同的結(jié)果防止寫(xiě)入沖突, 處理完成后的結(jié)果由上級(jí)算法使用. 遙感產(chǎn)品生產(chǎn)的依賴(lài)關(guān)系不容易形成回路依賴(lài), 通過(guò)有向無(wú)環(huán)圖的算法描述結(jié)構(gòu)分析算法之間的依賴(lài)關(guān)系進(jìn)一步并行提高效率.如圖5所示云檢測(cè)、天頂角方位角(AZ)、和融合主要依賴(lài)于幾何糾正后的數(shù)據(jù), 在幾何糾正完成后通過(guò)共享數(shù)據(jù)讀取的方式并行啟動(dòng)上一級(jí)算法. 由于遙感數(shù)據(jù)存在部分需要做融合處理, 所以將分波段算法放入更高級(jí)等待當(dāng)前算法均完成處理后啟動(dòng). 生成快視圖需要Alpha通道和分波段后的影像數(shù)據(jù)做波段組合,位于同一并行級(jí)別的生成Alpha通道算法和分波段算法則可并行生產(chǎn)獲得快視圖產(chǎn)品.

圖5 算法依賴(lài)關(guān)系描述圖

3.5 多線(xiàn)程并行

大數(shù)據(jù)量的遙感數(shù)據(jù)由于一次只能讀取一部分?jǐn)?shù)據(jù)造成磁盤(pán)訪(fǎng)問(wèn)頻繁, 等待過(guò)程未充分利用CPU資源.系統(tǒng)對(duì)整景影像在單個(gè)計(jì)算節(jié)點(diǎn)上通過(guò)OpenMP進(jìn)行多線(xiàn)程加速, 在切片處理后形成數(shù)據(jù)個(gè)數(shù)多而數(shù)據(jù)量小的瓦片數(shù)據(jù), 通過(guò)Parallel類(lèi)中的方法生成并行工作計(jì)劃處理數(shù)據(jù)集中數(shù)據(jù). 根據(jù)IOCP原理線(xiàn)程開(kāi)設(shè)應(yīng)為CPU數(shù)量的2倍, 然而處理中有大量讀寫(xiě)硬盤(pán)文件的操作造成線(xiàn)程等待, 這里使用動(dòng)態(tài)創(chuàng)建線(xiàn)程法, 保留一個(gè)等待線(xiàn)程數(shù)量的屬性作為線(xiàn)程喚醒時(shí)的判斷,并設(shè)置其值為最大線(xiàn)程數(shù)量, 以此提高CPU的利用率進(jìn)而提高生產(chǎn)效率. 主要流程為: 讀取圖像寬高或個(gè)數(shù)等圖像信息; 動(dòng)態(tài)創(chuàng)建線(xiàn)程完成數(shù)據(jù)處理修改等待線(xiàn)程數(shù)量的值防止創(chuàng)建過(guò)多; 查詢(xún)線(xiàn)程狀態(tài)標(biāo)識(shí)已處理完則釋放結(jié)束操作, 否則繼續(xù)等待.

3.6 GPU加速

GPU的全稱(chēng)是圖形處理器, 適用于具有相似處理過(guò)程的大數(shù)據(jù)的并行計(jì)算. 在遙感影像數(shù)據(jù)的計(jì)算上, GPU的性能是基于CPU的并行計(jì)算方式的數(shù)十倍甚至上百倍. 這主要是由于CPU所要處理的任務(wù)種類(lèi)類(lèi)型繁多, 其不僅要負(fù)責(zé)內(nèi)存管理還要負(fù)責(zé)任務(wù)調(diào)度等一系列非計(jì)算類(lèi)任務(wù), 通過(guò)OpenMP等多線(xiàn)程機(jī)制實(shí)現(xiàn)的是一種軟件粗粒度的多線(xiàn)程, 有線(xiàn)程上下文的切換的時(shí)間開(kāi)銷(xiāo). 而GPU則是專(zhuān)門(mén)為數(shù)據(jù)的并行計(jì)算而設(shè)計(jì)的, 其內(nèi)部沒(méi)有CPU那樣復(fù)雜的控制單元和寄存器, 取而代之的是大量的計(jì)算核心, 并且基于硬件管理的輕量級(jí)線(xiàn)程在計(jì)算密度較高可以隱藏其延遲從而實(shí)現(xiàn)零開(kāi)銷(xiāo)的線(xiàn)程切換. 這些差異使GPU在執(zhí)行數(shù)據(jù)密集型計(jì)算時(shí)性能遠(yuǎn)超過(guò)同期CPU. 系統(tǒng)中用于控制點(diǎn)提取的SIFT算法, 用于圖像融合的atrous小波、HIS等多種算法都是通過(guò)CUDA的GPU計(jì)算框架實(shí)現(xiàn)的.

由于遙感影像的數(shù)據(jù)量較大, GPU的可用顯存有可能不足以加載整景的遙感數(shù)據(jù), 所以需要對(duì)遙感數(shù)據(jù)進(jìn)行分片. 但是顯存的讀取操作是經(jīng)過(guò)PCI Express接口傳輸?shù)? 顯存與內(nèi)存之間的傳輸效率很低, 因此分片不能過(guò)小, 過(guò)小的話(huà)會(huì)導(dǎo)致頻繁的數(shù)據(jù)交互從而嚴(yán)重的降低運(yùn)算效率. 分片的過(guò)程主要是根據(jù)GPU當(dāng)前的可用顯存結(jié)合遙感影像的寬度將原始影像劃分為n個(gè)條帶狀的影像塊, 該步驟的計(jì)算量小并且需要持久化分塊信息因此需要在CPU上運(yùn)行.當(dāng)計(jì)算出影像塊的行列號(hào)范圍后, 在CPU的調(diào)度下影像塊被依次傳輸至GPU中進(jìn)行計(jì)算. 傳輸完成后CPU會(huì)通知GPU調(diào)用相應(yīng)的內(nèi)核函數(shù)對(duì)顯存中的數(shù)據(jù)進(jìn)行并行計(jì)算. 內(nèi)核函數(shù)會(huì)調(diào)用GPU中的多個(gè)處理單元, 每個(gè)處理單元可以看作一個(gè)計(jì)算線(xiàn)程. 每個(gè)線(xiàn)程負(fù)責(zé)一部分?jǐn)?shù)據(jù)的計(jì)算, 由于各個(gè)數(shù)據(jù)之間沒(méi)有依賴(lài)關(guān)系因此各個(gè)線(xiàn)程可以在不受其他線(xiàn)程影響的情況下對(duì)數(shù)據(jù)進(jìn)行計(jì)算. 在線(xiàn)程的運(yùn)算完成時(shí), 運(yùn)算結(jié)果會(huì)被暫存在顯存中, 當(dāng)所有的線(xiàn)程都完成計(jì)算的時(shí)候喚醒CPU, 然后在CPU的調(diào)度下將計(jì)算結(jié)果從顯存重新傳輸?shù)絻?nèi)存中.

4 系統(tǒng)性能分析

為了驗(yàn)證預(yù)處理系統(tǒng)在保證處理精度的同時(shí)能有效的縮短生產(chǎn)時(shí)間, 本文通過(guò)對(duì)不同類(lèi)型的高分?jǐn)?shù)據(jù)進(jìn)行實(shí)驗(yàn), 從并行后的算法執(zhí)行時(shí)間、多景影像處理時(shí)間和模型精度三個(gè)方面說(shuō)明. 實(shí)驗(yàn)中用到的CPU型號(hào)為Intel Core i7 4核處理器, 顯卡型號(hào)為NVIDIA Tesla C2050.

表1為算法模型的執(zhí)行時(shí)間表, 表中的數(shù)據(jù)是通過(guò)對(duì)GF數(shù)據(jù)不同類(lèi)型的5景數(shù)據(jù)多次測(cè)試取平均值得到的. 實(shí)驗(yàn)中用到的全色數(shù)據(jù)均指融合后的圖像,通過(guò)表中數(shù)據(jù)可以看出數(shù)據(jù)標(biāo)準(zhǔn)化和快視圖生成這兩個(gè)算法模塊通過(guò)多線(xiàn)程加速能夠有效的縮短生產(chǎn)時(shí)間,大幅提升處理效率.

表1 各算法執(zhí)行時(shí)間比較

PCI GXL是用于衛(wèi)星影像數(shù)據(jù)自動(dòng)化生產(chǎn)的地理影像集成軟件系統(tǒng), 具有強(qiáng)大的海量數(shù)據(jù)批量生產(chǎn)能力, 采用靈活的模塊組合實(shí)現(xiàn)自動(dòng)化生產(chǎn), 相較于其他遙感影像處理系統(tǒng)有其獨(dú)特的優(yōu)勢(shì). 本文選取北京地區(qū)的50景高分?jǐn)?shù)據(jù)進(jìn)行數(shù)據(jù)處理實(shí)驗(yàn), 通過(guò)對(duì)比在本系統(tǒng)上和PCI GXL系統(tǒng)上的數(shù)據(jù)處理耗時(shí)來(lái)驗(yàn)證系統(tǒng)能在一定程度上縮短影像生產(chǎn)時(shí)間. 表2是每景影像在各個(gè)模塊上的平均處理時(shí)間. 從表中可以看出,本系統(tǒng)在幾何糾正和圖像融合上花費(fèi)的時(shí)間遠(yuǎn)小于PCI GXL系統(tǒng), 配準(zhǔn)時(shí)間稍長(zhǎng)的原因在于需要從數(shù)據(jù)庫(kù)中檢索瓦片下載到本地然后再拼接為基準(zhǔn)影像, 這一步驟要花費(fèi)一定時(shí)間. 經(jīng)過(guò)與商業(yè)軟件的對(duì)比得出:利用“5并行1加速”的計(jì)算體系對(duì)高分?jǐn)?shù)據(jù)的生產(chǎn)效率有了很大的提高.

表2 影像處理時(shí)間表

圖6 GF1數(shù)據(jù)瓦片卷簾對(duì)比圖

圖7 GF2數(shù)據(jù)瓦片卷簾對(duì)比圖

通過(guò)不同時(shí)間拍攝的影像數(shù)據(jù)在同一層級(jí)行列號(hào)下瓦片數(shù)據(jù)地理位置基本一致驗(yàn)證模型精度. 如圖6為高分一號(hào)8米瓦片數(shù)據(jù), 標(biāo)注為1的是20151012日數(shù)據(jù), 標(biāo)注為2的是20160324日數(shù)據(jù); 圖7為高分二號(hào)4米瓦片數(shù)據(jù), 標(biāo)注為1的是20150217日數(shù)據(jù), 標(biāo)注為2的是20150912日數(shù)據(jù). 由圖中可以看出系統(tǒng)能在一定范圍內(nèi)保證模型精度.

5 結(jié)語(yǔ)

在遙感數(shù)據(jù)處理中, 如何快速準(zhǔn)確的解決影像處理任務(wù)、找到適應(yīng)于影像業(yè)務(wù)化處理的數(shù)據(jù)密集型計(jì)算方法是現(xiàn)階段的研究方向. 本文設(shè)計(jì)的預(yù)處理系統(tǒng)通過(guò)組織多種遙感算法模型形成工作流來(lái)完成遙感數(shù)據(jù)的業(yè)務(wù)化處理, 借助不同的并行方式提升計(jì)算能力、縮短生產(chǎn)時(shí)間形成“5并行1加速”的計(jì)算體系. 通過(guò)實(shí)際驗(yàn)證在高分?jǐn)?shù)據(jù)的生產(chǎn)上能夠保證處理精度的同時(shí)大幅度提升生產(chǎn)效率.

1 何國(guó)金,王力哲,馬艷,等.對(duì)地觀測(cè)大數(shù)據(jù)處理:挑戰(zhàn)與思考.科學(xué)通報(bào),2015,60(5-6):470–478.

2 Ma Y, Wang L, Liu P, et al. Towards building a data-intensive index for big data computing–A case study of remote sensing data processing. Information Science, 2014, 319: 171–188.

3 Tang P, Zhang HW, Zhao YC, et al. Practice and thoughts of the automatic processing of multispectral images with 30 m spatial resolution on the global scale. Journal of Remote Sensing, 2014, 18(2): 1007–4619.

4 張謙,賈永紅,吳曉良,等.一種帶幾何約束的大幅面遙感影像自動(dòng)快速配準(zhǔn)方法.武漢大學(xué)學(xué)報(bào):信息科學(xué)版,2014. 39(1):17–21.

5 Zhang J, Sha HM, Zhuge Q, et al. Efficient fault-tolerant scheduling on multiprocessor systems via replication and deallocation. International Journal of Embedded Systems, 2014, 6(2/3): 216–224.

6 景維程.海量遙感數(shù)據(jù)的高可靠并行處理方法.測(cè)繪工程, 2015,(6):14–17.

7 Peter F, Matthew B, Mark B, et al. Web-based processing of remote sensing data in a workflows environment. ISRSE2011: The GEOSS Era: Towards Operational Environmental Monitoring, Sydney Convention&Exhibition Centre. 2011.

8 Tang M, Zhao JY, Tong RF, et al. GPU accelerated convex hull computation. Computers & Graphics, 2012, 36(5): 498–506.

9 盧敏,王金茵,盧剛,等.CPU/GPU異構(gòu)混合并行的柵格數(shù)據(jù)空間分析研究--以地形因子計(jì)算為例.計(jì)算機(jī)工程與應(yīng)用, 2015.

10 Wang P, Wang J, Chen Y, et al. Rapid processing of remote sensing images based on cloud computing. Future Generation Computer Systems, 2013, 29(8): 1963–1968.

11 張樹(shù)凡,余濤,李家國(guó),等.基于三級(jí)并行的遙感業(yè)務(wù)化處理系統(tǒng)研究.計(jì)算機(jī)工程與設(shè)計(jì),2012,10(33):3828–3832.

12 孫小涓,雷斌,程兆運(yùn),等.遙感數(shù)據(jù)處理運(yùn)行控制中的工作流應(yīng)用.計(jì)算機(jī)工程,2012,38(4):28–30.

13 張過(guò).缺少控制點(diǎn)的高分辨率衛(wèi)星遙感影像的幾何糾正[博士學(xué)位論文].武漢:武漢大學(xué),2005.

14 王棟,鄭逢斌,賴(lài)積保，等.基于五層十五級(jí)遙感數(shù)據(jù)結(jié)構(gòu)的并行算法研究.微計(jì)算機(jī)信息,2012,28(1):116–167.

15 劉少偉,孔令梅,任開(kāi)軍,等.云環(huán)境下優(yōu)化科學(xué)工作流執(zhí)行性能的兩階段數(shù)據(jù)放置與任務(wù)調(diào)度策略.計(jì)算機(jī)學(xué)報(bào), 2011,34(11):2121–2130.

Remote Sensing Image Preprocessing Method Based on the Data Intensive Computing

ZHOU Bing1, LIU Xiao-Nan1,2, ZANG Wen-Qian2, CHEN Heng1,21(School of Computer and Information Engineering, Henan University, Kaifeng 475001, China)2(Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100101, China)

In the era of big data, the research on data-intensive computing is becoming more and more popular both at home and abroad. As a typical branch of big data, remote sensing data is characterized both by the variety of the data sources and the huge data quantity. One of the biggest challenges facing the remote sensing application is how to find out a data-intensive computing method which aims at the automation of the business processions of remote sensing images. In this paper, a new data-intensive computing method for the procession of remote sensing images is proposed. After a deeply study focusing on the automation of the business processions of remote sensing data, a new systematic architecture using workflow is introduced which can coordinate the work among different algorithm models. In addition, in the pre-processing of the remote sensing images, a new computing architecture with five different types of parallelism and a stage of acceleration is also adopted. The computing method proposed in this paper has been tested in many products in real production environment in order to testify its effectiveness. The results show a significant improvement on the efficiency of the pre-processing of remote sensing data in the condition of ensuring the processing precision.

remote sensing data; remote sensing data preprocessing; data intensive computing; parallel computing; five parallelism and one acceleration; workflow

高分重大專(zhuān)項(xiàng)(Y4D00100GF);高分重大專(zhuān)項(xiàng)(Y4D0100038);中科院戰(zhàn)略先導(dǎo)專(zhuān)項(xiàng)課題(Y1Y02230XD)

2016-07-21;收到修改稿時(shí)間:2016-09-02

10.15888/j.cnki.csa.005699