數(shù)據(jù)分配策略優(yōu)化的全條帶遙感影像流水線并行處理

李亞林 張洪群 李山山

1(中國科學(xué)院遙感與數(shù)字地球研究所 北京 100094)2(中國科學(xué)院大學(xué) 北京 100049)

?

數(shù)據(jù)分配策略優(yōu)化的全條帶遙感影像流水線并行處理

李亞林1,2張洪群1李山山1

1(中國科學(xué)院遙感與數(shù)字地球研究所 北京 100094)2(中國科學(xué)院大學(xué) 北京 100049)

如何快速處理大區(qū)域覆蓋的高分辨率全條帶遙感影像是遙感應(yīng)用急需解決的問題。提出分布式環(huán)境下全條帶遙感影像并行處理模型。該模型采用了數(shù)據(jù)并行和流水線并行兩級并行方法。首先綜合考慮遙感數(shù)據(jù)及其處理算法的特殊性和分布式環(huán)境的異構(gòu)性，提出一種新的數(shù)據(jù)分配策略，然后在計算節(jié)點引入流水線并行技術(shù)。實驗結(jié)果顯示，該模型不僅可以靈活進(jìn)行復(fù)雜的數(shù)據(jù)處理，還能有效提高數(shù)據(jù)處理效率。在7個計算節(jié)點的環(huán)境下，相較于傳統(tǒng)的串行處理方法，可獲得24.32的加速比。

數(shù)據(jù)分配 全條帶遙感影像 流水線 并行處理

0 引 言

隨著遙感技術(shù)的飛速發(fā)展，傳感器的空間分辨率和光譜分辨率大幅提高。分辨率的提高導(dǎo)致單幅影像覆蓋的區(qū)域顯著減小，而以時空演變?yōu)樘卣鞯拇笠?guī)模環(huán)境檢測、重大自然災(zāi)害遙感監(jiān)測等遙感應(yīng)用迫切的需要實時或者近實時的大區(qū)域覆蓋的遙感影像數(shù)據(jù)。因此，大區(qū)域覆蓋的全條帶數(shù)據(jù)的快速處理成為遙感數(shù)據(jù)處理研究的重點。全條帶遙感影像的數(shù)據(jù)量龐大，以30 m分辨率的Landsat-8衛(wèi)星影像為例，其單個全條帶影像文件數(shù)據(jù)量最高可達(dá)35 GB。而且，由于遙感影像存在復(fù)雜的輻射和幾何畸變[1]，其處理算法復(fù)雜度較高。傳統(tǒng)的單機(jī)處理方式耗時較多、效率較低，為了滿足數(shù)據(jù)近實時處理的需求，需要采用并行處理的方法來加快遙感數(shù)據(jù)的處理速度。

國內(nèi)外學(xué)者對分布式環(huán)境下的遙感影像并行處理方法進(jìn)行大量的研究。目前的研究主要從兩個方面入手，一種是針對特定的遙感算法研究并行的處理模型，另一種是研究遙感數(shù)據(jù)處理任務(wù)的調(diào)度模型。針對特定遙感算法研究并行處理模型的主要有蔣艷凰等[2]提出的并行幾何校正算法、劉義等[3]提出的遙感影像瓦片金字塔并行構(gòu)建算法和李先濤等[4]提出的圖像融合并行算法等。遙感數(shù)據(jù)的處理多為一系列算法的時序組合，以上模型難以滿足全條帶遙感影像的處理需求。針對調(diào)度模型的研究工作關(guān)注通過合理的調(diào)度來充分利用計算資源，進(jìn)而達(dá)到提高處理速度的目的。常用的任務(wù)輪轉(zhuǎn)法根據(jù)計算節(jié)點的需求進(jìn)行任務(wù)分配。朱澤民等[5]提出的基于QoS的調(diào)度算法通過建立多維QoS模型并利用蟻群算法實現(xiàn)任務(wù)的調(diào)度。付征葉等[6]提出基于優(yōu)先級的任務(wù)分配策略根據(jù)節(jié)點的負(fù)載和性能量化節(jié)點的優(yōu)先級，并利用該優(yōu)先級進(jìn)行任務(wù)分配。然而這些分配策略忽略了遙感數(shù)據(jù)及其處理算法的特殊性，在應(yīng)用于全條帶遙感數(shù)據(jù)處理難以保證數(shù)據(jù)的處理效率及其通用型。

基于上述問題的考慮，本文提出一種全條帶數(shù)據(jù)處理模型。該模型采用兼顧不同遙感算法對數(shù)據(jù)完整性的要求和異構(gòu)環(huán)境下各節(jié)點的負(fù)載平衡的數(shù)據(jù)分配策略，并在計算節(jié)點使用流水線技術(shù)，使之既能夠應(yīng)對可變的處理算法，又能最大限度發(fā)揮計算節(jié)點的計算能力。最后，本文選取Landsat-8的全條帶影像作為實驗數(shù)據(jù)來驗證本文并行處理模型的正確性及效率。

1 全條帶數(shù)據(jù)并行處理模型

為了最大限度利用分布式系統(tǒng)的計算能力，以達(dá)到全條帶遙感數(shù)據(jù)近實時處理的目的，需要解決以下兩方面的問題。

(1) 合理數(shù)據(jù)分配：主要是解決如何對全條帶數(shù)據(jù)進(jìn)行分片，并調(diào)度到分布式系統(tǒng)中的計算節(jié)點上的問題。合理的數(shù)據(jù)分配應(yīng)滿足以下三個條件：① 數(shù)據(jù)完整性：由于全條帶遙感數(shù)據(jù)處理通常為一系列算法的時序組合，而且處理算法原理多樣，難以尋求一種適合于全部處理算法的數(shù)據(jù)劃分方法，需根據(jù)處理算法選擇合適的數(shù)據(jù)劃分方法以保證各算法的正確進(jìn)行；② 避免節(jié)點通信：分布式計算環(huán)境下各節(jié)點之間的通信極為耗時，合理的數(shù)據(jù)劃分還應(yīng)該盡量避免計算節(jié)點之間的通信；③ 負(fù)載均衡：考慮到分布式計算環(huán)境下各個計算節(jié)點具有不同的計算能力，對同一計算任務(wù)，不同的計算節(jié)點的耗時是不同，因此，在滿足以上兩個條件之外，還需考慮各個計算節(jié)點的性能對數(shù)據(jù)劃分的影像，防止出現(xiàn)“水桶效應(yīng)”導(dǎo)致全條帶影像處理時間大大增加[7]。

(2) 計算節(jié)點的優(yōu)化：主要包括兩方面的內(nèi)容：① 可擴(kuò)展性：由于遙感數(shù)據(jù)處理算法的多樣性，因此各計算節(jié)點應(yīng)能夠應(yīng)對可變的處理算法，進(jìn)而實現(xiàn)遙感影像的連續(xù)自動處理；② 數(shù)據(jù)處理的高效性：在數(shù)據(jù)合理分配的基礎(chǔ)上，各計算節(jié)點的處理效率決定了全條帶數(shù)據(jù)的處理效率，因此，需設(shè)計合理的數(shù)據(jù)處理方法以最大限度發(fā)揮計算節(jié)點的計算能力。

針對上述問題，本文設(shè)計了如圖1所示的全條帶遙感影像并行處理模型。該模型采用兩級并行機(jī)制。第一級為數(shù)據(jù)并行，根據(jù)遙感處理算法對數(shù)據(jù)完整性的需求確定數(shù)據(jù)劃分的基準(zhǔn)，綜合考慮分布式計算環(huán)境下計算節(jié)點的異構(gòu)性，確定數(shù)據(jù)分配策略，依據(jù)該策略將全條帶數(shù)據(jù)在空間上劃分成若干獨立的子圖；第二級為流水線并行，對按照數(shù)據(jù)劃分基準(zhǔn)對子圖進(jìn)行規(guī)則分塊，采用流水線的方式進(jìn)行并行處理，將遙感影像的各個處理算法看作是流水線中的一個階段，可以自由進(jìn)行組合，既能實現(xiàn)處理算法的可定制，又可以使計算節(jié)點的計算能力得到充分利用。

圖1 全條帶遙感影像并行處理模型

2 全條帶遙感影像數(shù)據(jù)分配策略

由第1節(jié)問題(1)的三個條件可知，合理的全條帶遙感數(shù)據(jù)分配主要受到遙感數(shù)據(jù)處理算法的約束和計算節(jié)點性能的約束。為了滿足多種遙感處理算法對數(shù)據(jù)完整性的要求，盡量避免節(jié)點通信，本文根據(jù)算法的原理對遙感數(shù)據(jù)處理算法進(jìn)行分類。根據(jù)處理算法的要求確定數(shù)據(jù)劃分的基本準(zhǔn)則，在數(shù)據(jù)劃分的基準(zhǔn)之上，本文對各個計算節(jié)點的性能進(jìn)行量化，并根據(jù)該量化指標(biāo)完成數(shù)據(jù)的分配。

2.1 遙感處理算法約束因子

高分辨率遙感數(shù)據(jù)的處理包括輻射校正處理和幾何校正處理兩部分[8]。遙感圖像的輻射校正主要是校正儀器和環(huán)境等因素導(dǎo)致的影像降質(zhì)，幾何校正的目的是消除由于傳感器畸變、軌道姿態(tài)變化、地球曲率及旋轉(zhuǎn)導(dǎo)致的圖像變形，得到符合特定地圖投影的新影像。全條帶遙感影像的輻射和幾何校正由一系列的算法組合而成，可將這些算法分為三類[9,10]：點處理、線處理和域處理。

(1) 點處理PBA(pixel_based algorithm)算法只針對圖像中的單個像元，與周圍像元無關(guān)，如輻射校正中的圖像噪點修復(fù)、輻射定標(biāo)針對這類算法，可以進(jìn)行任意形式的分割，但是為了方便影像的劃分及合并，一般采取規(guī)則分割的策略，如圖2(a)；

(2) 線處理LBA(line_based algorithm)算法針對圖像中一行像元的所有像元，如輻射校正中的錯誤行檢查，針對這類算法，將全條帶遙感影像劃分成若干水平條帶即可滿足數(shù)據(jù)的完整性要求和避免節(jié)點通信的要求，如圖2(b);

(3) 域處理RBA(region_based algorithm)算法不僅與待處理的像元有關(guān)，還與待處理像元周圍的像元有關(guān)，如輻射校正中的傳感器響應(yīng)歸一化處理和幾何校正中的重采樣處理； 這類算法會對遙感影像的邊界產(chǎn)生影響，為保證數(shù)據(jù)的完整性并避免處理器之間的通信，各處理器根據(jù)插值模板的大小在本地輸入的子圖像的邊界處冗余存儲若干行像元，這樣并行重采樣計算時各處理器所需的像元灰度值均保存在本地，整個計算工程無需通信，加快了并行處理的速度[11]，如圖2(c)。

圖2 高分辨率全條帶影像不同算法對應(yīng)的影像劃分方法

為了滿足全條帶遙感影像的處理需求，需將多個處理算法按照數(shù)據(jù)流向的依賴順序組合，形成一系列的組合算法。在處理過程中，為保證計算節(jié)點中所有算法均能正確執(zhí)行，則必須滿足所有算法所需數(shù)據(jù)的完整性。因此，對三種類型的數(shù)據(jù)處理算法進(jìn)行優(yōu)先級評定，基于鄰域的處理優(yōu)先級最高，基于影像行的處理其次，基于像元的處理優(yōu)先級最低。根據(jù)任務(wù)中算法的種類，根據(jù)算法中優(yōu)先級最高的算法選擇長條帶遙感影像的分割策略。假設(shè)S表示待處理的遙感影像，R表示處理得到的遙感影像，A表示處理算法的集合，region表示像元的鄰域， 和表示像元在遙感影像中的二維坐標(biāo)，則可用式(1)表示數(shù)據(jù)的劃分方法：

(1)

2.2 計算節(jié)點性能約束因子

全條帶遙感影像的分塊策略除了受到處理算法的約束之外，還受到并行計算環(huán)境下各計算節(jié)點性能的約束。需考慮各計算節(jié)點性能的差異，以避免出現(xiàn)部分節(jié)點負(fù)載過大、部分節(jié)點零負(fù)載或輕負(fù)載的情況，使不同類型的計算節(jié)點相互協(xié)作，高效地完成生產(chǎn)任務(wù)。本文引入計算節(jié)點的性能函數(shù)，根據(jù)該性能函數(shù)確定每個節(jié)點處理的數(shù)據(jù)量。

定義1節(jié)點的性能函數(shù):計算節(jié)點性能的評價指標(biāo)，以節(jié)點完成特定數(shù)據(jù)量的遙感影像的時間作為衡量標(biāo)準(zhǔn)。節(jié)點的性能受到數(shù)據(jù)傳輸速度和節(jié)點計算能力兩個因素的影響。在分布式存儲系統(tǒng)中，根據(jù)遙感影像的特性對其進(jìn)行冗余存儲和分片存儲，并通過合理的數(shù)據(jù)布局對數(shù)據(jù)傳輸進(jìn)行優(yōu)化，可以忽略數(shù)據(jù)分布對數(shù)據(jù)傳輸?shù)挠绊?，可認(rèn)為各計算節(jié)點的數(shù)據(jù)傳輸時間消耗由傳輸數(shù)據(jù)量和網(wǎng)絡(luò)帶寬決定[12]。Esper[13]公布的數(shù)據(jù)表明，CPU是影響數(shù)據(jù)處理性能的關(guān)鍵，因此，本文采用每秒浮點運算次數(shù)(TFLOPS)來表征計算節(jié)點的計算能力。節(jié)點性能函數(shù)如式(2)所示：

(2)

式中，D表示待處理的數(shù)據(jù)量；TFLOPSi表示節(jié)點i的每秒浮點運算次數(shù)；B表示從分布式文件系統(tǒng)到計算節(jié)點的網(wǎng)絡(luò)帶寬，α與β表示網(wǎng)絡(luò)帶寬和節(jié)點計算能力對節(jié)點性能的影響程度，由遙感數(shù)據(jù)密集指數(shù)來確定[14]。α與β之和為1；Ci表示節(jié)點i算法的復(fù)雜度。全條帶數(shù)據(jù)處理中各算法的復(fù)雜度如表1所示。

表1 全條帶數(shù)據(jù)處理中各算法的復(fù)雜度

在計算節(jié)點處理算法復(fù)雜度的時候同樣需要考慮算法組合的影像。假設(shè)節(jié)點i的數(shù)據(jù)需要經(jīng)過j個算法的處理，則節(jié)點i的算法復(fù)雜度Ci可由式(3)確定：

Ci=Max{Ci(A1),Ci(A1),…,Ci(Aj)}

(3)

2.3 全條帶數(shù)據(jù)的分配

為了充分分離計算和存儲資源，使計算節(jié)點專注于數(shù)據(jù)的處理，存儲服務(wù)器專注于數(shù)據(jù)的存儲和分發(fā)，本系統(tǒng)采用Lustre文件系統(tǒng)。Lustre是透明的全局文件系統(tǒng)，計算節(jié)點上的客戶端可以根據(jù)分配的任務(wù)透明地獲取文件系統(tǒng)中的數(shù)據(jù)，而不需要考慮其實際存放的位置。存儲服務(wù)器負(fù)責(zé)實際文件系統(tǒng)的讀寫操作以及存儲設(shè)備的連接，元數(shù)據(jù)服務(wù)器完成文件系統(tǒng)的目錄結(jié)構(gòu)、文件權(quán)限和文件擴(kuò)展屬性的管理以及維護(hù)整個文件系統(tǒng)的數(shù)據(jù)一致性和響應(yīng)客戶端的請求。Lustre文件系統(tǒng)對大數(shù)據(jù)讀寫做了優(yōu)化，在全條帶遙感數(shù)據(jù)處理中，可以提供高性能的I/O吞吐率，減小了文件I/O對系統(tǒng)效率的影響。Lustre文件系統(tǒng)的架構(gòu)如圖3所示。

圖3 Lustre文件系統(tǒng)架構(gòu)圖

在數(shù)據(jù)分配過程中，首先根據(jù)遙感處理算法約束因子和計算節(jié)點性能約束因子確定分配策略，然后各計算節(jié)點內(nèi)的Lustre客戶端并行地從Lustre服務(wù)端中讀取其需要處理的數(shù)據(jù)。其具體過程如下：

步驟1啟動任務(wù)調(diào)度服務(wù)器，接收計算節(jié)點的注冊信息，并根據(jù)遙感算法的特殊性，計算各計算節(jié)點的計算量。

步驟2將計算量信息發(fā)送給各計算節(jié)點。

步驟3各計算節(jié)點從MDS中讀取待處理數(shù)據(jù)的元數(shù)據(jù)信息。

步驟4各計算節(jié)點從OSS中讀取其需要處理的數(shù)據(jù)。

3 計算節(jié)點流水線處理模型

全條帶遙感數(shù)據(jù)的處理可以分為若干個步驟，各步驟之間存在單向的數(shù)據(jù)依賴關(guān)系，且沒有反饋或者迭代處理。因此，采用流水線并行技術(shù)以滿足第1節(jié)問題(2)提出的可擴(kuò)展性的要求，并通過優(yōu)化流水線的調(diào)度充分利用節(jié)點的計算資源以滿足問題(2)提出的數(shù)據(jù)處理高效性的要求。而且，在流水線數(shù)據(jù)處理中，各計算節(jié)點不需要等到該節(jié)點所有的數(shù)據(jù)全部傳輸完畢再進(jìn)行數(shù)據(jù)處理，而是當(dāng)數(shù)據(jù)達(dá)到一定數(shù)量后即開始進(jìn)行處理，可以減少數(shù)據(jù)I/O的等待時間。

在流水線處理中，將遙感影像處理看作是一個順序執(zhí)行的處理鏈。處理鏈中的算法為流水線的各個階段，將分塊的數(shù)據(jù)以數(shù)據(jù)流的形式從流水線的起點連續(xù)輸入，上一階段將處理后的數(shù)據(jù)傳入下一階段繼續(xù)進(jìn)行其他處理，各自獨立完成處理任務(wù)。當(dāng)全條帶遙感影像應(yīng)用目的不同時，根據(jù)其應(yīng)用需求從遙感算法集中選取合適的遙感算法構(gòu)成數(shù)據(jù)處理鏈，并在流水線處理中進(jìn)行的階段組合即可適應(yīng)新的處理需求，進(jìn)而達(dá)到算法可定制的目標(biāo)[15]。流水線的設(shè)計示意圖見圖4所示。

圖4 流水線的設(shè)計示意圖

流水線中的各個操作以重疊方式執(zhí)行，而且由于計算節(jié)點一般都是多核心的，流水線處理可以使得所有的處理核心一起工作，最大限度提高了CPU的利用率，提高整個數(shù)據(jù)的處理效率。但在遙感數(shù)據(jù)處理中，各處理算法的時間復(fù)雜度并不完全相同，這導(dǎo)致流水線中各個階段的處理速率不盡相同。因此，不能直接將前一階段的處理結(jié)果直接送入下一階段進(jìn)行處理，各個步驟之間需要一定的緩存。本文在各處理階段之間加入緩沖區(qū)來平衡兩個處理階段吞吐率的差異，并通過線程調(diào)度，即在流水線處理中調(diào)整各階段的資源占用以充分利用計算資源，來盡量減少吞吐率差異。

定義2階段過載：流水線處理中某個階段的數(shù)據(jù)處理速度低于數(shù)據(jù)的到達(dá)速度，則稱此階段過載。

在流水線處理中，當(dāng)某個階段過載時，可通過階段內(nèi)控制器，增加該階段的線程數(shù)來提高CPU的利用率，進(jìn)而提高該階段的數(shù)據(jù)處理速率。但是，當(dāng)CPU的利用率達(dá)到一定程度之后，如果繼續(xù)增加處理線程，則會造成由于頻繁的線程切換導(dǎo)致系統(tǒng)開銷增加，處理速度降低。Welsh等[16]指出，當(dāng)CPU的利用率低于75%時，線程切換的開銷呈線性增長，大于75%時則呈指數(shù)級增長。為減少多線程的開銷，將75%作為線程總量的上限，當(dāng)CPU利用率小于75%時，通過階段內(nèi)控制器增加過載階段的線程數(shù)；當(dāng)大于75%時，通過階段見控制器，移動部分非過載階段的線程到過載階段，以保證整個數(shù)據(jù)處理流程能夠高速進(jìn)行。計算節(jié)點流水線調(diào)度優(yōu)化示意如圖5所示。

圖5 計算節(jié)點流水線調(diào)度優(yōu)化示意圖

4 實驗驗證

4.1 實驗環(huán)境

為驗證本文提出的長條帶數(shù)據(jù)處理方法的正確性及高效性，選取2014年7月30日獲取的LANDSAT-8全條帶數(shù)據(jù)作為實驗數(shù)據(jù)。該全條帶數(shù)據(jù)數(shù)據(jù)量為35 GB，遙感影像覆蓋從內(nèi)蒙古到廣西的區(qū)域。

實驗在由10個節(jié)點構(gòu)成的集群下進(jìn)行：管理節(jié)點為：2× Intel Xeon E5 4610，2.4 GHz,16 GB內(nèi)存，600 GB熱插拔SAS硬盤，計算節(jié)點有三種配置，如表2所示。存儲系統(tǒng)為Lustre文件系統(tǒng)，軟件環(huán)境為CENTOS 6.5。

表2 硬件及軟件測試環(huán)境

4.2 正確性驗證

本文對實驗數(shù)據(jù)進(jìn)行輻射和系統(tǒng)級幾何校正，該處理為遙感影像處理的廣泛應(yīng)用，具有代表性。同時該處理包含了幾類遙感算法，能夠清楚地驗證本文影像處理的正確性，其處理過程主要包括：影像噪點的去除、輻射定標(biāo)、輻射歸一化和系統(tǒng)級幾何校正。

實驗數(shù)據(jù)處理前后的影像如圖6所示，由(b)可以看出，處理后的遙感影像并沒有缺失或者存在未處理的情況，證明數(shù)據(jù)分塊正確，所有的數(shù)據(jù)都得到了處理。且由(c)與(d)的對比可以看出，遙感影像的噪點、條帶噪聲等都得到了消除，證明所有的處理步驟都得到正確的執(zhí)行。

圖6 處理前后的長條帶影像對比圖

此外，幾何校正之后幾何定位的誤差圖如圖7所示，長條帶結(jié)果的最大誤差為80.7 m，最小誤差為28.8 m，平均誤差為59.8 m。幾何校正后的全條帶遙感影像的誤差達(dá)到了系統(tǒng)級幾何校正的精度要求，且?guī)缀握`差分布均勻，證明幾何校正得到了正確的執(zhí)行。

圖7 處理后的長條帶影像定位誤差圖

上述兩點可以證明，全條帶遙感影像的各個處理得到正確執(zhí)行，證明本文方法的正確性。

4.3 效率驗證

為了驗證本文方法的效率，本文從數(shù)據(jù)分配策略效果、流水線處理加速效果和總體處理效率三個方面進(jìn)行分析。

4.3.1 數(shù)據(jù)劃分策略效率分析

在7個計算節(jié)點的分布式環(huán)境中，分別采用常用的輪詢的方法和本文的數(shù)據(jù)分配策略將全條帶數(shù)據(jù)分發(fā)到各計算節(jié)點，各計算計算節(jié)點串行執(zhí)行接收到的數(shù)據(jù)。統(tǒng)計各個節(jié)點完成數(shù)據(jù)處理所消耗的時間如圖8所示。

圖8 各節(jié)點處理消耗的時間

由于傳統(tǒng)的輪詢方法只是簡單地將任務(wù)分發(fā)給各個計算節(jié)點，未考慮到處理算法導(dǎo)致的計算節(jié)點間的通信以及各計算節(jié)點的計算能力。因此，圖8中存在個別節(jié)點處理時間較長的情況，嚴(yán)重影響全條帶數(shù)據(jù)的處理速度。本文方法則綜合考慮處理算法的特殊性和各計算節(jié)點計算能力的差異，在盡量避免節(jié)點間通信的前提下，按照各計算節(jié)點的計算能力向其分發(fā)數(shù)據(jù)。因此，本文方法的各個節(jié)點的運行時間基本相同，進(jìn)而保證整個全條帶數(shù)據(jù)處理任務(wù)能快速完成。

4.3.2 流水線并行效率分析

選取一個計算節(jié)點，向其分發(fā)4 GB的數(shù)據(jù)，統(tǒng)計流水線并行處理方法和傳統(tǒng)的串行處理方法完成數(shù)據(jù)處理任務(wù)所消耗的時間如表3所示。

表3 流水線并行和串行方法處理4 GB數(shù)據(jù)消耗的時間

由表3可以看出，采用流水線并行可顯著的減少數(shù)據(jù)處理消耗的時間。這是因為兩方面的原因：1) 流水線處理不必等待所有的數(shù)據(jù)都分發(fā)到節(jié)點上再進(jìn)行處理，減少了數(shù)據(jù)I/O時間；2) 各處理流程的并行化，充分的利用了節(jié)點的計算能力。

4.3.3 系統(tǒng)整體處理效率分析

對全條帶遙感數(shù)據(jù)分別使用本文方法和傳統(tǒng)的單機(jī)串行方法進(jìn)行處理，通過對比兩種方法消耗的時間來測試本文方法的整體性能。本文方法的運行時間及相較于傳統(tǒng)方法獲得的加速比如表4所示。

表4 計算節(jié)點數(shù)目對處理性能的影響

由表4和圖9可以看出，本文方法相較于傳統(tǒng)方法，處理效率顯著提高，且隨著參與全條帶數(shù)據(jù)處理的計算節(jié)點數(shù)目的增加，處理時間大大減少，加速比不斷增加，這說明本文提出的并行全條帶數(shù)據(jù)處理方法能夠有效提高數(shù)據(jù)處理速度。

圖9 本文方法在不同數(shù)目計算節(jié)點下獲得的加速比

5 結(jié) 語

本文提出的分布式環(huán)境下的全條帶數(shù)據(jù)處理模型，采用兼顧不同遙感算法對數(shù)據(jù)完整性的要求和異構(gòu)環(huán)境下各節(jié)點的負(fù)載平衡數(shù)據(jù)分配策略 ，并在計算節(jié)點使用流水線技術(shù)。本模型有以下特點：1)數(shù)據(jù)分配策略兼顧遙感數(shù)據(jù)及處理算法的特點和分布式環(huán)境的特點，在保證數(shù)據(jù)處理正確進(jìn)行的前提下，有效減少了節(jié)點的通信，提高了數(shù)據(jù)的處理效率。2)在節(jié)點采用流水線技術(shù)使計算節(jié)點能夠應(yīng)對可變的處理算法，并通過線程調(diào)優(yōu)等方法最大限度地發(fā)揮計算節(jié)點的計算能力。實驗結(jié)果表明，本文模型能夠快速有效地完成全條帶遙感影像的處理，在7個計算節(jié)點的環(huán)境下可獲得24.32的加速比。下一步將重點研究本模型在更大規(guī)模分布式計算環(huán)境下，針對國內(nèi)外不同遙感影像的適用性，從而加以推廣和改進(jìn)。

[1] 周海芳.遙感圖像并行處理算法的研究與應(yīng)用[D].國防科學(xué)技術(shù)大學(xué),2003.

[2] 蔣艷凰,楊學(xué)軍,易會戰(zhàn).衛(wèi)星遙感圖像并行幾何校正算法研究[J].計算機(jī)學(xué)報,2004,27(7):944-951.

[3] 劉義,陳犖,景寧,等.利用MapReduce進(jìn)行批量遙感影像瓦片金字塔構(gòu)建[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2013,38(3):278-282.

[4] 李先濤,曾志,張豐,等.基于集群的海洋遙感圖像融合并行計算策略[J].計算機(jī)應(yīng)用與軟件,2012,29(1):84-87.

[5] 朱澤民,張青.基于多維QoS和云計算的資源負(fù)載均衡調(diào)度研究[J].計算機(jī)測量與控制,2013,21(1):263-265,281.

[6] 付征葉,凡高娟,王俊嶺.遙感影像并行處理中基于優(yōu)先級的任務(wù)分配策略[J].計算機(jī)工程,2014,40(2):48-51,57.

[7] 李軍,李德仁.分布式遙感圖像處理中的若干關(guān)鍵技術(shù)[J].武漢測繪科技大學(xué)學(xué)報,1999,24(1):15-19.

[8] 李德仁,童慶禧,李榮興,等.高分辨率對地觀測的若干前沿科學(xué)問題[J].中國科學(xué):地球科學(xué),2012,42(6):805-813.

[9] 黃國滿,郭建峰.分布式并行遙感圖像處理中的數(shù)據(jù)劃分[J].遙感信息,2001,6(2):9-12.

[10] 沈占鋒,駱劍承,陳秋曉,等.高分辨率遙感影像并行處理數(shù)據(jù)分配策略研究[J].哈爾濱工業(yè)大學(xué)學(xué)報,2006,38(11):1968-1971,1976.

[11] Ma Y,Wang L,Liu D,et al.Distributed data structure templates for data-intensive remote sensing applications[J].Concurrency and Computation:Practice and Experience,2013,25(12):1784-1797.

[12] 宋杰,李甜甜,閆振興,等.數(shù)據(jù)密集型計算中負(fù)載均衡的數(shù)據(jù)布局方法[J].北京郵電大學(xué)學(xué)報,2013,36(4):76-80.

[13] Motwani R,Widom J,Arasu A,et al.Query processing, resource management,and approximation in a data stream management system[C]//IEEE VLSI Test Symposium,2003:245-256.

[14] Ma Y,Wang L,Liu P,et al.Towards building a data-intensive index for big data computing-A case study of Remote Sensing data processing[J].Information Sciences,2015,319:171-188.

[15] 翟曉芳,龔健雅,肖志峰,等.利用流水線技術(shù)的遙感影像并行處理[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2011,36(12):1430-1433.

[16] Welsh M,Culler D,Brewer E.SEDA:an architecture for well-conditioned,scalable internet services[C]//ACM SIGOPS Operating Systems Review. ACM,2001,35(5):230-243.

PARALLEL PROCESSING OF LONG STRIP REMOTE SENSING IMAGE BASED ON PIPELINE WITH DATA DISTRIBUTION STRATEGY OPTIMISATION

Li Yalin1,2Zhang Hongqun1Li Shanshan1

1(InstituteofRemoteSensingandDigitalEarth,ChineseAcademyofSciences,Beijing100094,China)2(UniversityofChineseAcademyofSciences,Beijing100049,China)

How to quickly process huge area-covering and high-resolution long strip remote sensing image is the problem of remote sensing application to be urgently resolved. Aiming at this problem, this paper proposes a parallel processing model for long strip image in distributed environment. The model adopts two-stage parallel approach with data parallel and pipeline parallel. First, we propose a new data distribution strategy by comprehensively considering the particularity of remote sensing data as well as its processing algorithm and the heterogeneous nature of distributed environment; then we introduce pipeline parallel technology to each computing node. Experimental results show that the model can flexibly carry out complicated data processing, it can effectively improve the efficiency of data processing as well. Under the condition of 7 computation nodes, it is able to acquire the speedup of 24.32 compared with traditional serial processing method.

Data distribution Long strip remote sensing image Pipeline Parallel processing

2015-03-02。國家自然科學(xué)基金項目(41301383)。李亞林，碩士，主研領(lǐng)域：遙感數(shù)據(jù)處理相關(guān)研究。張洪群，教授級高工。李山山，副研究員。

TP751

A

10.3969/j.issn.1000-386x.2016.11.028