分布式并行計(jì)算技術(shù)在遙感數(shù)據(jù)處理中的應(yīng)用

孟祥輝+李浩川+姚璐+王少坤

隨著計(jì)算機(jī)信息技術(shù)的不斷發(fā)展和進(jìn)步，地理監(jiān)測(cè)以及遙感數(shù)據(jù)處理工作也受到其相應(yīng)的影響，如何依托分布式并行計(jì)算技術(shù)依托下的高分遙感處理各種電子政務(wù)受到有關(guān)部門(mén)和專(zhuān)家學(xué)者的重視，本文就對(duì)遙感影響數(shù)據(jù)并行處理計(jì)算模型、結(jié)構(gòu)層次、同步通信等問(wèn)題來(lái)對(duì)遙感影像進(jìn)行線(xiàn)性拉伸并行處理，從而保證其有效性和實(shí)用性不受到影響。

【關(guān)鍵詞】遙感處理 電子政務(wù) 分布式并行計(jì)算技術(shù)

1 項(xiàng)目背景以及要求

1.1 項(xiàng)目背景

高分遙感在電子政務(wù)地理空間基礎(chǔ)信息庫(kù)建設(shè)與服務(wù)中的應(yīng)用示范項(xiàng)目，是高分重要的應(yīng)用示范項(xiàng)目，依托“國(guó)家自然資源和地理空間基礎(chǔ)信息庫(kù)”一期工作，重點(diǎn)解決高分辨率遙感衛(wèi)星數(shù)據(jù)與國(guó)家自然資源和地理空間基礎(chǔ)信息庫(kù)的融合，推進(jìn)高分?jǐn)?shù)據(jù)在電子政務(wù)地理空間基礎(chǔ)信息庫(kù)的綜合應(yīng)用示范，形成高分?jǐn)?shù)據(jù)及其電子政務(wù)應(yīng)用產(chǎn)品通過(guò)共享平臺(tái)進(jìn)行分發(fā)和共享的機(jī)制和格局，為國(guó)家宏觀(guān)綜合決策服務(wù)，包括資源環(huán)境綜合監(jiān)測(cè)評(píng)價(jià)、災(zāi)后重建規(guī)劃實(shí)施效果監(jiān)測(cè)、區(qū)域發(fā)展戰(zhàn)略研究和區(qū)域規(guī)劃、資源環(huán)境領(lǐng)域規(guī)劃和重大基本建設(shè)項(xiàng)目跟蹤及效益監(jiān)測(cè)以及海洋資源開(kāi)發(fā)和經(jīng)濟(jì)發(fā)展的監(jiān)測(cè)工作等，以及為政府綜合部門(mén)、業(yè)務(wù)服務(wù)和電子政務(wù)業(yè)務(wù)部門(mén)及社會(huì)公眾服務(wù)。

1.2 要求

為滿(mǎn)足海量遙感數(shù)據(jù)的需要，建設(shè)了高分遙感數(shù)據(jù)集群式生產(chǎn)系統(tǒng)，該系統(tǒng)具有高效、自動(dòng)、智能的技術(shù)特性，遙感影像處理的基礎(chǔ)支撐平臺(tái)，提供統(tǒng)一的數(shù)據(jù)模型、業(yè)務(wù)模型接口，能夠支撐起大規(guī)模遙感影像的集群式并行自動(dòng)化處理。

2 遙感影像處理結(jié)構(gòu)層次

遙感影像操作可以劃分為三個(gè)不同的層次或者類(lèi)別，下面就對(duì)其進(jìn)行一一分析。首先為像素級(jí)操作，這是通過(guò)一副像素影像產(chǎn)生另外的像素影像，包括鄰域、括點(diǎn)、幾何操作等，很多數(shù)據(jù)都是有規(guī)則、幾何、局部。而這種幾何操作在進(jìn)行遙感影像處理時(shí)表現(xiàn)為幾何校正，因?yàn)檠b載在飛機(jī)、衛(wèi)星的成像傳感器受到飛機(jī)姿態(tài)、衛(wèi)星、時(shí)間、運(yùn)動(dòng)、氣候等不同因素的影響，其攝取的圖像可能出現(xiàn)幾何畸變的現(xiàn)象，因此，要能夠完成旋轉(zhuǎn)、重新定位、任意彎曲等操作；其次，其具有特征性操作的特征，這也是相關(guān)影像產(chǎn)生的特征，包括區(qū)域和線(xiàn)，常規(guī)性的特征包括紋理、形狀、三維特征、梯度特征，一般選擇一致的測(cè)度，包括方差、均值來(lái)進(jìn)行處理和描述，其顯示特征區(qū)域進(jìn)行的可行性，而且，還具有非局部、象征意義的特性，在局部區(qū)域并行的同時(shí)，還要能夠?qū)φw加以處理；再者具有目標(biāo)級(jí)操作的特征，這是由一系列特征誘發(fā)的目標(biāo)，并且其信息具有復(fù)雜性、象征意義，一般都是通過(guò)相關(guān)知識(shí)來(lái)處理，從而對(duì)影像進(jìn)行理解、描述、解釋。

3 通信和同步

在并行計(jì)算期間，因?yàn)椴煌M(jìn)程之間需要傳輸以及調(diào)度數(shù)據(jù)，因此，其具有相應(yīng)的通信開(kāi)銷(xiāo)，并且這種開(kāi)銷(xiāo)表現(xiàn)為以下不同的方面，首先為傳輸?shù)冗M(jìn)程之間的數(shù)據(jù)，主進(jìn)程從進(jìn)程調(diào)度、數(shù)據(jù)傳輸、任務(wù)分配入手。在處理遙感影像時(shí)，需要能夠劃分影像，并且將其映射給進(jìn)程加以處理和計(jì)算，其主要依據(jù)就是被劃分部門(mén)的數(shù)據(jù)通信量，三種圖像數(shù)據(jù)劃分方式，如圖所示，其中圖1表示水平條帶、圖2為豎直條帶、圖3為矩形塊，不同劃分的條帶邊界表現(xiàn)為所要進(jìn)行的通信數(shù)據(jù)。在處理不同影像時(shí)，要能夠選擇不同的劃分方式，像素級(jí)的處理并行化分支較小，進(jìn)行數(shù)據(jù)劃分時(shí)較為簡(jiǎn)單，可以結(jié)合實(shí)際狀況來(lái)選任何劃分方法，特征處理如線(xiàn)條所示，按照豎直條帶和水平條帶來(lái)劃分，在目標(biāo)級(jí)、特征級(jí)處理期間，需要結(jié)合相應(yīng)的問(wèn)題、并行計(jì)算支撐環(huán)境來(lái)選擇具體的劃分方式。從一定角度來(lái)分析，要想能夠達(dá)到并行化的要求，從而讓被劃分的數(shù)據(jù)通信量達(dá)到最小的要求。

在并行系統(tǒng)執(zhí)行給定算法期間，可能會(huì)出現(xiàn)個(gè)別進(jìn)程計(jì)算需要在其他進(jìn)程完成之后才能開(kāi)展，這時(shí)候同步是需要的，所謂的同步就是在這種狀況下順利使用通信協(xié)調(diào)技術(shù)不受到影響。同步也存在以下兩種不同的開(kāi)銷(xiāo)，包括同步需要所有處理機(jī)能夠進(jìn)行相應(yīng)的檢驗(yàn)，但是，需要花費(fèi)相應(yīng)的時(shí)間；其次個(gè)別處理器可能為閑置，等待準(zhǔn)許繼續(xù)續(xù)需要計(jì)算相應(yīng)消息。

4 結(jié)語(yǔ)

高分遙感在電子政務(wù)地理空間基礎(chǔ)信息庫(kù)建設(shè)與服務(wù)中的應(yīng)用示范項(xiàng)目，是高分重要的應(yīng)用示范項(xiàng)目，依托“國(guó)家自然資源和地理空間基礎(chǔ)信息庫(kù)”一期工作，重點(diǎn)解決高分辨率遙感衛(wèi)星數(shù)據(jù)與國(guó)家自然資源和地理空間基礎(chǔ)信息庫(kù)的融合。通過(guò)實(shí)驗(yàn)不難發(fā)現(xiàn)，PC機(jī)群上所具有的分布式并行算法優(yōu)勢(shì)較為明顯，但是，其通信開(kāi)銷(xiāo)依然是算法中需要解決的主要問(wèn)題，在集群逐漸擴(kuò)展的影響下，通信開(kāi)銷(xiāo)開(kāi)始增長(zhǎng)，這就讓并行化程度遭到制約，選擇直接少通信量、通信次的方法則能夠降低實(shí)際的通信開(kāi)銷(xiāo)，從而為實(shí)現(xiàn)遙感衛(wèi)星數(shù)據(jù)和國(guó)家自然資源信息庫(kù)融合奠定堅(jiān)實(shí)的基礎(chǔ)。

參考文獻(xiàn)

[1]楊海平，沈占鋒，駱劍承，吳煒.海量遙感數(shù)據(jù)的高性能地學(xué)計(jì)算應(yīng)用與發(fā)展分析[J].地球信息科學(xué)學(xué)報(bào)，2013（01）：128-136.

[2]王竹曉，胡宏，陳立民，史忠植.動(dòng)態(tài)描述邏輯推理的并行計(jì)算技術(shù)[J].計(jì)算機(jī)研究與發(fā)展，2011（12）：2317-2325.

[3]馬偉鋒，李偉.遙感影像數(shù)據(jù)并行計(jì)算中數(shù)據(jù)分配策略研究[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2016（03）：270-274.

[4]潘巍，李戰(zhàn)懷.大數(shù)據(jù)環(huán)境下并行計(jì)算模型的研究進(jìn)展[J].華東師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2014（05）：43-54.

作者單位

1.中國(guó)電子科技集團(tuán)公司第五十四研究所 河北省石家莊市 050081

2.國(guó)家信息中心 北京市 100070

3.北京金水信息技術(shù)發(fā)展有限公司 北京市 100070