基于MPI和MapReduce混合編程的高分三號多模數據分布式并行轉換算法

摘要：我國高分三號形成三星陸海雷達衛星星座。為了提升PolSARpro極化SAR圖像處理的開源軟件在高分三號數據轉換環節的處理能力，提出了基于OpenMP、MapReduce和MPI并按照PolSARpro軟件的數據格式要求進行分布式并行轉換處理算法，將不同成像模式下的多極化數據實現快速定標和格式轉換，并且通過KingMapV10.0GIS平臺實現了算法并在實際數據中進行測試，驗證了算法的高效性、可靠性、易擴展性和正確性。

關鍵詞：高分三號合成孔徑雷達定標消息傳遞接口分布式并行計算

中圖法分類號：P237

DistributedParallelConversionAlgorithmofGF-3Multi-ModeDataBasedonMPIandMapReduceHybridProgramming

ZHANGRuming1*CAIJianying2WANGXihang1LIUZili2OUYANGBo2

1.HulunbeirBigDataCenter，Hulunbeir，InnerMongoliaAutonomousRegion，021000China;2.HulunbeirSmartCityDevelopmentResearchInstitute，Hulunbeir，InnerMongoliaAutonomousRegion，021000China

Abstract：China’sGF-3isformedaland-searadarsatelliteconstellationof3satellites.InordertoimprovetheprocessingcapabilityofPolSARproopensourcesoftwareforpolarimetricSARimageinthedataconversionstageofGF-3，thispaperproposesadistributedparallelconversionalgorithmaccordingtothedataformatrequirementsofitssoftwarebasedonOpenMP，MapReduceandMPI，whichcanquicklycalibrateandconvertGF-3muti-polarizationofdifferentimagingmodesdataintobinformat.ThealgorithmisimplementedonGISplatformofKingMapV10.0andtestedinrealdata，whichverifiestheefficiency，feasibility，extendibilityandcorrectnessofthealgorithm.

KeyWords：GF-3;SAR;Calibration;Messagepassinginterface;DistributedandParallelComputing

2022年4月7日，中國陸海監測監視迎來“三星組網”時代[1]，支撐合成孔徑雷達衛星的多極化數據進行業務化應用。高分三號具有12種工作模式，能夠實現全天時、全天候的陸地和海洋監視監測，有力支撐我國防災減災應急、海洋資源開發和陸地環境監測[2-4]。PolSARpro是一款著名的開源軟件[5]，已經具備高分三號數據的導入及處理能力，然而轉換效率比較低。為了提升該軟件處理高分三號數據格式轉換能力，陳云等人[6-8]給出了較高效的分布式并行轉換算法，但并未給出多種成像模式下的定標轉換。另外，陳云[9]采用QTConcurrent并行框架實現，雖有更好的性能表現，但未實現分布式并行計算。遙感事微信公眾號[10]給出了多種成像模式下的全極化、雙極化數據等定標處理，但未實現更高效的分布式并行轉換。因此，本文提出了針對高分三號多模數據的分布式并行轉換處理方法，先通過推導簡化得到中間參數，接著給出分布式混合編程并行計算過程，再通過全極化條帶I數據和精細條帶II等實際數據，驗證算法的高效性、可靠性、易擴展性和正確性，最后通過性能對比分析，表明本文方法可以高效的處理多模式多極化高分三號數據。

1算法原理

本文主要針對高分三號L1A產品數據進行格式轉換處理。由GF-3衛星SARL1A級數據獲取后向散射系數的定標公式[11]如下。

公式（1）中：是單位為dB的后向散射系數；在L1A影像中，，是1A級產品實部，是1A級產品虛部，是影像量化前的最大值，在元數據文件中字段獲取。CalibrationConst是影像的雷達散射的定標系數，在元數據文件中CalibrationConst字段獲取。

按PolSARpro軟件的數據格式要求，以及根據陳云等人[6]的簡化推導過程，記：

記linear形式的實部后向散射系數：，其中是單位為dB的實部后向散射系數。

記linear形式的虛部后向散射系數：，其中是單位為dB的虛部后向散射系數。

那么得到如下2個中間轉換公式。

具體算法流程設計詳情見下文所述。

2算法設計

本文算法內層并行處理過程將采用OpenMP，中間層并行處理過程利用QtConcurrent并行計算框架，外層分布式并行處理過程依托MPI協議來混合編程實現。具體分布式并行處理流程如下。

（1）首先初始化MPI環境，在MPI進程內利用MPI_Comm_size函數來生成分布式并行計算環境的通信域的進程總數M。

（2）每個MPI進程采用MPI_Comm_rank函數獲取通信域中的ID序號。將使用該序號來給其分配待處理的高分三號數據集。

（3）MPI調度進程獲取所有待處理高分三號GF3_TaskList數據任務列表。

（4）MPI調度進程從GF3_TaskList列表中獲取高分三號GF3_DataList數據集，利用MPI通信協議，調用MPI_Isend函數把該數據列表發送給對應的MPI處理進程。

（5）對應的MPI處理進程通過調用MPI_Irecv函數接收到高分三號GF3_DataList數據集后，中間層采用QtConcurrent并行框架來實現多景高分三號影像數據的處理，而輸入參數則是高分三號GF3_DataList數據列表，以及每景高分三號數據的多模多極化Convert并行轉換函數。

（6）在Convert并行轉換函數中，最內層擴展對不同成像模式的數據處理，對多極化數據采用OpenMP并行處理機制，如雙極化或全極化數據等。

（7）最后調用QFuture的waitForFinished函數等待方法，直到每個MPI進程都處理完成該進程中所有高分三號數據為止。

（8）MPI處理進程每當處理完成后，進行調用MPI_Isend函數時把處理結束后的信息返回到MPI調度進程。

（9）重復上述由步驟（4）到步驟（8）的過程，每個循環并行處理至多M景高分三號數據，直到處理完成所有高分三號數據。

特別需要注意：全極化方式數據轉換輸出結果為PolSARpro的S2矩陣格式，而雙極化方式數據轉換輸出結果為PolSARpro的RawBinary格式。

3算法實例

基于KingMapV10.0GIS平臺進行驗證，通過C/C++語言來編程實現。平臺運行真實環境如下。

電腦配置如下：操作系統為Win11專業版；LPDDR4x內存大小為16.0GB，3733MHz；CPU型號為11代英特爾酷睿i5-11300H@3.10GHz，四核，8線程；內置M.2接口固態硬盤，大小為512GB；外置Type-C接口移動固態硬盤，大小為2TB；英特爾Iris（R）Xe集成顯卡，顯存為128M。

為了便于對比測試，不妨在上述電腦上虛擬出兩臺基本相同配置的虛擬機，每臺虛擬機具體參數如下：操作系統為Win7旗艦版；LPDDR4x內存大小為6.0GB；CPU型號為11thGenIntel（R）Core（TM）i5-11300H@3.10GHz，3核；硬盤存儲容量為150GB；集成顯卡。

算法程序以2景高分三號全極化條帶I數據和2景精細條帶II數據（數據清單如表1所示）進行轉換，經驗證本文算法轉換后的全極化條帶I數據結果與PolSARpro軟件生成的結果一致，精細條帶II運行結果與《高分三號衛星地面系統用戶手冊》中結果一致，表明算法真實可靠。本文算法針對不同成像模式下的多極化方式數據定標轉換性能結果如表2所示。

運行效率分析：采用同樣配置的雙機環境下，本文基于MS-MPI、MapReduce和OpenMP混合編程方法處理4景高分三號數據，虛擬機1處理2景精細條帶II雙極化方式數據共耗時約183.51s；虛擬機2處理2景全極化條帶I全極化方式數據共耗時約9.641s。從中可以看出，本文算法對不同成像模式下的多種極化方式高分三號數據進行了支持；同時，不同成像模式下的數據大小不同，轉換時間差異較大，性能相差約為19.0倍。隨著高分數據量大小的增長，定標轉換預處理時間也隨著明顯增長。因此，針對數據存在偏斜問題，有待進一步實現分布式環境下每臺服務器的負載均衡。

本文算法對于分布式環境下多種成像模式下的并行式處理高分三號多時相影像數據集時將更有優勢。

4結語

本文利用高分三號簡化推導公式進行計算，并提出了基于OpenMP、MapReduce和MPI高分三號多成像模式多極化方式數據分布式并行轉換算法。該算法基于KingMapV10.0GIS平臺上采用C/C++編程實現并進行了實際數據測試，驗證了算法的高效性、可靠性、易擴展性和正確性。當然，本文還有不足的地方，即存在數據偏斜問題，有待均衡化處理，留待后續解決。

參考文獻

[1]張蕾.數說“太空全能神探”[EB/OL].（2022-04-08）[2024-03-05].https：//news.gmw.cn/2022-04/08/content_35642673.htm.

[2]張慶君.高分三號衛星總體設計與關鍵技術[J].測繪學報，2017，46（3）：269-277.

[3]國家國防科技工業局重大專項工程中心，國家航天局對地觀測與數據中心.2018中國高分衛星應用國家報告（標準規范卷）[M].北京：國防科工局重大專項工程中心，2018.

[4]國家國防科技工業局重大專項工程中心，國家航天局對地觀測與數據中心.2018中國高分衛星應用國家報告（共性產品卷）[M].北京：國防科工局重大專項工程中心，2018.

[5]ESA.PolSARpro[EB/OL].（2024-03-05）[2024-03-05].https：//earth.esa.int/web/polsarpro/home.

[6]陳云，鞠佳衡，林偉木，等.一種高分三號復數散射矩陣數據快速轉換算法[J].測繪與空間地理信息，2022，45（3）：50-52.

[7]陳云.基于OpenMP的高分三號數據并行轉換算法[J].測繪與空間地理信息，2022，45（6）：85-86，91，95.

[8]陳云.基于MPI和OpenMP混合編程的高分三號數據分布式并行轉換算法[J].測繪與空間地理信息，2024，47（2）：43-45，49.

[9]陳云.基于MapReduce的VCT3.0多圖層面間接線并行構建算法[J].測繪地理信息，2022，47（3）：157-160.

[10]遙感事微信公眾號.高分3號數據處理之PolSARpro[EB/OL].（2017-05-02）[2024-03-06].https：//mp.weixin.qq.com/s/zQH3lWOCUyuXSwwQ5_wWBA.

[11]國防科工局重大專項工程中心，中國資源衛星應用中心.高分三號衛星地面系統用戶手冊[Z].北京：中國資源衛星應用中心，2017：1-39.