基于Hadoop云平臺的無人機遙感圖像分割

李 杰，曹付斌

(長春大學 a.教務處；b.研究生部，長春 130022)

基于Hadoop云平臺的無人機遙感圖像分割

李 杰a，曹付斌b

(長春大學 a.教務處；b.研究生部，長春 130022)

針對現有的圖像分割方法對于無人機遙感圖像分割速度慢實時性差的問題，本文展開了對基于Hadoop平臺進行無人機遙感圖像分割方法的研究。在分析了Hadoop云平臺的結構特性以及其組件MapReduce編程思想的基礎上，提出了一種利用OpenCV和Hadoop云平臺相結合進行圖像分割的方法。實驗結果表明基于Hadoop云平臺的無人機遙感圖像分割，在保證較好的效果的前提下在分割速率上相比MATLAB有了很大提高，在圖像分割的實效性上有了很大的提升。

無人機遙感圖像；Hadoop平臺；圖像分割；MeanShift算法

0 引言

由于無人機遙感具有快速、便捷、不受天氣影響等特點[1]，使其廣泛應用到海洋測繪、電力勘察設計、山區水利測繪、臺風災害監測國民生產生活的多個領域[2]。無人機遙感圖像數據量巨大，必須將其圖像數據進行分割和分類才能進行有效的利用。圖像分割是進行圖像分析、識別、理解的基礎，圖像分割質量的好壞和速度的快慢會對后續圖像處理產生重要的影響，甚至會影響無人機遙感圖像數據采集任務的成敗[3-4],而借助于大數據平臺可以有效的提高信息處理的速度[5]。

Hadoop平臺具備優秀的大規模數據處理能力、較高的容錯性以及可靠性高、低成本等優勢[6]，能夠提供分布式的數據存儲和分析的解決方案，為并行地處理海量圖像數據提供了基礎。目前，Hadoop云平臺在圖像處理相關的領域的應用研究已有一定進展，如圖像分類系統[7]、字符識別系統[8]、圖像管理系統[9]、人臉檢測[10]等。

目前的圖像分割算法對于無人機遙感圖像的分割存在著各種問題[11]，比如：分割邊緣模糊化、過分割、邊界解析不明顯等。MeanShift圖像分割算法是利用圖像的像素信息進行分割圖像的具體空間坐標，將收斂于同一極大值的所有像素點歸為一類，將符合設定條件參數的類合并為圖像分割的結果[12]。MeanShift圖像分割算法可以基本保留灰度圖像的特征，并且能較好地區分不同的區域，在彩色圖像分割上表現優異，圖像邊界清晰分類較為明顯，并且算法耗費時間較短[12-13]。

本文主要研究基于大數據平臺實現無人機遙感圖像分割問題，采用MeanShift圖像分割算法，搭建基于MeanShift分割算法的Hadoop圖像處理平臺。實驗表明：與傳統的MATLAB算法實現相比，在Hadoop圖像處理平臺上進行圖像分割具有明顯的時效優勢。

1 基于Hadoop云平臺的無人機遙感圖像分割算法

1.1 基于Hadoop的圖像處理

Hadoop是Apache基金會開源的一套分布式存儲計算框架，是基于云體系中的一套云計算平臺，為用戶提供分布式存儲和計算的編程環境。Hadoop主要由兩大核心組件HDFS和MapReduce組成。HDFS是Hadoop Distributed FileSystem的簡稱，是Hadoop平臺的數據存儲基礎；MapReduce是一種分布式程序設計模型，用于在集群中對海量數據進行并行處理[14]。

基于Hadoop的圖像處理平臺，輸入的圖像數據是存儲在HDFS上的遙感數據，MapReduce框架會從HDFS中加載圖像數據。MapReduce編程模型中包含程序開發的各種實體類和接口，其中InputFormat類用于對輸入文件進行有效性檢查，將文件進行邏輯切片并分發給不同的mapper進行處理，并且它還提供了RecordReader的實現，從數據切片中讀取數據并生成鍵值對[9]。

為了處理圖像數據，需要自定義改寫圖像處理接口，即ImageInputFormat和ImageRecordReader。讓ImageInputFormat和ImageRecordReader分別繼承InputFormat和RecordReader，ImageInputFormat對輸入的圖像數據進行檢查校驗，重寫isSplitable()方法，將該方法返回值設置為False以將整幅圖像作為一個split，不對圖像進行切分，否則會對圖像的信息造成損壞。Hadoop框架會調用ImageRecordReader將讀入的每一個圖像文件生成相應的鍵值對，map函數調用圖像處理的相關算法對圖像進行處理。

圖像的讀入是以二進制數據流的形式讀取的，而圖像輸出時我們需要將圖像以可視化的形式存儲，以便于查看，所以需要自定義圖像的輸出類型，以便于圖像在HDFS中進行存儲。自定義圖像的輸出類，將ImageRecordWriter類繼承抽象類RecordWriter，在ImageRecordWriter類中將二進制字節流寫入到新的圖像文件中，實現將輸出的鍵值對寫入到HDFS上，實現其對圖像數據的存儲。

1.2 基于MeanShift的圖像分割算法

1.2.1 MeanShift圖像分割算法的原理

Mean Shift算法的原理對于數字圖像X像素為xi采用均值漂移算法，x點的均值漂移向量Mh(x)可以用下式表示：

(1)

式中：G表示核函數，w為權重。均值漂移向量的方向和核函數的概率密度方向是一致的。

Comaniciu已經證明了MeanShift算法在滿足一定條件下最終一定可以收斂到最近的概率密度函數的穩態點[15]，所以沿著均值漂移向量的方向不斷更換核函數的中心位置直至收斂，就會找到臨近模值點的位置。

而在彩色圖像分割中，MeanShift算法的特征空間通常包括二維的地理位置信息和三維的色度空間信息。因此在彩色圖像等額中，均值漂移算法的核函數可以定義為[16]：

(2)

式中：xr是三維值域中的三維彩色特征向量；xs是二維空間的位置坐標；hs是空域窗寬；hr是色度域窗寬；C是歸一化常量。

不同hs和hr對圖像分割的細節以及色度有著不同的影響，所以對不同分辨率的圖像會選用不同的hs和hr的值。加入核函數后，x像素點處的均值飄移向量為[16]：

(3)

當且僅當mh,G(x)=0時可以得出新的圓心坐標：

(4)

通過對圖像中的每一個像素點，利用均值飄移算法進行計算偏移向量，不斷偏移直至收斂，就得到了各自特征的模式，實現對彩色圖像像素點特征空間的聚類，進而獲得分割圖像[17]。

1.2.2 基于Hadoop的MeanShift算法圖像分割

MeanShift算法是基于聚類的迭代算法，其復雜性對計算機性能要求較高。而Hadoop集群是基于分布式的數據處理系統，在理論上可以無限擴展其計算能力，這對于聚類算法有著直接的好處[18]。在Hadoop上實現MeanShift算法分割圖像的步驟歸結如下：

(1)設計圖像的輸入類型，自定義圖像輸入類型ImageInputForamt，自定義圖像文件的切割方法；

(2)設計圖像的輸出類型，自定義ImageRecordWriter類，實現數據的圖像形式的存儲；

(3)在圖像數據特征空間中，以點x為中心，h為半徑作一個高緯球，得到落在球內的所有點xi；

(4)利用公式(3)計算mh,G(x)；

(5)如果mh,G(x)<ε，退出程序(ε為容許誤差，取值范圍為0到1)；

(6)如果mh,G(x)>ε，利用公式(4)得到的新圓心坐標x返回步驟(3)；

經過上述步驟的迭代計算和賦值操作，均值漂移窗口不斷移動，經過窗口變換后收斂到數據峰值的所有點都會連通起來，形成圖像分割，并在Reduce階段將數據輸出至HDFS進行保存。

2 實驗及結果分析

2.1 遙感圖像分割帶寬選取實驗

圖像數據為無人機航拍圖像，圖像尺寸為7360×4912，大小為20M左右。實驗設備為一臺Dell INSPIRON9518電腦，內存12G。通過虛擬機安裝配置3個Linux系統，這里安裝的是centos6.4版本的系統。利用3個Linux系統搭建三個節點的Hadoop集群，一個master節點和兩個slaver節點，同時master節點也作為數據節點，每個節點的系統物理配置都是一樣的，并且預裝實驗所需要的軟件，在主節點上安裝OpenCV2.4.11，進行Hadoop集群的搭建。Hadoop版本選擇的是原生Hadoop-2.6.0。

MeanShift算法的兩個關鍵參數是空間域半徑sr(即公式(2)中的hs)和顏色域半徑sp(公式(2)中的hr)，首先選取不同的空間半徑和色域半徑進行圖像分割，以觀察兩者對分割結果的影響。

實驗選取的是無人機航拍圖像，具有明確的分類信息和邊緣特征信息，圖像中有道路、房屋、樹木、車子以及樹木的陰影等，信息量較為豐富，顏色對比以及過渡信息明顯，并且形狀特征明確。這樣的圖像選取出來的分割帶寬，無論對于特征簡單還是特征信息復雜的圖像都具有很好的適應性。

取sr為10、20、30，sp為20、30、40，得到9種組合，原始測試圖像及不同的sr和sp分割結果如圖1所示。

圖1-0 原始測試圖像

圖1-1 sr=10，sp=20

圖1-2 sr=10，sp=30

圖1-3 sr=10，sp=40

圖1-4 sr=20，sp=20

圖1-5 sr=20，sp=30

圖1-6 sr=20，sp=40

圖1-7 sr=30，sp=20

圖1-8 sr=30，sp=30

圖1-9 sr=30，sp=40

由上述分割結果圖可以看出，顏色域半徑sp對結果的影響比空間域半徑sr對結果的影響更大。sp和sr越小，細節保留得越多，sp和sr越大，平滑力度越大，邊緣和顏色突變的區域的特征保留的較好。

因為MeanShift算法要對每個像素點進行操作，所以花費時間很多。對于本文所選用的遙感圖像(7360×4912)，分割時的顏色域半徑和空間域半徑選取為sr=20，sp=40時對圖像分割的效果最好，圖像清晰度、細節保留、邊緣特征以及顏色變換區域的特征更加豐富效果更好。

2.2 基于Hadoop和MATLAB平臺的圖像分割實驗

為了比較基于Hadoop和MATLAB平臺的圖像分割實驗，選取六幅圖像，其紋理特征復雜度、內容信息豐富性、顏色對比強烈程度、分割的復雜性依次增大，以代表圖像分割圖像從簡易到復雜的程度。

根據2.1的實驗結果，取空間域半徑sr=20、顏色域半徑sp=40，用來對本文選取的無人機遙感圖像進行分割。

由于灰度圖像可以更好的保持圖像的紋理特性，并且能夠節省圖像處理的時間，這里使用MATLAB進行圖像分割是先將圖像進行灰度化，忽略掉顏色特征信息。

原始圖像以及不同平臺分割的圖像結果如圖2所示。

圖2-1(a)原始圖像

圖2-1(b)Hadoop平臺

圖2-1(c)MATLAB平臺

圖2-2(a)原始圖像

圖2-2(b)Hadoop平臺

圖2-2(c)MATLAB平臺

圖2-3(a)原始圖像

圖2-3(b)Hadoop平臺

圖2-3(c)MATLAB平臺

圖2-4(a)原始圖像

圖2-4(b)Hadoop平臺

圖2-4(c)MATLAB平臺

圖2-5(a)原始圖像

圖2-5(b)Hadoop平臺

圖2-5(c)MATLAB平臺

圖2-6(a)原始圖像

圖2-6(b)Hadoop平臺

圖2-6(c)MATLAB平臺

從實驗結果看，大數據平臺上運行MeanShift算法對于圖像分割的效果顏色和邊緣信息保留較好分割區域較為明顯，而MATLAB分割的圖像在分割細節方面效果更好。

基于Hadoop平臺的圖像分割時間與MATLAB的圖像分割時間以及兩者比率對比如表1所示。

表1 不同平臺圖像分割耗時

從實驗結果可以看出：在MATLAB平臺下，即使忽略掉了圖像的顏色特征信息，大數據平臺上運行MeanShift算法速度仍然更快。

實驗表明：在滿足實際需求情況下，在圖像分割細節不影響實際使用的情況下，基于Hadoop平臺的圖像分割有更好的實效性。從表1可以看出，實驗中，在每一幅圖像的分割中基于Hadoop平臺的分割速度都比MATLAB平臺的分割速度快很多，基于Hadoop平臺的分割速度與MATLAB平臺分割速度的比值，平均為1：93。

3 結論

本文在Hadoop云平臺上實現了無人機遙感圖像的MeanShift分割算法，并與常用的MATLAB平臺進行實驗對比。結果表明：

(1)基于Hadoop平臺完成的圖像分割，處理后的圖像可以保持較為豐富的元數據信息，在紋理特征上表現更好，在色度明亮的區域表現更為突出，比如圖像中的道路、屋頂、農田交接處等表現出了較好的分割效果。而MATLAB處理后的圖像在信息的豐富度上保留的不明顯，在兩種區域的分界處還有一些模糊，但在細節紋理上表現較好，對區域的分割表現更為細膩。

(2)本文實驗統計Hadoop平臺上圖像的分割速度比MATLAB平臺平均快了93倍，如果在專業的Hadoop平臺上以本文的實驗方法做圖像分割，在速率上會有更大的提升。

可見基于Hadoop平臺的無人機遙感圖像分割，在圖像分割效果和分割速率上都大大優于單機MATLAB平臺的實驗結果，很好的解決了傳統處理方法速度慢實效性低的問題。

[1] 高奮生. 低空無人機遙感的應用及發展[J]. 農業網絡信息,2014(12):75-78.

[2] 龔明飛. 無人機影像處理技術在測繪工程中的應用[J]. 黑龍江科技信息,2016(6):92.

[3] 王愛民,沈蘭蓀. 圖像分割研究綜述[J]. 測控技術,2000(5):1-6+16.

[4] 王玉鵬. 無人機低空遙感影像的應用研究[D].鄭州：河南理工大學,2011.

[5] 田野,蘇紅旗,田棟. Hadoop下海量遙感數據的處理[J]. 軟件,2014(3):91-93.

[6] 霍樹民. 基于Hadoop的海量影像數據管理關鍵技術研究[D].長沙：國防科學技術大學,2010.

[7] 朱義明. 基于Hadoop平臺的圖像分類[J]. 西南科技大學學報,2011(2):70-73.

[8] 楊超. 基于Hadoop平臺的字符識別的研究[D].西安：西安電子科技大學,2012.

[9] 安春燕. 基于云計算的數字圖像處理平臺[J]. 數字技術與應用,2015(1):88.

[10] 呂聯盟. 基于云計算的人臉識別系統研究與設計[D].西安：長安大學,2014.

[11] 張晶,王黎,高曉蓉,等. 數字圖像處理中的圖像分割技術及其應用[J]. 信息技術,2010(11):36-39+43.

[12] Comaniciu D, Meer P. Mean Shift Analysis and Applications[C]// International Conference on Computer Vision. IEEE Computer Society, 1999:1197-1203.

[13] 吳靜靜,宋淑娟,安偉,等. 一種基于meanshift的多通道圖像分割算法[J]. 包裝工程,2015(21):89-94.

[14] 張功榮. 基于云計算的海量圖像處理研究[D].福州：福建師范大學,2015.

[15] DorinComaniciu,Peter Meer. Mean Shift: A Robust Approach Toward Feature Space Analysis.[J]. IEEE Trans. Pattern Anal. Mach. Intell.,2002,24(5):603-605.

[16] 王新華,畢篤彥. Mean Shift算法在圖像分割中的應用研究[J]. 微計算機信息,2009(9):290-292.

[17] Duan L Y, Xu M, Tian Q, et al. Mean shift based video segment representation and applications to replay detection[C]// IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004. Proceedings. IEEE, 2004:V-709-12.

[18] 周家香,朱建軍,梅小明,等. 多維特征自適應MeanShift遙感圖像分割方法[J]. 武漢大學學報(信息科學版),2012(4):419-422+440.

責任編輯：程艷艷

Remote Sensing Image Segmentation of UAV Based on Hadoop Cloud Platform

LI Jiea, CAO Fubinb*

(a. Academic Affairs Office；b. Graduate School， Changchun University，Changchun 130022, China)

In view of the problems that remote sensing image segmentation speed is slow and the real-time performance is poor, this paper makes a research on the remote sensing image segmentation method based on Hadoop platform. On the basis of analyzing the structural characteristics of Hadoop cloud platform and its component MapReduce programming idea, it presents a method of image segmentation with the combination of OpenCV and Hadoop cloud platform. The experimental results show that the remote sensing image segmentation of UAV based on Hadoop cloud platform not only has better results than MATLAB, but also improves segmentation rate, which improves the effectiveness greatly in image segmentation.

UAV remote sensing image; Hadoop platform; image segmentation; MeanShift algorithm

2017-11-08

李杰(1969-)，女，吉林白山人，教授，博士，主要從事圖像處理與視覺方面研究。

TP391.41

A

1009-3907(2017)02-0010-06