模糊超像素分割算法的無人機影像煙株精細提取

夏炎，黃亮,2，陳朋弟

(1.昆明理工大學國土資源工程學院，昆明 650093； 2.云南省高校高原山區空間信息測繪技術應用工程研究中心，昆明 650093)

0 引言

煙草是一種經濟價值較高的作物，云南省因其自然環境優勢，成為煙草種植的主要地區之一，種植煙草已成為當地煙農經濟收入和經濟發展的主要途徑之一。國家煙草專賣局于2007年提出發展現代農業的戰略目標，并建設現代化煙草農業，努力實現“一基四化”的目標[1]。與傳統人工統計相比，煙株的自動化提取可以大大加快對于煙草的統計速度，通過提取結果對煙草的產量、質量以及銷售價格做到估計和預判，可幫助貧困煙農產煙銷煙。努力實現農村地區煙草單株自動化提取，并與精準扶貧工作相結合[2]，對加快現代化農業發展有重要意義。

運用遙感影像對煙草進行提取已逐漸被推廣，國內外諸多學者就煙草的提取問題探討和研究。Han[3]采用支持向量機(support vector machine，SVM)的方法對烤煙的生長部分進行識別和提取； 吳孟泉等[4]對云南產煙縣利用遙感監測手段和監督分類方法對煙田地塊和面積進行提??； Guru等[5]結合概率神經網絡和形態學，對病變的幼苗煙葉進行分類和提?。?李天坤[6]以多種遙感影像為數據源，利用SVM和面向對象分類等方法對煙草種植面積進行提?。?董梅等[7]和陳金等[8]等分別選取多種特征值，結合形態學和面向對象等方法，對煙草的種植面積進行提取； 胡九超[9]選取雙極化Terra SAR-X和的全極化Radarsat-2為研究數據，利用高分辨率合成孔徑雷達(synthetic aperture Radar，SAR)對煙草進行識別和提??； 劉明芹等[10]以資源三號衛星為研究數據，利用面向對象的方法，結合地面控制點(ground control-point, GCP)的光譜、紋理和形狀等屬性對煙草面積進行提??； 王政等[11]以環境一號(HJ-1)衛星為基礎，分析比較歸一化植被指數(normalized difference vegetation index , NDVI)和比值植被指數(ratio vegetation index , RVI),快速準確的獲得烤煙種植信息； 付靜[12]結合Otsu算法和形態學方法，分別對煙草苗期株數進行提取。分析近年來國內外針對煙草的提取研究可知，由于煙草為小目標地物，許多衛星遙感影像的空間分辨率不足以區分出種植煙草株數，僅依靠種植面積很難判斷煙草產量、長勢和蟲害等情況，煙株提取則更為有效直觀，可獲取更多豐富信息。目前大多集中于種植面積提取，而對于煙草株數提取方面則研究較少； 從提取方法上看，由于煙草葉片較小且形狀不規則等因素，給其單株提取帶來了極大的困難，在前期研究中，采用的方法有多尺度分割算法和基于形態學分割算法等，但仍然存在一定問題，如邊界依附性差、分割尺度難以確定以及分割錯誤等。具體來說，目前常用的分割方法中，SVM算法可以解決非線性分類，但對和函數的選取敏感，且計算量大耗時較長[13-14]； Otsu算法雖不受圖像對比度和亮度的影像，但對噪音較為敏感，當目標與背景的灰度有較多重疊時，也難以將其區分[15-16]，分水嶺算法受噪聲點和圖像的連續性影像較大，容易出現嚴重的過分割現象[17]； K-mean算法中對k值的選取難以把握，且容易陷入局部最優的問題[18-19]。

采用模糊超像素(fuzzy-superpixels,FS)算法進行預分割可為后續煙草精細提取提供基礎，FS算法更易理解和實現，具有更好的邊界一致性，也可減少混合超像素產生，耗時較短，部分學者也利用相似的方法對高分辨率遙感影像進行分割[20]。因此，本文以云南省宜良縣為研究區，選取亞米級空間分辨率的無人機影像作為實驗影像，提出FS分割結合多特征的無人機煙株提取方法，以期實現煙株的精細提取。

1 研究區概況及數據源

1.1 研究區概況

宜良縣位于云南省中部，地處N24°30′36″～25°17′02″，E102°58′22″～103°28′75″之間，屬北亞熱帶季風氣候區，全年平均氣溫16.3 ℃，年均降雨量898.9 mm，5—10月受孟加拉海灣海洋西南季風影響，導致降雨量顯著增加，占全年的80～85%； 大部分地區海拔在1 500～1 800 m之間，占地1 913.53 km2，地勢為南低北高，境內河流屬珠江流域西江水系，土壤多以紅壤為主，占土壤總面積的85.1%，該區域主要種植的作物有小麥、玉米、豆類、煙草、油菜和水稻等。

1.2 數據源

以穩定性較強的中海達iFly-U3電動固定翼無人機為平臺，搭載SONYa7R相機，像幅大小為7 360像素×4 912像素。拍攝日期為2018年7月中旬，飛行速度為85 km/h，飛行高度介于3 000～4 000 m之間，拍攝氣溫19 ℃。

選取3景影像(圖1)，均為復雜場景下的煙草種植區，包含房屋、灌木、裸地、道路和湖泊等多種地物，影像分辨率均為0.05 m，影像清晰，變形小且無云霧遮擋，滿足煙株提取要求。影像包含紅(R)、綠(G)、藍(B)3個波段，采用WGS-84坐標系。其中，數據1大小為1 230像素×675像素，種植區域不規則，煙葉顏色多為青黃色和暗黃色，葉片較??； 數據2大小為1 163像素×919像素，煙株葉片呈深綠色，種植區域位于房屋之間； 數據3的影像大小為1 438像素×800像素，種植區域位于湖泊下側，煙株間差異較大，左下方煙株顏色多為深綠色，葉片較大且生長密集，其余煙株顏色多為暗黃色，葉片較小。3景影像通過目視可有效辨認煙株數目，為后期提取煙株數目提供有效參考，但煙葉之間以及煙草與周圍雜草之間均存在相互遮擋的情況，煙葉種植邊界與灌木或雜草的邊界難以區分，給后期提取帶來一定困難。

2 研究方法

本文研究方法分為5個步驟： ①對無人機進行植被提取并判斷是否提取完全； ②采用FS分割算法對影像進行分割； ③選擇對應特征并對特征值的最佳閾值進行選?。?④結合最佳閾值和人機交互對煙株數目進行提??； ⑤對提取得到的煙株信息進行統計分析和精度評價。具體流程圖如圖2所示。

圖2 方法流程Fig.2 Flow chart of proposed method

2.1 綠地提取方法

無人機影像的光譜性質特殊，只含有R，G，B這3個波段，缺少對于綠地較為敏感的近紅外(NIR)波段，固先將影像的顏色空間從RGB轉換為HSV，然后對圖像進行色彩分割，通過多次實驗，確定分割的閾值如下： 0.180.16； 再將提取得到結果中面積小于0.1 m2的圖斑刪除并對內部空洞處進行填充，最終得到綠地區域。

2.2 FS超像素分割算法

超像素分割在圖像的分割、分類和信息提取方面都是一個重要的組成部分，它是由許多位置相鄰且擁有相似特征(如光譜特征、紋理特征和幾何特征)的像素組成的像素集合，形成的區域提高了分割的效率，減少了分割的冗余信息，并保留了較完整的圖形邊界。不同的超像素算法有各自不同的優缺點，但現有分割方法存在形成大量混合超像素的問題，對信息提取有較大影響。

Guo等[21]針對這一問題提出模糊超像素這一概念，目的是強制減少混合超像素。模糊超像素分為兩部分： 超像素和不確定像素。其中，不確定像素是指未被確定的像素且也不屬于任何超像素的像素。FS超像素具體的實現步驟如下：

2)根據模糊超像素的數量和聚類中心找出非重疊搜索區域和重疊搜索區域，非重疊搜索區域中的像素屬于該聚類中心對應的超像素，并分配對應標簽。針對任何一個像素，所對應的不同聚類中心的隸屬度u和為1。定義為：

(1)

式中：i為重疊區域的像素；j為對應中心像素；c為與像素i可能有關的的所有聚類中心像素總數；n為重疊區域像素的次數。

重疊區域的每一個像素到該聚類中心的距離定義為：

(2)

式中:u(i,j)∈[0,1]，其中[0,1]為隸屬度的取值范圍;C1,…,Cc為中心像素，Jj∈(C1,...,Cc)；m∈[1,∞)為索引權重;Dpolsar為像素i、中心像素j之間的距離計算公式，既考慮了無人機影像的性質又考慮了像素之間的位置關系，其具體定義如下：

(3)

式中：dw(i,j)為基于Wishart分布的距離；dxy(i,j)為空間距離；mpol為一個平衡基于Wishart分布的距離和位置距離的重要性參數，mpol值越大，位置越接近。dw(i,j)和dxy(i,j)公式分別為：

(4)

(5)

式中:Ti為該分布的相干矩陣； Tr為矩陣Ti的跡。

構造最小化目標函數，使J(U,C1,....Cc)取得最小值，最小化目標函數定義為：

(6)

式中λ為該約束函數的梯度值。

3)確定非重疊區域的超像素，然后計算重疊區域的像素和中心像素之間的隸屬度，過程如下：

(7)

(8)

式中k為未重疊時的中心像素。

4)后處理。通過判斷像素的隸屬度進而判斷該像素是否屬于超像素，同時強調區域的連通性。判斷過程如下：

Udiff=Umax-Usubmax=[Udiff1,...,Udiffn] ，

(9)

UdiffMed=median(Udiff)，

(10)

式中：Udiff為像素隸屬度差值;Umax為對應像素最大隸屬值;Usubmax為下一像素的最大隸屬值;UdiffMed為該像素隸屬值的中值。?i∈n，若Udiffi>UdiffMed，則像素i屬于中心像素的超像素; 否則，i為未被確定的像素。

2.3 特征最佳閾值分析

結合影像信息，通過多次對不同特征的驗證，選擇均值(Mean)、亮度(Brightness)、形狀指數(Shape Index)、長寬比(Length/Width)、自定義植被指數(custom vegetation index,CVI)、各波段灰度共生矩陣熵(GLCM Entropy)和對比度(GLCM Contrast)以及紅、綠、藍3個波段。

均值由構成對象的全部n個像素的灰度值Cn計算得到，均值和亮度的公式分別為：

學?？梢蚤_展針對任務型教學法的觀課、評課比賽。通過學習其他教師的教學優勢，提高自身素質，定期檢查教案，評比教案。教師需要反復收集材料，處理材料，設定任務，精算時間。這是一個班級成功的關鍵。備課是一項艱苦的心理活動，教師必須在有限的時間內計劃好所有的步驟，準備應對緊急情況的策略。與沒有任何準備的純教學相比，它有不同的效果。在任務的設計上，一個課時的任務數量要根據教學內容來設置。它不能太多或太少。Skehan曾說過，“任務型教學的核心是讓學生通過學習語言完成任務。”[1]任務設置必須有針對性。通過完成這項任務，學生將掌握一些技能。老師應該掌握這項工作的困難程度。

(11)

(12)

式中：n為像素個數；L為圖層數；CLi為i層對應的灰度值；nL為影像對象圖層的數量；ci為第i層影像對象的光譜值。

長寬比是取影像矩陣長和寬特征值的協方差，得到比值γ：

(13)

式中eigi(i=1,2)為長(寬)協方差矩陣的特征值。

形狀指數s公式為：

(14)

式中：e為影像對象的邊界長度；A為影像對象的總面積。使用形狀指數可以描述影像對象邊界的光滑度，影像對象越破碎，則形狀指數越大。

CVI公式為：

(15)

式中：G為綠波段值;B為藍波段值;R為紅波段值。

熵(GLCM Entropy,E)和對比度(GLCM Contrast,C)的公式分別為：

(16)

(17)

首先對綠地進行提取得到煙草的候選區域，利用以上特征來計算超像素的各個特征值，分別進行計算和分析，結合監督分類，將綠地分為煙草區域和非煙草區域兩部分，對比兩類區域不同特征的變化。通過多次實驗，得到差別最為明顯的特征分別為均值、亮度、自定義植被指數和灰度共生矩陣對比度4個特征，具體如圖3所示。由于煙草和非煙草的數據量都較大，在進行特征統計和分析時，選用該特征每一階段的平均值作為實際使用值，減少了大量的冗余數據。從圖中可以看出，煙草的光譜均值、亮度值和灰度共生矩陣對比度的值均處于非煙草同種特征值的上方，如圖(a)、(b)、(d)所示； 從圖(c)中可以看出，煙草的CVI指數的波動范圍明顯比非煙草的波動范圍小，大概穩定在0.1和0.17之間，以上特征能較好地將煙草區域和非煙草區域區分開。

3 結果與分析

3.1 植被提取結果

通過植被提取算法，得到影像的綠地提取結果，如圖4所示。從圖中可以看出，植被從影像中被完全提取出來，裸地、土壤和建筑物的信息被全部剔除，減少了后期對煙草提取的大量干擾。

3.2 分割結果

由于無人機的拍攝高度不同，導致3景影像中煙草煙葉大小相差較大，分割尺度也不同。利用FS超像素算法對植被提取結果進行分割，經過多次實驗，得到相對最優分割尺度，其中： 數據1分割尺度為2 500，如圖5(a)所示； 數據2分割尺度為2 300，如圖5(b)所示； 數據3分割尺度為3 000，如圖5(c)所示。

以FS超像素分割尺度為基礎，利用多尺度分割算法對植被提取結果進行分割，計算公式為：

(18)

式中：Len為多尺度分割的分割尺度；N為影像的總像素大??；M為FS超像素算法的分割尺度。計算得到3景影像分割尺度分別為25，21和20，分割結果如圖6所示。

3.3 煙株提取結果

本文研究方法得到的提取結果如圖7所示。從圖中可以看出，白色區域為提取得到的煙草區域，紅色部分為煙株的提取邊界，和真實煙株相比較可看出邊界一致性較好，提取得到的圖斑形狀和煙葉形狀高度吻合，通過統計圖斑個數，最終得到煙株數目，且大部分的煙草周邊雖存在諸多不同地物，但仍然被準確識別并提取。

對比實驗采用傳統的多尺度分割算法，提取得到的提取結果如圖8所示，其中白色區域為煙草提取區域，紅色部分為煙葉的提取邊界，對比實際煙葉可以看出，提取結果與煙葉實際形狀不符，邊界一致性較差，提取的圖斑破碎，無法對煙株數目進行統計。

3.4 精度評價

對煙株提取結果的精度進行定量評價，本文采用總體精度(Overall accuracy, O)、錯檢率(False rate, F)和漏檢率(Miss rate, M)進行評價，具體定義為：

(19)

式中：FP為錯檢數目；FN為漏檢數目；t為像元總和。

(20)

(21)

式中：m為行像素；n為影像的列像素；RCD為總數中存在的不合格數。

實驗中，采用FS算法對煙株進行提取，得到數據1提取數目為650株，實際株數為626株，總體精度為84.28%； 數據2提取數目為490株，實際株數為438株，總體精度為89.05%，數據3提取數目為552株，實際株數為513株，總體精度為82.97%； 采用SLIC超像素算法對煙株進行提取，3景影像的總體精確度分別為54.05%，59.2%和63.7%，由于過分割現象嚴重，無法對煙株進行數目統計。從精度評價結果來看，3景影像采用FS算法得到的總體精度明顯高于傳統方法，錯檢率和漏檢率也均低于傳統算法。具體數據如表1所示。

表1 煙草提取精度評價Tab.1 Tobacco extraction accuracy evaluation

4 結論和討論

為解決煙株提取難的問題，實驗采用了FS模糊超像素方法對煙株進行提取。結果表明，該方法提取得到的煙株數目與實際數目相差較小，相比傳統算法，該算法在總體精度上有大幅提高?？傮w而言，實驗結果能夠滿足小范圍內煙草的自動化提取，且提取得到的煙葉邊界一致性更好。

但實驗過程中依然存在諸多問題： ①煙葉形狀不規則，且不同生長時期的煙葉大小和顏色差異較大，同物異譜或異物同譜現象普遍，導致被錯識或漏識； ②無人機遙感影像分辨率較高，地物成像更為清晰真實，但在影像中，地物較為復雜，如河流、建筑物和雜草等，導致目標地物與周邊地物邊界難以區分，邊界模糊，這對精細提取帶來極大的干擾； ③種植煙草時，煙株間的間距較小，煙葉生長過程中存在互相遮蓋的情況，使得目視辨認得到的參考煙株數目存在一定誤差，并且很難對其建立適合的模型，利用形態學的方法也較難區分開，這對單株精細提取帶來了極大的困難。

針對上述提及的實驗中存在的問題，后期研究中還需進行改進和完善，比如可以將無人機影像和多光譜影像相結合，獲取更多的煙草光譜信息和特征信息，加強對煙草形狀模型構建的研究等，從而得到更多準確的煙株信息。此外，還將在后續的工作中，獲取更高空間分辨率的無人機影像，并研究空間分辨率對現有方法的影響。