基于無人機遙感的玉米株高提取方法

張宏鳴 譚紫薇 韓文霆 朱珊娜 張姝茵 葛晨宇

(1.西北農林科技大學信息工程學院， 陜西楊凌 712100； 2.西北農林科技大學機械與電子工程學院， 陜西楊凌 712100)

0 引言

農情遙感監測是以遙感技術為主對農業生產進行動態監測的過程。在整個植被時期監測作物是精準農業的先決條件，在精準農業中占有重要地位[1-2]。隨著遙感技術不斷發展，遙感監測作物株高成為可能。玉米在解決糧食安全、飼料保障、發展國民經濟以及緩解能源危機等方面具有重要作用[3]。玉米植株高度可以間接地反映生物量積累，從而估算玉米產量，是進行生產調控的重要參考因素之一。因此在生長周期內，估算玉米植株高度具有重要意義。

傳統的玉米株高測量方法采用刻度尺人工測量，速度慢、工作量大且準確率較低，已不能滿足農業生產需要。無人機遙感系統具有運載便利，靈活性高，作業周期短，影像數據分辨率高等一系列優點[4]，為大范圍玉米株高信息的快速、準確、動態監測提供重要的技術手段，有效彌補了地面調查的部分缺陷[5]。

文獻[6-7]利用作物的3D模型對作物的高度進行計算。文獻[8-9]利用高光譜數據建立植株高度估算模型。文獻[10-12]通過將航空數字影像轉換為作物表面模型(Digital surface model，DSM)提取作物高度。文獻[13]利用數字圖像處理技術處理作物圖像，從圖像中取得株高等長勢信息。文獻[14-15]利用地面激光雷達實現作物冠層高度測量。文獻[16]運用機器視覺和圖像處理技術間接計算出作物株高，但是這種方法僅依靠二維圖像特征對植物生長信息進行測量，植株生長中的彎曲變形對測量誤差影響較大，降低誤差較困難。

圖像分割及識別技術在農業工程領域中得到廣泛運用。文獻[17-18]利用顏色特征對綠色植物圖像進行分割。文獻[19-20]通過圖像處理和支持向量機(Support vector machine，SVM)進行植物的分割及識別。文獻[21]采用直方圖閾值化和形態學濾波方法實現綠色植物與土壤背景的分割。文獻[22]提出一種基于植物整體外觀特征提取的植物自動識別方案，但是當圖像存在復雜背景時，可能會將背景分割到植物對象區域中。

目前關于無人機數字正射影像(Digital orthophoto map,DOM)與DSM結合進行玉米株高提取的研究較少。本文通過無人機獲取大面積、高精度的夏玉米DOM和DSM，采用K-means算法、遺傳神經網絡算法和骨架算法提取玉米株高，與實地測量株高進行對比和精度評價。

1 材料與方法

1.1 實驗區概況

實驗區位于內蒙古自治區鄂爾多斯市達拉特旗昭君鎮，其地勢南高北低，南部為丘陵山區，北部為肥沃的黃河沖積平原。實驗區域的地理位置為東經109°36′24″～109°36′28″，北緯40°25′58″～40°26′2″，常年干旱少雨，氣候為溫帶大陸性氣候。實驗區為半徑60 m的圓形區域，總面積約為9 498.5 m2。實驗區玉米行距58 cm,株距25 cm。將其劃分為5個不同水分實驗區域，如圖1a所示，各時期的實際灌溉量和降雨量分別通過安裝在噴灌機上的流量計(MIK-2000H型)及和實驗地相鄰的標準氣象站采集。在每個區域內選擇3個地勢高低有差異的6 m×6 m的實驗規劃區域，每個區域的對角線上平均選取3株玉米作為標記植株，在每個標記植株附近隨機采集4株玉米的高度，每個樣本區取5株玉米高度求平均值，以該平均值作為地面采集玉米的高度值，從而獲取不同的玉米植株高度。為精確統計株高，采用2 m×2 m作為實驗樣本區，共計45個樣本區。研究區域位置及樣本區分布如圖1a所示。標記植株的選取方法及實驗樣本區如圖1b所示。部分實驗樣本區如圖2所示。

圖1 研究區域Fig.1 Study area

圖2 實驗樣本區Fig.2 Experimental sample regions

1.2 無人機遙感影像采集系統

采用大疆精靈4Pro型無人機進行遙感影像的采集。大疆精靈4Pro型無人機具有飛行穩定、續航時間長、防止快速移動過程中產生拖影、障礙感知等優點，可以穩定獲取無畸變失真、可拼接的遙感影像。該無人機系統主要由飛行器、穩定云臺、影像傳感器等組成。其中飛行器是影像傳感器及其穩定云臺的搭載平臺，是獲取農業遙感數據的基礎;穩定云臺使得影像傳感器在飛行過程中保持相對地面穩定的狀態，從而避免了遙感影像的幾何畸變，同時也保證了影像采集過程中成像角度的相對穩定。無人機及傳感器如圖3所示，其主要技術參數如表1所示。

圖3 無人機和影像傳感器Fig.3 UAV and image sensor

參數數值/類型軸距/mm350起飛質量/g1388續航時間/min30最大遙控距離/mFCC:7000影像傳感器1英寸2000萬像素CMOS

在無人機遙感影像獲取時，為了避免云朵遮擋，選取太陽光輻射強度穩定的正午12：00，天空晴朗無云的天氣情況進行采集。采用Pix4Dmapper軟件快速生成專業的、精確的DOM及DSM數據。Pix4Dmapper處理數據大致流程如下：①導入影像(格式為TIF)和位置與姿態系統(Position and orientation system,POS)數據。②導入地面控制點(Ground control point，GCP)文件。③根據不同要求設置參數。④“一鍵式”全自動處理進行點云提取和立體模型建立，獲得DOM和DSM[23]。技術路線如圖4所示。

圖4 技術路線圖Fig.4 Technical roadmap

由Pix4Dmapper拼合得到的DSM和DOM數據的精度與無人機飛行高度、影像數量、影像重疊度、影像比例等因素有關。飛行高度越小，模型表面越光滑,具有更多的細節內容；影像數量多則產生的模型表面會更加光滑清晰,細節更加突出；重疊度越高,相鄰影像間的差異越小,同名點的匹配也越容易,相對定向精度越高,建成的模型質量越好[24]，而影像重疊度不夠則會缺失模型信息；影像比例越大生成點越多，模型表現細節越豐富。

參照有關無人機遙感研究的設置參數[12,25-29]，綜合分析實驗區域情況，最終選用飛行高度50 m拍攝的854幅影像作為數據源，地面分辨率為1.25 cm。基于精度要求，樣區范圍共布設5個地面控制點，使用實時動態定位(Real-time kinematic,RTK)進行測量，可用于空三運算和精度檢測。同時用這些點來檢測影像集合定位精度，保證校正影像在作物株高提取中的基本應用需求。GCP坐標系選擇CGCS2000/3-degree Gauss- Kruger CM111E (egm96)，拼接時Pix4Dmapper自動獲取相機型號FC63108.85472x3648(84ddd3d74c736564626ec d8e10c57f19)(RGB)。其他參數設置如表2所示。

表2 Pix4Dmapper拼接主要參數Tab.2 Main parameters of splicing in Pix4Dmapper

1.3 基于數字表面模型的株高提取原理

無人機影像實驗數據于2018年6月12日至2018年7月8日在內蒙古自治區鄂爾多斯市達拉特旗昭君鎮進行采集,共5期數據，分別記作D0、D1、D2、D3和D4,對應時期為t0～t4。在t0時獲取的數據記作D0，此時實驗田為播種后至出苗前的裸土，獲取其無人機可見光影像，結合GCP生成實驗田的DSM，記作Ddsm0，可以得到實驗田高精度的高低起伏變化情況，作為后期H數據提取的地表基準面(因為此時地面近乎為裸土,無植株高度變化,不進行株高提取實驗,僅作為后期輔助計算的地表基準面)。在ti(i=1,2,3,4)時期使用與t0時相同的GCP，生成后期各生長階段的Ddsmi(i=1,2,3,4)，與Ddsm0作差可以得到對應ti時期玉米的植株高度為

Hi=Ddsmi-Ddsm0(i=1,2,3,4)

(1)

研究區域的玉米DSM如圖5a所示，基于DSM的株高提取原理如圖5b所示。在玉米生長過程中，實地測量值以頂端完全展開的葉子為基準測量的高度作為玉米的高度。

圖5 DSM及株高提取原理Fig.5 DSM and plant height extraction principles

從圖5a可看出高度為-4.581～4.775 m，這是因為兩期數據的噴灌機位置不同。t0時，噴灌機位于圖5a標記位置1處，此時的Ddsm0為噴灌機高度，后期Ddsm1較噴灌機Ddsm0低，則Ddsm1與Ddsm0作差產生負值；t=1時，噴灌機位于圖5a標記位置2處，此時的Ddsm1為噴灌機高度，后期Ddsm1較Ddsm0高，則Ddsm1與Ddsm0作差產生正值。根據統計，99.8%的高度數據在正常范圍內，可以進行研究。

2 研究方法

采用無人機DOM與DSM結合的方法進行玉米株高提取。主要步驟包括：①獲取玉米高清可見光航拍影像。②完成航拍影像的拼接以及預處理等，生成所需的DSM及DOM，選擇播種前的DSM作為地表基準面，用之后測量的各生長時期的DSM與其相減得到不同時期的玉米DSM。③對DOM進行圖像增強等多種預處理，通過K-means算法[30]、遺傳神經網絡算法[31]和骨架算法[32]得到玉米植株區域。④提取的玉米區域進行幾何配準后經過遙感影像處理軟件生成掩膜。⑤運用得到的掩膜與DSM套和得到影像上的玉米高度。⑥影像高度與實際株高進行對比及精度評價，得出精確度較好的株高模型。方法流程如圖6所示。

圖6 方法流程圖Fig.6 Flow chart of method

2.1 數據預處理

2.1.1遙感影像預處理

無人機拍攝的原始影像僅僅記錄了實驗區部分區域，為了便于數據分析，需要對原始影像進行拼接,得到實驗區的整體影像。本文采用Pix4Dmapper軟件進行影像拼接。導入無人機可見光航拍影像、POS數據，結合5個控制點對影像進行幾何校正，通過全自動空三加密，生成DOM及DSM。

2.1.2圖像增強

由于光線原因會造成圖像局部過亮或過暗，對圖像進行拉伸，使之覆蓋較大的取值區間，提高圖像的對比度，便于后期提取玉米區域。圖像增強公式為

J=iimadjust(I,[llow.in;hhigh.in],[llow.out;hhigh.out])

(2)

將圖像I中的亮度值映射到圖像J中的新值，即將llow.in至hhigh.in之間的值映射到llow.out至hhigh.out之間的值。llow.in以下與hhigh.in以上的值則被剪切掉，它們都可以使用空矩陣，默認值是[0 1]。圖7a原圖增強后效果如圖7b所示。

2.1.3色彩空間轉換

通過對RGB、HSV和YCbCr色彩空間模型[29]進行色彩空間轉換并對比,如圖7c、7d所示。

2.1.4OTSU閾值分割

最大類間方差法簡稱OTSU，可以根據圖像的灰度特性,將圖分為前景和背景兩部分。

對于圖像I(x,y)，前景(即目標)和背景的分割閾值記作T，屬于前景的像素點數占整幅圖像的比例記為ω0，平均灰度為u0；背景像素點數占整幅圖像的比例為ω1，平均灰度為u1；整幅圖像的平均灰度記為u，類間方差記為g。則有

u=ω0u0+ω1u1

(3)

g=ω0(u0-u)2+ω1(u1-u)2

(4)

聯立式(3)、(4)可得

g=ω0ω1(u0-u1)2

(5)

當方差g最大時，可以認為此時前景和背景差異最大，此時的灰度T為最佳閾值。

通過對比圖7e、7f可發現，原始圖像進行分割后會產生大量噪聲，增強后能夠有效解決此類問題。對比圖7f、7g、7h可以發現，HSV色彩空間進行圖像分割會丟失大量玉米區域信息，增強后的圖像進行圖像分割則存在大量非玉米植株區域，而通過YCbCr色彩空間進行圖像分割減少了大量非玉米植株區域，同時保證了較完整的玉米區域信息。因此，采用YCbCr色彩空間進行玉米株高的骨架提取。

圖7 圖像預處理Fig.7 Image preprocessing

2.2 玉米高度提取方法

2.2.1骨架提取算法

骨架包含了圖像特征的最有效數字化信息，能夠對圖像進行有效描述。它是由一些細(或者比較細)的弧線和曲線集合構成的一個能夠保持原始形狀相連性的表示[33]。文獻[34]提出利用火燒稻草的模型進行骨架提取，即“草火法”。假設一個模型的內部被稻草填滿，火從邊緣的每一點以相同的速度燃燒，則中軸點即為稻草邊界上的火源同時向內燃燒的相遇點。因為火燒的速度相同，所以在同一個時間相對的兩個邊緣點的前進距離是相同的，于是他們停止的位置同樣是這兩個邊緣點的對稱中心，也就是骨架點，如圖8所示。

圖8 草火法示意圖Fig.8 Diagram of grass fire

一般說來，骨架必須保持3個特性:①連續性，即連通結構必須細化成連通線結構。②中心性，即骨架與圖像具有結構同一性。③最小寬度為l。

骨架提取是指根據不同的定義和算法提取原始形狀骨架的方法。本文主要應用Zhang-Suen骨架算法[35]結合形態學處理進行玉米骨架的提取。

假設已知目標標記為1，背景點標記為0。定義邊界點為1，其8連通鄰域至少有1個點標記為0。根據算法，需要對邊界點進行以下處理:

(1)在以8連通鄰域為中心的邊界點上，中心點為P1，順時針方向的相鄰點記為P2,P3，…，P9。其中P2位于中心點P1之上(圖9)。首先，選擇滿足要求的點

(6)

N(P1)為非零相鄰點的個數，S(P1)為P2～P9～P2序列從0到1的變化個數。經過對所有邊界點的檢查，所有標記點都被刪除。

圖9 8鄰域圖Fig.9 Eight neighborhood diagram

(2)滿足

(7)

經檢查，標識點已刪除。

循環上述兩步驟，直到都沒有像素被標記為刪除為止，輸出的結果即為二值圖像細化后的骨架。

2.2.2玉米骨架掩膜與高度提取

2.2.2.1提取骨架制作掩膜

由圖10c、10f可以看出，單像素寬骨架制作掩膜不連貫，會丟失大量玉米骨架區域信息，通過合適的結構元素對其進行形態學處理得到2像素寬骨架，可以得到較完整的玉米骨架區域。因為掩膜不能與DSM疊加顯示，所以為了方便觀察，使用制作掩膜的面替代掩膜進行顯示。

圖10 制作的掩膜Fig.10 Making mask

2.2.2.2玉米高度提取

通過K-means算法(圖11a)、遺傳神經網絡算法(圖11c)和骨架算法(圖11e)分別對無人機DOM中的玉米區域進行提取，生成掩膜，與DSM套和(圖11b與K-means算法套和，圖11d與遺傳神經網絡算法套和，圖11f與骨架算法套和)，獲取玉米高度信息。3種方法提取效果如圖11所示,圖中從左到右依次為D1、D2、D3和D4時期，白色部分表示玉米植株區域。

圖11 玉米區域提取與DSM結合Fig.11 Maize area extraction combining with DSM

2.3 方法對比與精度驗證

2.3.1方法對比

通過K-means算法、遺傳神經網絡算法及骨架算法提取玉米區域與DOM疊加(圖12)，可以看到本文的骨架算法在提取完整玉米植株區域的同時避免了較低葉片和大范圍陰影區域對株高提取的干擾。而K-means會將大量較低葉片和陰影區域保留下來，遺傳神經網絡方法則會丟失部分玉米植株區域，對株高提取干擾嚴重。

2.3.2精度驗證

(1)提取算法精度驗證

為驗證本文方法的準確性，用精確度S對3種提取算法效果進行評價，越大表示提取算法精確度越高。評估方法在文獻[36]提出的方法基礎上改進得到。計算公式為

(8)

式中S——提取算法的精確度

T——預測為玉米的玉米樣本

F——預測為玉米的非玉米樣本

(2)提取高度精度驗證

為驗證本文方法的準確性，用平均絕對誤差(Mean absolute error，MAE)和均方根誤差(Root mean squared error，RMSE)兩個指標對模型精度進行驗證，值越小，表示提取株高與實測株高越接近；用決定系數R2(Coefficient of determination)對模型擬合優度進行評價，越大表示提取株高與實測株高擬合效果越好。

3 結果與分析

3.1 玉米區域提取的結果分析與精度評價

圖12 掩膜+DOM提取效果對比(部分)Fig.12 Comparison of mask and DOM extraction effect(part)

從圖12中紅框區域可以看出，K-means算法及遺傳神經網絡算法會將大量較低葉片和陰影區域保留下來，經過掩膜和DSM結合提取的高度會受到一定影響；從圖12中黃框區域可以看出，遺傳神經網絡算法則會丟失部分玉米植株區域，對于玉米株高提取也會產生一定的誤差。而骨架算法提取的是玉米植株的中心骨架，在提取完整玉米植株區域的同時避免了較低葉片和大范圍陰影區域對株高提取的干擾，同時骨架算法在提取玉米骨架的過程中同樣存在誤提取的情況，如圖12中藍框區域，在苗期出現誤把雜草或者石子當作玉米區域而保留下的情況，在后期生長過程中這種情況均有所減少。

對4期共180幅DOM的灰度直方圖進行分析，選擇合適的閾值區分玉米和其他區域(包括陰影和較低葉片)，通過提取算法的精確度S對3種方法進行對比，結果如表3所示。通過K-means算法提取玉米區域的精確度最低，通過遺傳神經網絡算法提取玉米區域的精確度較高，通過骨架算法提取玉米區域的精確度最高。3種方法的S平均值分別為0.57、0.68、0.83。結合圖12可知，D1時期陰影和葉片較小，遺傳神經網絡算法和骨架算法提取效果差距不大，K-means算法對土壤區域識別能力較差，對提取效果影響較大；在D2～D4期間，葉片逐漸長大、展開，產生大量陰影區域，K-means算法和遺傳神經網絡算法誤提取大量陰影區域和較低葉片，提取效果較差；相比而言，骨架算法在D1～D4期間的提取效果較穩定，誤提取的土壤區域更少，設定合適的閾值區分玉米和其他區域后，通過骨架算法可以有效減少陰影和較低葉片等區域對提取玉米區域的影響，精確度更高。

表3 玉米區域提取精度Tab.3 Maize area extraction accuracy evaluation

3.2 玉米高度提取的結果分析與精度評價

通過決定系數(R2)、均方根誤差(RMSE)和平均絕對誤差(MAE)對3種方法提取的株高進行對比，如表4所示。K-means算法提取株高的R2為0.853，RMSE為15.886 cm，MAE為13.743 cm；遺傳神經網絡算法提取株高的R2為0.877，RMSE為14.519 cm，MAE為11.884 cm;骨架算法提取株高的R2為0.923,RMSE為11.493 cm，MAE為8.927 cm。由此可知，通過骨架算法提取株高，效果更好。

表4 精度評價Tab.4 Evaluation of precision

4 結論

(1)利用K-means算法、遺傳神經網絡算法和骨架算法分別對玉米區域提取，生成掩膜，并結合DSM提取株高。3種方法的R2分別為0.853、0.877、0.923，RMSE分別為15.886、14.519、11.493 cm，MAE分別為13.743、11.884、8.927 cm。表明基于玉米生長階段的無人機DOM提取玉米區域，效果較好，結合DSM能為玉米株高提取研究提供借鑒，且骨架算法提取精度較高，可為大面積的田間株高測量提供新的技術手段。

(2)利用無人機影像進行玉米區域提取的精度受天氣影響較為明顯。在無人機獲取數據期間，如有風則會導致實驗材料的高度改變；如陰天則會影響無人機遙感影像的拼接，大量陰影則不利于玉米植株區域的提取。這些都會明顯影響數據的質量，因此獲取數據時盡量選擇晴朗無風的天氣，且在正午時分、無外界因素影響的情況下進行拍攝。

(3)土地、石子、陰影、較低葉片等區域對提取玉米區域影響較大，骨架算法可以解決多數問題，且提取效果較穩定。但對于部分陰影仍需手工進行一定干預才能達到較好的效果，可以通過結合紋理特征的方法進行進一步的研究。