王春雷,盧彩云,陳婉芝,李洪文,何 進,王慶杰
基于遺傳算法和閾值濾噪的玉米根茬行圖像分割
王春雷,盧彩云,陳婉芝,李洪文※,何 進,王慶杰
(1. 中國農業大學工學院,北京 100083;2. 農業部河北北部耕地保育農業科學觀測實驗站,北京 100083)
作物行的識別是農業機械視覺導航系統的一項重要研究內容,針對華北一年兩熟區玉米利用聯合收獲機留茬收獲后,農田原始圖像中背景目標多(行間秸稈、裸露地表等),且背景目標與玉米根茬顏色接近,難以實現玉米根茬行準確快速分割的問題,該文采用RGB顏色空間,以根茬頂端切口為目標,提出了一種基于遺傳算法和閾值濾噪的玉米根茬行圖像分割方法。首先,為了降低圖像分割難度,選取圖像中間位置包含一條完整玉米根茬行的矩形區域作為感興趣區域(region of interest,ROI);然后,利用經過遺傳算法優化得到的灰度化算子對ROI進行灰度化,采用單閾值法分割ROI;最后,通過形態學腐蝕處理去除孤立點、毛刺等誤分割情況,同時利用基于連通域面積閾值和偏距閾值的濾噪方法濾除根茬行兩側噪聲,實現玉米根茬行的有效分割。為評價該分割方法,利用從農業部河北北部耕地保育農業科學觀測實驗站采集到的200幅玉米根茬行圖像進行試驗。結果表明:該方法能夠較好的適應晴天光照條件變化,從含有裸露地表、玉米行間秸稈等復雜背景下,準確快速地分割出玉米根茬行,平均相對目標面積誤差率為24.68%,處理一幅1 280像素×1 024像素的彩色圖像平均耗時為0.16 s,具有較好的魯棒性、實時性和準確性。研究結果驗證了基于遺傳算法和閾值濾噪方法實現玉米利用聯合收獲機留茬收獲后根茬行圖像分割的可行性,并為玉米根茬行直線檢測提供良好的基礎。
圖像分割;機器視覺;遺傳算法;閾值濾噪;玉米根茬行
在華北一年兩熟區的玉米留茬地,實行小麥對行免耕播種不但可以發揮免耕播種減少風蝕、水蝕,改善土壤理化性質的優點,還可以減少機具的堵塞問題[1-3]。然而目前的小麥對行免耕播種普遍都是依賴于駕駛員駕駛經驗完成,駕駛員作業強度大且對行精度和作業效率無法得到保證。因此,研究利用機器視覺導航方法實時、準確檢測玉米根茬行,引導小麥對行免耕播種機在根茬行間作業,對于提高對行精度,作業效率和播種質量都有著重要的意義。
作為農業機械視覺導航系統的基礎,前景目標的準確快速識別直接影響到系統的準確性和實時性。近年來,國內外學者提出了許多適用于耕、種、管和收等農業機械化生產過程中農田前景目標的分割方法。在耕種環節,研究人員通過將作業地塊和未作業地塊的分界線、劃行器的劃痕、播種行及水稻插秧作業過程中的已插植秧苗行等作為目標特征,分割目標[4-7];在田間管理階段,研究人員將綠色作物作為目標,通過凸顯綠色特征分割作物[8-11];在收獲期,研究人員將收獲作業過程中收獲地塊與未收獲地塊自然形成的分界線作為前景特征進行圖像分割[12-14]。上述研究在各自的應用領域都取得了一定的效果,但通過分析發現,上述分割方法適用于農田圖像中的待分割前景目標與背景目標間存在明顯差異(顏色、亮度等)的情況,而玉米利用聯合收獲機留茬收獲后,圖像中含有大量背景目標,如裸露地表、行間秸稈等,且顏色與玉米根茬接近,因此上述分割方法并不適用于玉米利用聯合收獲機留茬收獲后的根茬行圖像。
遺傳算法作為一種常見的全局優化搜索算法已被用于導航線提取、自動控制等領域[15-16]。連通域概念作為圖像處理系統的一項重要內容,常用于提取目標區域,并統計目標區域的特征參數如面積、質心等[17-18]。因此,本文在分析玉米利用聯合收獲機留茬收獲后根茬行圖像分布特點的基礎上,結合遺傳算法和連通域概念,提出一種基于遺傳算法和閾值濾噪的根茬行圖像分割方法,以期為后續準確快速地檢測出根茬行直線,引導小麥對行免耕播種機沿導航線進行對行免耕播種提供基礎。
本文以玉米利用聯合收獲機留茬收獲后的根茬行為研究對象,采用嘉恒中自圖像技術有限公司生產的型號為OK_AC1310的CCD彩色攝像頭,AVENIRLENS公司型號為SE0614MP-3C的鏡頭獲取根茬行圖像,其中圖像傳感器(CCD)尺寸為7.6 mm×6.2 mm,鏡頭焦距為6 mm,相機視場角為78.52°,拍攝地點是農業部河北北部耕地保育農業科學觀測實驗站,拍攝時間為2014-2016年每年10月初。參考農業車輛視覺導航、農具視覺導航等相關研究中的相機安裝位置,在多次前期初步試驗的基礎上確定拍攝時攝像頭距地面的高度約1 m,與水平方向的夾角約40°,且使攝像頭正對一條玉米根茬行[19-20]。按照當前高度和夾角拍攝時,相機能夠獲得前方約3 m的農田信息,投射的采集面約是4 m×3 m,投射范圍的尺度比例約是4:3。共采集圖像250張,包括50幅樣本圖像(包括25幅晴天強光條件和25幅晴天弱光條件),用于獲取根茬頂端切口、裸露地表和行間秸稈3類像素的樣本圖像和濾噪閾值的面積閾值和偏距閾值等,100幅晴天強光條件下采集的圖像(如11:00-14:00、天氣晴朗)和100幅晴天弱光照條件下采集的圖像(如早上或傍晚,多云等)作為測試圖像,用于驗證本文提出算法的性能[21-22],采集圖像格式為.jpg,圖像分辨率為1 280′1 024像素。
基于遺傳算法和閾值濾噪的玉米根茬行分割方法主要分為3個處理流程,如圖1所示。1)ROI選?。哼x取玉米根茬行圖像中間位置包含一條完整玉米根茬行的區域作為ROI,降低分割難度;2)圖像灰度化及分割:針對現有圖像中目標(根茬頂端切口)和背景(行間秸稈、裸露地表)3類像素,利用遺傳算法優化灰度化算子以增強目標,抑制背景,并通過得到的灰度化算子對ROI進行灰度化處理,采用單閾值法分割灰度化的ROI;3)噪聲濾除:先通過形態學腐蝕處理濾除ROI二值圖像中的孤立點、毛刺等,然后通過基于連通域面積閾值和偏距閾值的方法濾除根茬行兩側噪聲(濾噪閾值通過標記形態學腐蝕處理后的50幅樣本圖像的ROI二值圖手動獲?。?,最后得到只含有玉米根茬行的二值圖。

圖1 玉米根茬行圖像分割流程圖
農田環境下獲得的玉米根茬行圖像,由于背景復雜且顏色與目標接近、光照強度不均勻等實際情況,導致玉米根茬行的實際分割效果較差,因此要選取適于目標顏色特征表達的顏色空間。RGB,HSI,YCbCr和Lab等是目前較為常用的4種顏色空間,而這些顏色空間在表達上又有著各自側重點[23]。
為準確描述復雜農田環境下的玉米根茬行圖像,將圖像分為根茬頂端切口,行間秸稈和裸露地表3部分。首先,人工獲取目標和背景3類像素的樣本圖像,其獲取流程如下:1)利用Photoshop軟件矩形選框工具中的固定大小功能,設定10×10像素的單位像素塊;2)人工通過該單位像素塊從50幅樣本圖像的每幅圖像中,隨機采樣根茬頂端切口、行間秸稈和裸露地表各2個共計300個;3)利用Photoshop軟件將屬于每類特征的單位像素塊拼成100×100像素的樣本圖像。將3類像素的樣本圖像分別投射到上述4種顏色空間中,對比發現根茬頂端切口在RGB顏色空間的所有分量通道下與行間秸稈和裸露地表的灰度差異都比較明顯,如圖2所示。但是這種明顯差異僅存在于HSI空間的分量通道、YcbCr空間的分量通道和Lab空間的分量通道,因此選取RGB顏色空間用于完成玉米根茬行圖像分割。

圖2 樣本圖像在RGB各通道下的灰度分布
由于玉米種植行距及攝像頭視場設定等原因能基本保證采集的圖像中僅包含一條完整的玉米根茬行(本研究中完整的玉米根茬行指圖像采集時與攝像頭相對的且與底邊最接近垂直的根茬行),如圖3a所示。為了降低分割難度,選取采集圖像中間位置包含一條完整玉米根茬行的區域作為ROI。ROI選取方法:將以平均灰度值最大的像素列為中心列,并向兩側各取150個像素列的矩形區域作為玉米根茬行感興趣區域,如圖3b所示。

圖3 玉米根茬行感興趣區域選取過程
2.3.1 基于遺傳算法的灰度化算子優化
作為一種常見的全局優化搜索算法,遺傳算法通過對種群反復進行選擇、交叉、變異操作產生新種群,并采用設計的適應度函數不斷篩選優良個體,使種群向最優方向繁衍,最終求出最優解[24]。從圖2可以看出,目標與背景灰度雖然接近,但仍有不同,因此通過遺傳算法對灰度化算子的3個系數(,,)進行優化,以達到強化根茬頂端切口,抑制背景的目的,具體過程如下:
1)編碼方式及種群數量
采用浮點數制編碼方式,定義灰度化算子3個系數(,,)的取值范圍如公式(1)所示,種群數量為50。

2)適應度函數設計
為增強根茬頂端切口和裸露地表或行間秸稈灰度的差異,采用相同適應度函數,分別獲取可增強根茬頂端切口同時抑制裸露地表的灰度化算子,以及可增強根茬頂端切口同時抑制行間秸稈的灰度化算子。
利用種群中每個個體代表的灰度化算子分別處理根茬頂端切口、裸露地表和行間秸稈的樣本圖像。將根茬頂端切口和裸露地表或行間秸稈的灰度重疊率、均值差值和灰度圖像方差作為評價指標,重疊率越小,越有利于灰度化根茬行圖像,計算方式如下

式中p為重疊率,%;p為重疊區域的像素數;0為根茬頂端切口樣本圖像的灰度圖像對應的總像素數;1為裸露地表或行間秸稈樣本圖像的灰度圖像對應的總像素數。
均值差值越大,越有利于灰度化根茬行圖像,計算方式如下

式中m為根茬頂端切口樣本圖像和裸露地表或行間秸稈樣本圖像各自灰度均值之間的差值;[01,02]和[11,12]為2類樣本圖像的灰度直方圖范圍;為第個直方圖;0i和1i為2類樣本圖像各自第個直方圖的概率;0和1分別為2類灰度圖像對應的灰度直方圖。
灰度方差越小,越有利于灰度化根茬行圖像,計算方式如下

式中0為根茬頂端切口樣本灰度圖像的方差。

式中1為裸露地表或行間秸稈樣本灰度圖像方差。
通過賦予不同權重值的方式將上述評價指標構造成如下綜合評價函數()

3)遺傳算子及終止條件
遺傳算子主要包括選擇、交叉和變異,其中選擇操作采取最優保存策略,交叉操作選取多點交叉,變異操作選擇自適應變異,并設定最大迭代代數為50作為算法的終止條件。
以上述根茬頂端切口、行間秸稈及裸露地表3類像素的樣本圖像為樣本,利用MATLAB軟件按上述步驟對灰度化算子和進行了優化。最終選取最優系數為:p=-0.78,p=1,p=0.8,即灰度化算子為-0.78++ 0.8;q=-0.7,q=0.96,q=0.95,即灰度化算子為-0.7+ 0.96+0.95。、、分別代表彩色圖像中某一像素點紅、綠、藍3個分量的灰度值,取值范圍為[0, 255]。
分別利用灰度化算子和對玉米根茬行感興趣區域進行灰度化處理,然后對兩幅灰度圖取平均得到最終的玉米根茬行感興趣區域灰度圖。
2.3.2 單閾值法分割
閾值法分割因具有計算方便,用時短,效率高的優點而得到廣泛應用,但需選擇合理的分割閾值[25-26]。利用灰度化算子處理根茬頂端切口和裸露地表的樣本圖像,灰度化算子處理根茬頂端切口和行間秸稈的樣本圖像,并對灰度化算子和分別處理后的根茬頂端切口灰度圖像取均值,得到三者在同一坐標系下的灰度分布直方圖。從圖4可以看出,三者灰度雖仍有重疊,但裸露地表和行間秸稈的灰度值大部分都在150以下,而根茬頂端切口灰度值大多都在150以上,因此,選取分割閾值為150。

圖4 樣本圖像灰度直方圖
2.4.1 形態學腐蝕處理
采用形態學濾波方法對分割結果進行優化,去除由于閾值誤差造成的毛刺、孤立點及部分行間噪聲等誤分割情況[27-28]。本文在試驗過程中選取形如矩陣的結構元素,通過腐蝕運算去除部分行間噪聲和毛刺、清除孤立點以優化分割結果。

2.4.2 基于閾值的噪聲濾除
經過腐蝕處理后的ROI二值圖中,根茬行兩側仍然隨機分布著部分顆粒狀或塊狀噪聲,且部分塊狀噪聲與根茬頂端切口大小接近。為濾除這些噪聲,結合連通域概念[29-31],提出一種基于閾值的噪聲濾除方法。在二值化后的ROI中,連通域i包括連通域面積大于閾值a的根茬頂端切口類和連通域面積小于閾值a的噪聲類,且根茬頂端切口類連通域集中分布在ROI中心列兩側一定距離o之內,噪聲雜散地分布在ROI中心列一定距離o之外。綜上,通過選擇合理的面積閾值和偏距閾值對玉米根茬行兩側噪聲進行濾除,其中連通域面積用其所包含的非零像素個數表示,偏距用連通域中心橫坐標與感興趣區域中心列橫坐標差值的絕對值表示。
a和o的確定方法:將50幅樣本圖像經過形態學腐蝕運算處理后的ROI二值圖作為統計樣本,通過對比手動標記二值圖中所有屬于根茬頂端切口的連通域,計算并記錄其連通域面積和中心點位置,得到根茬頂端切口連通域面積和偏距的分布圖(圖5),通過分析將a設為100,o設為30。

圖5 閾值選取結果
試驗平臺選擇如下:硬件配置為Intel(R) Xeon(R) Silver 4116 CPU@2.10GHz,64GB RAM,NVIDIA Quadra P5000顯卡的計算機;軟件環境則采用Windows 10操作系統,在MATLAB 2018a 編程環境中實現。
試驗測試圖像為晴天強光條件和晴天弱光條件下拍攝的玉米利用聯合收獲機留茬收獲后的玉米根茬行圖像,每種條件各100幅,圖像分辨率為1 280×1 024像素。每一幅圖像上不僅包含了待分割的玉米根茬行,同時,還存在分布雜散且量不同的行間秸稈,地表裸露多或少、少量綠色雜草等復雜背景干擾。試驗目標設計為,從玉米利用聯合收獲機留茬收獲后的復雜背景圖像中準確快速地分割出玉米根茬行。
另外,試驗還選取了應用廣泛的迭代法分割[32]、及OTSU法[33-34]替換本文分割過程中的單閾值法分割構成OTSU法分割等兩種分割方法,與本文所提出的分割方法對玉米根茬行的分割效果進行對比。其中,OTSU法分割后無濾噪處理;迭代法分割選取彩度信息灰度化ROI,初始迭代分割閾值的估算值設為1=127,同時迭代法分割后也無濾噪處理。通過所選取的上述3種方法分別對強光條件和弱光條件下的試驗圖像進行處理,處理過程中獲得的一些典型灰度圖和分割結果圖如圖6、7所示,同時將對這些結果展開進一步分析。
為了客觀評價本文所提出分割方法的有效性,選用平均相對目標面積誤差率(average relative object area error,ARAE)來對圖像分割質量進行定量評價[21],計算方式如下

式中表示第幅測試圖像,表示測試圖像的數量,值是100,1表示參考圖像中目標區域的面積,2表示測試圖像中目標區域的面積,目標區域的面積用區域內像素的個數表示,像素數通過MATLAB軟件獲得。參考圖像由人工通過Photoshop手動分割獲得,將圖像中屬于背景的像素標記為0,將圖像中屬于根茬行切口類的像素標記為255。平均相對目標面積誤差率的取值范圍都是0~100%,誤差率的值越小表示分割效果越好,反之則分割效果越差。
彩度灰度圖像雖然能夠有效區分玉米高留茬收獲且行間無秸稈覆蓋條件下的土壤與根茬,但在玉米利用聯合收獲機留茬收獲后,且有行間秸稈覆蓋的情況下,灰度化處理效果欠佳,根茬切口與裸露地表和行間秸稈對比度不明顯,如圖6b和7b所示。而本文通過遺傳算法優化得到的灰度算子灰度化處理效果好,根茬切口區域得到增強,裸露地表和行間秸稈區域得到抑制,如圖6c和7c所示。
迭代法分割能有效分割出高留茬收獲且行間無秸稈覆蓋條件下的玉米根茬,但在玉米利用聯合收獲機留茬收獲后,且有行間秸稈覆蓋的情況下,玉米根茬分割效果欠佳,如圖6d和7d所示。OTSU法分割方法是常用的圖像分割方法,但當地面背景復雜,目標與背景顏色非常接近時,易出現大面積目標誤分割,分割效果不佳,如圖6e和7e所示。根據迭代法和OTSU法分割原理推測造成二者分割效果不佳的原因是:采用迭代法或OTSU法分割對灰度化處理的根茬行圖像進行分割時,雖然通過遺傳算法優化得到的遺傳算子進行灰度化處理時根茬切口區域得到增強,但由于目標(根茬頂端切口)和背景(行間秸稈、裸露地表)顏色接近,使得三者的灰度值差異不大,即灰度直方圖不存在明顯的“雙峰”,不利于通過迭代法或OTSU法對根茬切口進行分割,造成采用迭代法或OTSU法分割玉米根茬行效果差。

圖6 晴天弱光條件下玉米根茬行圖像的灰度圖及分割結果

圖7 晴天強光條件下玉米根茬行圖像的灰度圖及分割結果
與迭代法和OTSU法的分割結果相比,本文方法能夠從大量行間秸稈、裸露地表等的復雜背景中準確分割出玉米根茬行,如圖6f和7f所示。同時,本文方法能夠比較有效地克服非均勻光照帶來的強光點影響,如圖7a中的太陽強光條件下仍取得良好的分割效果。
綜上,從分割效果直觀看出,本文方法能夠在強光條件和弱光條件下,從玉米根茬行的復雜背景圖像中,有效分割出玉米根茬行,對光照變化有較好的適應性。
表1展示了不同方法在晴天強光條件和晴天弱光條件下玉米根茬行圖像分割的平均相對目標面積誤差率,每一種都包含了100幅圖像的平均結果。由于迭代法分割和OTSU法將行間秸稈和裸露地表等也誤作為目標進行分割,使得測試圖像目標區域面積遠大于參考圖像面積,造成平均相對目標面積誤差率過高,迭代法(90.67%),OTSU法(86.42%)。從分割性能的平均指標上看,晴天弱光條件下的分割效果要比晴天強光條件下分割結果較好,說明強光照條件對3種算法的分割具有一定的影響。但從整體情況上看,本文方法在強光照條件和弱光條件下均有較好的分割效果,表明本文方法對晴天光照條件變化具有較好的適應能力。
表1同時展示了本文方法在200幅測試圖像上的平均運行時間,從時間指標上看,本文方法相對于OTSU法要耗時一些,但時間花費不是太高,低于迭代法,實時性較好,且平均相對目標面積誤差率遠遠低于迭代法分割和OTSU法分割。綜上,從分割性能指標和運行時間上看,本文方法能夠從復雜自然環境下分割出完整的玉米根茬行,具有較強的適應性和魯棒性,實時性較好[33,35],分割準確率較高。

表1 不同方法分割玉米根茬行圖像的性能指標
同時,本文方法也存在一些問題,如當行間秸稈大于等于面積閾值a且小于偏距閾值o,即行間秸稈也在根茬行上時,將會被視為玉米根茬切口并保留,如圖8b所示。除此之外,后續將在本文研究基礎上,探索能夠提高玉米根茬行分割效率并降低分割誤差的方法,如機器學習,以滿足對行免耕播種作業的實時性和準確性。

注:矩形框用于標記采用本文方法處理根茬行圖像時出現的誤分割情況
本文提出了一種從玉米利用聯合收獲機留茬收獲后的復雜背景下準確快速地分割玉米根茬行的方法,該方法選取RGB顏色空間,以根茬頂端切口為目標特征,通過ROI選取,遺傳算法優化得到的灰度化算子灰度化處理ROI,單閾值法分割ROI,形態學腐蝕運算和基于閾值的噪聲濾除方法濾除根茬行附近噪聲,實現了玉米根茬行的準確快速分割。通過在強光條件和弱光條件下200幅玉米根茬行圖像的試驗分析表明:
1)本文方法對于光照變化具有一定的適應性,在強光條件和弱光條件下,均能較為準確的從玉米利用聯合收獲機留茬收獲后的復雜背景中分割出玉米根茬行,最大平均相對目標面積誤差率為26.54%(強光條件下)。
2)本文方法對玉米利用聯合收獲機留茬收獲的圖像分割具有較好的適應性和魯棒性,能夠將玉米根茬行從留茬收獲后的復雜背景中較為準確快速地分割出來,平均相對目標面積誤差率為24.68%,遠遠低于迭代法(90.67%)和OTSU法(86.42%)。
3)本文方法平均處理時間為0.16 s,低于迭代法(0.25 s),雖高于OTSU法(0.07 s),但平均相對目標面積誤差率遠低于OTSU法。從分割效果、平均相對目標面積誤差率及平均處理時間等綜合指標來看,本文方法對于分割玉米利用聯合收獲機留茬收獲后的復雜玉米根茬行圖像具有良好的效果。
[1] 姚宗路,王曉燕,李洪文,等. 2BMD-12型小麥對行免耕施肥播種機改進與試驗研究[J]. 干旱地區農業研究,2005,23(5):46-51.Yao Zonglu, Wang Xiaoyan, Li Hongwen, et al. Modification and experiment on 2BMD-12 row-controlled no-till wheat drill[J]. Agricultural Research in the Arid Areas, 2005, 23(5): 46-51. (in Chinese with English abstract)
[2] 李兵,李洪文. 2BMD-12型小麥對行免耕播種機的設計[J].農業機械學報,2006,37(3):41-44. Li Bing, Li Hongwen. Design and study of 2BMD 12 no-till planter for wheat[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(3): 41-44. (in Chinese with English abstract)
[3] 李洪文,王曉燕,李兵,等. 小麥對行免耕播種機試驗研究[J]. 農機化研究,2004,9(5):179-181. Li Hongwen, Wang Xiaoyan, Li Bing, et al. A new-concept of no-till row-follow wheat planter[J]. Journal of Agricultural Mechanization Research, 2004, 9(5): 179-181. (in Chinese with English abstract)
[4] 李景彬,陳兵旗,劉陽. 棉花鋪膜播種機導航路線圖像檢測方法[J]. 農業機械學報,2014,45(1):40-45. Li Jingbin, Chen Bingqi, Liu Yang. Image detection method of navigation route of cotton plastic film mulch planter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(1): 40-45. (in Chinese with English abstract)
[5] 遲德霞. 水稻插秧機視覺導航系統設計與路徑追蹤試驗[D]. 沈陽:沈陽農業大學,2015. Chi Dexia. Design on Machine Vision Navigation System of Rice Transplanter and Path Tracking Experimnet[D]. Shenyang: Shenyang Agricultural University, 2015. (in Chinese with English abstract)
[6] Leemans V, Destain M F. Application of the hough transform for seed row localisation using machine vision[J]. Biosystems Engineering, 2006, 94(3): 325-336.
[7] 趙穎,陳兵旗,王書茂,等. 基于機器視覺的耕作機器人行走目標直線檢測[J]. 農業機械學報,2006,37(4):83-86.Zhao Ying, Chen Bingqi, Wang Shumao, et al. Fast detection of furrows based on machine vision on autonomous mobile robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(4): 83-86. (in Chinese with English abstract)
[8] García-Santillán I D, Montalvo M, Guerrero J M, et al. Automatic detection of curved and straight crop rows from images in maize fields[J]. Biosystems Engineering, 2017, 156: 61-79.
[9] Zhang Qin, Chen M E, Shaojie, LI Bin. A visual navigation algorithm for paddy field weeding robot based on image understanding[J]. Computers & Electronics in Agriculture, 2017, 143(10): 66-78.
[10] 艾長勝,林洪川,武德林,等. 葡萄園植保機器人路徑規劃算法[J]. 農業工程學報,2018,34(13):77-85.Ai Changsheng, Lin Hongchuan, Wu Delin, et al. Path planning algorithm for plant protection robots in vineyard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 77-85. (in Chinese with English abstract)
[11] 張志斌,羅錫文,臧英,等. 基于顏色特征的綠色作物圖像分割算法[J]. 農業工程學報,2011,27(7):183-189.Zhang Zhibin, Luo Xiwen, Zang Ying, et al. Segmentation algorithm based on color feature for green crop plants[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 183-189. (in Chinese with English abstract)
[12] 梁習卉子,陳兵旗,姜秋慧,等. 基于圖像處理的玉米收割機導航路線檢測方法[J]. 農業工程學報,2016,32(22):43-49.Liangxi Huizi, Chen Bingqi, Jiang Qiuhui, et al. Detection method of navigation route of corn harvester based on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(22): 43-49. (in Chinese with English abstract)
[13] 趙騰,野口伸,楊亮亮,等. 基于視覺識別的小麥收獲作業線快速獲取方法[J]. 農業機械學報,2016,47(11):32-37.Zhao Teng, Noboru Noguchi, Yang Liangliang, et al. Fast edge detection method for wheat field based on visual recognition[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(11): 32-37. (in Chinese with English abstract)
[14] 李景彬,陳兵旗,劉陽,等. 采棉機視覺導航路線圖像檢測方法[J]. 農業工程學報,2013,29(11):11-19.Li Jingbin, Chen Bingqi, Liu Yang, et al. Detection for navigation route for cotton harvester based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11): 11-19. (in Chinese with English abstract)
[15] 孟慶寬,張漫,仇瑞承,等. 基于改進遺傳算法的農機具視覺導航線檢測[J]. 農業機械學報,2014,45(10):39-46. Meng Qingkuan, Zhang Man, Qiu Ruicheng, et al. Navigation line detection for farm machinery based on improved genetic algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 39-46. (in Chinese with English abstract)
[16] 孔玲君,曾茜,張雷洪,等. 基于遺傳算法選擇多光源下的光譜反射率重構研究[J]. 光譜學與光譜分析,2019,39(4):1162-1168.Kong Lingjun, Zeng Xi, Zhang Leihong, et al. Research on spectral reflectance reconstruction based on genetic algorithm for selecting multi-illum[J]. Spectroscopy and Spectral Analysis, 2019, 39(4): 1162-1168. (in Chinese with English abstract)
[17] 于瀟宇,郭玉波,陳剛,等. 基于點目標連通域標記的實時特征提取及其分布式運算[J]. 光學學報,2015,35(2):104-114.Yu Xiaoyu, Guo Yubo, Chen Gang, et al. Real-time point feature extraction based on connectedcomponents labeling and distributed computing[J]. Acta Optica Sinica, 2015, 35(2): 104-114. (in Chinese with English abstract)
[18] Jeong J, Lee G, Lee M, et al. A single-pass connected component labeler without label merging period[J]. Journal of Signal Processing Systems, 2016, 84(2): 211-223.
[19] 丁幼春. 聯合收獲機視覺導航關鍵技術研究[D]. 北京:中國農業大學,2010.Ding Youchun. The Key Technology of Vision Navigation in Combine Harvester[D]. Beijing: China Agricultural University, 2010. (in Chinese with English abstract)
[20] 孟慶寬. 基于機器視覺的農業車輛—農具組合導航系統路徑識別及控制方法研究[D]. 北京:中國農業大學,2014.Meng Qingkuan. Methods of Navigation Control and Path Recognition in the Integrated Guidance System of Agricultural Vehicle and Implemnet Based on Machine Vision[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)
[21] 劉立波,程曉龍,戴建國,等. 基于邏輯回歸算法的復雜背景棉田冠層圖像自適應閾值分割[J]. 農業工程學報,2017,33(12):201-208.Liu Libo, Cheng Xiaolong, Dai Jianguo, et al. Adaptive threshold segmentation for cotton canopy image in complex background based on logistic regression algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(12): 201-208. (in Chinese with English abstract)
[22] 賀付亮,郭永彩,高潮,等. 基于視覺顯著性和脈沖耦合神經網絡的成熟桑葚圖像分割[J]. 農業工程學報,2017,33(6):148-155.He Fuliang, Guo Yongcai, Gao Chao, et al. Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 148-155. (in Chinese with English abstract)
[23] Gonzalez R C, Woods R E, Eddins S L, 等. 數字圖像處理[M].北京:電子工業出版社,2013.
[24] 陳黎卿,李艷,曹成茂,等. 基于遺傳算法的山區微型播種施肥機減振優化設計[J]. 農業工程學報,2015,31(3):17-22.Chen Liqing, Li Yan, Cao Chengmao, et al. Optimization design for vibration reduction of micro planter and fertilizer machinery used in mountain area based on genetic algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 17-22. (in Chinese with English abstract)
[25] 劉媛媛,王躍勇,于海業,等. 基于多閾值圖像分割算法的秸稈覆蓋率檢測[J]. 農業機械學報,2018,49(12):27-35,55. Liu Yuanyuan, Wang Yueyong, Yu Haiye, et al. Detection of straw coverage rate based on multi-threshold image segmentation algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12): 27-35,55. (in Chinese with English abstract)
[26] 高國琴, 李明. 基于K-means算法的溫室移動機器人導航路徑識別[J]. 農業工程學報,2014,30(7):25-33.Gao Guoqin, Li Ming. Navigating path recognition for greenhouse mobile robot based on K-means algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(7): 25-33. (in Chinese with English abstract)
[27] 畢昆,姜盼,李磊,等. 基于形態學圖像處理的麥穗形態特征無損測量[J]. 農業工程學報,2010,26(12):212-216.Bi Kun, Jiang Pan, Li Lei, et al. Non-destructive measurement of wheat spike characteristics based on morphological image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(12): 212-216. (in Chinese with English abstract)
[28] 呂谷來,李建平,李鏘,等. 基于機器視覺的砧木定位識別方法[J]. 浙江大學學報工學版,2011,45(10):1766-1770.Lv Gulai, Li Jianping, Li Qiang, et al. Method for rootstock position recognition based on machine vision[J]. Journal of Zhejiang University Engineering Science, 2011, 45(10): 1766-1770. (in Chinese with English abstract)
[29] 李毅念,杜世偉,姚敏,等. 基于小麥群體圖像的田間麥穗計數及產量預測方法[J]. 農業工程學報,2018,34(21):185-194.Li Yinian, Du Shiwei, Yao Min, et al. Method for wheatear counting and yeild predicting based on image of wheatear population in field[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 185-194. (in Chinese with English abstract)
[30] Zhu Yanjun, Cao Zhiguo, Lu Hao, et al. In-field automatic observation of wheat heading stage using computer vision[J]. Biosystems Engineering, 2016, 143: 28-41.
[31] Fernandez-Gallego J A, Kefauver S C, Gutiérrez N A, et al. Wheat ear counting in-field conditions: High throughput and low-cost approach using RGB images[J]. Plant Methods, 2018, 14(1): 1-12.
[32] 陳媛. 基于機器視覺的秸稈行茬導航路徑的檢測研究[D]. 北京:中國農業大學,2008. Chen Yuan. Detection of Stubble Row for Machine Vision Guidance in No-till Field[D]. Beijing: China Agricultural University, 2008. (in Chinese with English abstract)
[33] 王見,周勤,尹愛軍. 改進Otsu算法與ELM融合的自然場景棉桃自適應分割方法[J]. 農業工程學報,2018,34(14):173-180. Wang Jian, Zhou Qin, Yin Aijun. Self-adaptive segmentation method of cotton in natural scene by combining improved Otsu with ELM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 173-180. (in Chinese with English abstract)
[34] Guerrero J M, Ruz J J, Pajares G. Crop rows and weeds detection in maize fields applying a computer vision system based on geometry[J]. Computers & Electronics in Agriculture, 2017, 142: 461-472.
[35] 傅隆生,馮亞利,Elkamil Tola,等. 基于卷積神經網絡的田間多簇獼猴桃圖像識別方法[J].農業工程學報,2018,34(2):205-211.Fu Longsheng, Feng Yali, Elkamil Tola, et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205-211. (in Chinese with English abstract)
Image segmentation of maize stubble row based on genetic algorithm and threshold filtering noise
Wang Chunlei, Lu Caiyun, Chen Wanzhi, Li Hongwen※, He Jin, Wang Qingjie
(1.100083; 2.(),,100083)
Green crop is generally used as the foreground in image segmentation of agricultural visual navigation system because of its obvious chromaticity difference from the basic image background. However, for the segmentation of maize stubble row, there are many backgrounds in the field harvested by combine harvester, such as naked land surface, maize residues, which has little color difference with the maize stubble row. To achieve accurate and quick segmentation of maize stubble row, an image segmentation approach of maize stubble row based on genetic algorithm and threshold filtering noise was proposed in this paper. Firstly, the RGB color space was selected to accomplish the segmentation, which is a basic color space and widely used in machine vision automatic guidance systems. Secondly, to reduce the difficulty of image segmentation, the region of interest (ROI) was selected by calculating the maximum of column gray value accumulation. Thirdly, the gray-scale image of the maize stubble row was obtained through the optimized gray-scale operator. Besides, the genetic algorithm was often used in global optimization, which was used to optimize the gray-scale operator. Specially, the maize stubble row image’s pixel was divided into 3 classes: land surface, residues in rows and stubble tip incision, and the 3 classes were selected as the sample to optimize the gray-scale operator by genetic algorithm. Then, the segmentation of single threshold method was used to segment the gray-scale image. Furthermore, the segmentation of single threshold method is widely used in image segmentation because of its high efficiency and convenience. Lastly, the morphological corrosion treatment (MCT) and threshold noise filtering algorithm (TNFA) were applied to guarantee the integrity of the maize stubble row region and the noise points on both sides of the maize stubble row removal. In order to verify the effect of the method proposed in this paper, 200 test images were captured from Scientific Observing and Experimental Station of Arable Land Conservation (North Hebei),Ministry of Agriculture in Baoding City, China in each October during 2014-2016. The acquisition was often on sunny day, aiming at collecting images under different natural lighting conditions, different positions in maize stubble row field. The results showed that the average relative object area error (ARAE) by our method was only 24.68%, while the AREA of the iteration method and the OTSU method were 90.67% and 86.42%, respectively. The average processing time of a test image based on this paper presented algorithm was 0.16 s, which was much more time-consuming than the OTSU method (0.07 s), while the processing time of our method was less than the iteration method (0.25 s). Therefore, the method presented in this paper achieved better performance than other methods in maize stubble row segmentation, and was effective to segment the maize stubble row in the complicated backgrounds. The presented method can provide precise basis for detection of guidance line in maize straw covering field.
image segmentation; machine vision; genetic algorithm; threshold filtering noise; maize stubble row
2019-06-25
2019-07-31
公益性行業(農業)科研專項(201503136)
王春雷,博士生,主要從事現代農業裝備與計算機測控技術研究。Email:chlwang@cau.edu.cn
李洪文,教授,主要從事現代農業裝備與計算機測控技術研究。Email:lhwen@cau.edu.cn
10.11975/j.issn.1002-6819.2019.16.022
TP391.4
A
1002-6819(2019)-16-0198-08
王春雷,盧彩云,陳婉芝,李洪文,何 進,王慶杰. 基于遺傳算法和閾值濾噪的玉米根茬行圖像分割[J]. 農業工程學報,2019,35(16):198-205. doi:10.11975/j.issn.1002-6819.2019.16.022 http://www.tcsae.org
Wang Chunlei, Lu Caiyun, Chen Wanzhi, Li Hongwen, He Jin, Wang Qingjie. Image segmentation of maize stubble row based on genetic algorithm and threshold filtering noise[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(16): 198-205. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2019.16.022 http://www.tcsae.org