改進Otsu算法與ELM融合的自然場景棉桃自適應分割方法

王 見，周 勤，尹愛軍

?

改進Otsu算法與ELM融合的自然場景棉桃自適應分割方法

王 見1,2，周 勤1,2，尹愛軍1,2

（1. 重慶大學機械傳動國家重點實驗室，重慶 400044；2. 重慶大學機械工程學院，重慶 400044）

針對動態行進過程中拍攝的自然棉田場景圖像的棉桃分割問題，提出了一種改進的自適應優化分割方法。首先利用改進的Otsu分割算法定位棉桃區域，對棉桃和背景區域像素點的RGB值分別采樣；將樣本用于訓練ELM（extreme learning machine）分類模型；把圖像分割轉化為像素分類問題，用分類模型對棉桃圖像進行像素分類以實現棉桃圖像的分割。對晴天和陰天場景下自然棉田的圖像進行了算法驗證，能正確分割棉桃并定位棉桃位置，實現了非結構光環境下對棉桃的無監督的采樣和分割定位，每幅圖像的平均分割時間為0.58 s，晴天和陰天狀況下棉桃的平均識別率分別達到94.18%和97.56%。將該算法與經典分類算法SVM（support vector machine）和BP在增加紋理特征和采用RGB特征的情況下進行對比，并分析了該算法在分割速度和識別率上都有較大優勢的原因。試驗證明該算法在棉桃分割中有很好的實時性、準確性和適應性，可為智能采棉機的棉桃識別算法提供參考。

圖像分割；作物；圖像識別；改進的Otsu算法；極限學習機；自適應

0 引 言

隨著人工智能的發展，國內外相關學者進行了大量有關機器視覺在農機應用方面的研究[1-5]。農田環境屬于非結構化的自然環境，對目標農作物的準確分割和定位是長期以來的技術難點[6-10]。在圖像領域，圖像分割算法已由R-CNN經Fast R-CNN和Faster R-CNN發展到了Mask R-CNN，圖像的分割已達到高精度的像素級別。由于目前還沒有已標注的相關農作物的圖像數據集，對于農作物的分割算法主要有2種方式：第一種是通過人工在圖像中標注來獲取樣本，再訓練分類器進行分割或者識別，如王星等[11]通過選取像素點的YCbCr特征訓練GA（genetic algorithm）神經網絡，實現了簡單背景下棉花圖像的分割，分割準確率達到91.9%；張成梁等通過利用人工交互選點的方式，對選定點的5×5鄰域計算顏色特征均值及紋理特征，訓練GA-SVM分類器對機采籽棉雜質進行分割識別[12]，識別率達到92.6%；第二種是不需要人工標注的自適應分割算法，如王麗麗等[13]采用基于Niblack自適應修正系數的溫室成熟番茄目標提取方法，該方法對溫室成熟番茄圖像有較好的分割效果；李凱等設計了一種聯合分割算法對棉花苗葉片圖像進行自動分割[14]，對晴天、陰天、雨后天氣下的圖像分割精度分別達到84.8%、87.7%和91.6%；賀付亮等[15]提出基于視覺顯著性和脈沖耦合神經網絡的成熟桑葚圖像分割方法，對小目標桑葚識別有較好的效果。第一種方式原理較簡單，但是需要人工進行大量標注，且對于非結構化環境的適應性差；第二種方式不需要人工標注，對非結構化環境適應性較好，但是算法原理復雜，調參過程困難且耗時，可移植性低。因此提高圖像分割算法的運行速度和非結構化環境的適應性是人工智能應用在農業實際生產中亟待解決的問題[16-18]。

棉桃的視覺分割，相對于其他果蔬分割，具有植株密集，形狀不規則，顏色受光照影響大的特點[19-20]。本文結合上述2種方式的優點，改進了Otsu分割算法分離棉桃和背景區域，對分割結果分別采樣得到訓練樣本，避免了人工標注的過程；再選擇在訓練速度、準確率和穩定性上都表現較好的ELM（extreme learning machine）算法[21-26]作為分類判別器分割圖像；最后與第一種方式中常用的分類算法SVM、BP（back propagation neural network）對比，以證明改進Otsu與ELM融合的方法在分割速度、準確性和穩定性上是否具優勢。

1 自適應分割算法原理

自然環境下棉田圖像的棉桃像素點和背景像素點的RGB顏色特征差異明顯，但是在不同光照條件下各類像素點RGB值變化也較大。如果能根據光照情況實時自動采樣訓練分類器，就能實現非結構光環境下自適應棉桃分割。以此為思路，提出基于改進Otsu算法初步分割棉桃，從分割結果中采樣得到以像素點RGB值為特征向量的訓練樣本。將樣本用于訓練ELM分類器，再對圖像進行逐像素分類，最后對分類結果進行處理即可完成棉桃的識別。

1.1 基于改進Otsu算法的自適應樣本采集

1.1.1 改進Otsu算法

Otsu是運用統計學的原理，選定分割閾值使前景和背景的類間方差最大的一種自適應閾值確定方法[27]。設表示一幅圖像的灰度級，根據閾值將圖像像素點分成2類。

式中p表示像素點灰度值為的概率，()表示像素點灰度值小于等于的概率，0和1分別表示背景和前景的概率。

以0和1分別表示背景和前景的灰度均值：

前景和背景的類間方差σ2表示

最佳閾值為：

此種方法只適合前景和背景面積相差不大，灰度直方圖呈雙峰狀態的圖像分割。由于棉桃目標與背景面積相差太大，灰度直方圖沒有明顯的雙峰，呈現多峰狀態，使用傳統的Otsu不能將棉桃從背景中分割出來。

針對棉田圖像灰度直方圖分布呈多峰分布，本文改進了Otsu算法對圖像進行棉桃分割。

1）將灰度范圍為0~255之間的圖像、、值歸一化到0~1；

3）根據閾值t將背景像素點置0，得到新的圖像；

4）統計得到非零像素點的灰度直方圖；

5）重復上述2）、3）、4）步驟次，直至直方圖分布為陡峭的單峰分布，分割過程結束，t即為最終的分割閾值。

改進后的Otsu算法通過多次迭代，以非0像素的直方圖分布形狀作為判別標準，能在不同光照場景中自適應地分割出大部分棉桃。

1.1.2 基于灰度值統計的分割結果優化

通過改進Otsu算法分割后，有一部分圖像的分割結果中會剩余較少部分反光薄膜、泥土等背景。為提高樣本質量，將600幅圖像用改進Otsu分割后，選取10幅光照條件差異較大且有誤分割的圖像，將分割結果中誤分割為棉桃的像素點人工圈選出來，共計1 854個像素點；再獲取相同個數的棉桃像素點。將誤分割為棉桃的背景和棉桃像素點做統計分析（如圖1所示），背景像素在歸化-、歸一化-值分布圖中的位置在45°線以下。所以當某像素點的歸一化值大于歸一化值或者歸一化值大于歸一化值，則可判定此像素點為背景像素。此關系是針對不同光照條件下圖像的誤分割統計，可以在改進Otsu算法分割后再根據此關系優化分割結果，進一步提高采樣質量。

圖1 棉桃與誤分割背景的歸一化G-R、B-R、B-G值分布

1.1.3 樣本采集

將圖像用改進的Otsu方法分割后，根據歸一化、、值進一步優化分割結果。此時分割結果中棉桃和背景的像素點值分別為1和0。識別像素點值為1的連通區域，去除像素面積小于閾值的小面積噪聲部分；再對二值圖像進行閉運算，得到最終的分割結果。將結果中棉桃部分像素點對應到原圖，取對應像素點的歸一化、、值為特征向量，像素點的個數為棉桃樣本個數。均勻提取與棉桃樣本等數量的背景像素點的歸一化、、值作為背景樣本。為減少樣本數量，將同類樣本中、、值都相等的多個像素點的特征值保留一個；為避免正負樣本中產生重疊，再去掉正負樣本中共有的像素點，最終得到用于訓練像素分類器的樣本集。

使用自適應樣本采集方法對10幅圖像采集120 000個樣本，統計位于背景部分的棉桃樣本共計297個，位于棉桃部分的背景樣本共計45個，此時樣本標簽的正確率達到99.7%以上，證明了基于改進Otsu算法的自適應樣本采集方法的正確性。此樣本采集過程不需要人工干預，且能適用于多種光照條件下。

1.2 ELM圖像分割

極限學習機是SLFN（single–hidden layer feedforward neural network）中的一種，由一個輸入層、一個隱含層、一個輸出層組成，輸入層與隱含層、隱含層與輸入層神經元間全連接。如圖2所示，個輸入變量輸入個神經元，輸入層與隱含層之間的連接權值為（′矩陣，隱含層有個神經元），隱含層與輸出層間的連接權值為（矩陣），個神經元輸出個輸出變量。

Huang等提出ELM理論[28]，證明當激活函數()無限可微時，輸入層與隱含層的連接權值和偏置在訓練前可以隨機選擇，且在訓練過程中保持不變。隱含層與輸出層間的連接權值可以通過求解如下方程式獲得。

注：x1~ xn為輸入變量，wij為輸入層與隱含層連接權值，O1~Ol為隱含層神經元，βjk為隱含層與輸出層連接權值，y1~ ym為輸出變量。

式中表示隱層節點輸出，為期望輸出。其解為:

為隱含層輸出矩陣的Moore-Penrose廣義逆。ELM隨機產生0到1區間的輸入層和隱含層的連接權值及隱含層神經元的閾值，因此只需要設定隱含層神經元的個數，求解從隱含層到輸出層的權值即可完成訓練過程。ELM算法調參過程和求解方法使得其具有快速學習和泛化性能好的特點[29-30]，在大規模數據分類問題上效果較好。實際棉桃采摘環境中光照條件復雜，得到的互不相同的樣本個數上萬。將樣本用ELM訓練分類模型，可以得到更精確也更快的分類模型。

ELM棉桃分割過程：

1）初始化：確定輸入層、隱含層和輸出層神經元的個數，輸入層與隱含層的連接權值和隱含層神經元的偏置由隨機數發生器產生0到1之間數來決定，在計算的過程中不變，選擇Sigmoid函數作為隱含層神經元的激活函數；

2）模型訓練：將采集好的樣本傳入訓練模型（棉桃樣本標簽為1，背景樣本標簽為0），計算隱含層輸出矩陣和輸出層權值向量。

3）模型應用：將待分割的圖像的所有像素點、、值歸一化，每一個像素點的、、歸一化值組成的向量都是一個待分類的樣本，按順序傳入訓練好的ELM分類器，根據輸出值為1還是0來確定是棉桃還是背景。

1.3 改進Otsu與ELM融合的自適應分割及棉桃定位

將制作好的樣本用于訓練ELM分類模型，用訓練好的模型分割圖像。識別像素點值為1的連通區域，使用文獻中的方法[11]去除像素面積小于閾值的小面積噪聲部分；再對二值圖像進行閉運算。根據文獻[31]中的方法計算出棉桃圓形度大于0.3，因此找到圓形度大于0.3的連通區域的質心位置；設置閾值，如果兩兩連通區域質心的像素距離小于閾值，則通過取兩點中心的方式返回一個新的質心位置，使某些因樹葉遮擋而分開的距離較近的殘缺部分連接起來。再由質心位置對應的深度值得到棉桃的坐標。本文算法流程如圖3所示。

圖3 改進Otsu算法與ELM融合的自然場景棉桃自適應分割流程

2 試驗設計

2017年3月，在三亞的棉田育種基地中，使用雙目相機模擬采棉機實際運行的狀態，以3 km/h的速度動態拍攝多組視頻作為材料樣本。將陰天和晴天拍攝的視頻各讀取300幀保存為分辨率720×720像素的PNG格式圖像用于棉桃分割定位研究。

2.1 訓練樣本采集

將所有圖像都使用改進的Otsu方法分割，驗證算法的有效性。初步分割結果中有些背景被誤識別為棉桃，經過閾值篩選和形態學去噪的優化處理后，最終的效果如圖4所示。

從300張晴天棉田圖像中選取10幅通過基于改進Otsu算法的自適應樣本采集方法進行樣本采集，選中的每一個像素點的歸一化值向量即為一個樣本，得到棉桃和背景各60 000個樣本。同樣選取10幅陰天的圖像采集相同個數的訓練樣本。

圖4 圖像經改進的Otsu算法和形態學優化處理的分割結果

2.2 ELM模型訓練與分割結果

在配置為Intel Core i7-7400 CPU 3.00 GHz, 12 GB RAM，Windows 10 64bits 的計算機上，用MATLAB R2016a 作為分析工具，將樣本集的三分之二用于訓練ELM模型，三分之一用于測試，將測試結果與樣本標簽對比來統計模型的正確率。隱含層神經元個數與測試集預測正確率之間的關系如圖7所示，隨著隱含層神經元個數從1增加到10，分類正確率上升到比較高的水平后，I區域增長速度開始減緩，II區域隨著隱含層神經元個數增加，正確率只有緩慢的增大趨勢，III區域保持平穩不再變化。

圖5 隱含層神經元個數對模型正確率的影響

根據正確率隨隱含層神經元個數增長變化的曲線，選取變化階段的節點處數據，即隱含層神經元個數為10、20、60的模型，將除樣本集外的晴天和陰天的圖像隨機抽取30張用于模型效果測試，分割效果如圖6所示，在MATLAB R2016a工具下分割時間和正確率對比如表1所示。

可以看出3種模型的分割效果基本一致，雖然隱含層神經元個數為20和60時，模型正確率比為10時高，但是由于在樣本制作時有些陰影部分的棉桃像素點并未加入正樣本。為了保證模型的容錯率，并不需要正確率過高，正確率過高導致模型的過擬合問題會使棉桃陰影部分被誤分類為背景。從圖像的分割效果中可以看出，當隱含層細胞個數為10的時候，棉桃可以被完整地分割出來。綜合考慮分割效果和運行時間，最終選擇隱含層細胞個數為10。

圖6 不同隱含層神經元個數的ELM模型分割效果對比圖

表1 隱含層不同神經元數ELM模型分割單張圖像分割性能

2.3 分割結果優化與識別率統計

通過ELM算法分割后的圖像存在一些顏色和棉桃相同的噪聲部分。通過形態學處理優化后再進行目標定位，圖7所示為最終的識別結果。對于每幅圖像，從讀入到得到分割結果的時間作為分割時間，人工計數得到的真實棉桃個數與算法自動標注為棉桃的個數之比作為識別率。除去用于提取樣本的10幅圖像，用本文算法分割剩余的晴天和陰天各290幅圖像，統計得到晴天棉桃平均識別率為94.18%，平均分割時間為0.58 s；陰天棉桃平均識別率為97.56%，平均分割時間為0.58 s。

圖7 棉桃定位結果

3 算法性能對比分析

將本文算法與經典的分類算法SVM、BP用MATLAB R2016a作為分析工具進行比較。圖像分割中還常常提取像素點的Tamura紋理特征中的粗糙度、對比度和方向度作為特征向量，因此在訓練樣本中加入Tamura紋理特征，即每個像素點周圍5×5像素塊的粗糙度，對比度，方向度，再加上RGB顏色特征，形成新的特征數為6的訓練樣本，與本文只提取RGB顏色特征作為訓練樣本作對比。經試驗，SVM分類選擇一次多項式核函數（LIBSVM參數為‘-t1-d1’）進行模型訓練；BP算法在樣本特征數為6和3時分別選擇網絡結構為6-7-1和3-4-2，激活函數為Sigmoid，學習率為0.1，迭代次數為10 進行訓練。同樣是使用10張圖像得到有紋理特征和無紋理的各120 000個樣本，將樣本集的三分之二用于訓練ELM模型，三分之一用于測試模型。從晴天圖像和陰天圖像中各隨機抽取30張圖像用訓練好的模型分割，分割后再進行相同的形態學優化處理和定位。試驗結果用error bar來表示，分別表示出分割時間和棉桃識別率的極大值，均值和極小值，如圖8所示。

圖8 不同天氣下ELM、SVM、BP分割單幅圖像棉桃識別率、效率對比

在晴天圖像的分割中，用RGB特征訓練的ELM、SVM、BP模型棉桃平均識別率分別為94.57%、77%、83.35%，單張圖像的平均分割時間分別為0.58、177.31、6.52 s；使用Tamura紋理特征和RGB特征共同作為訓練樣本訓練的ELM、SVM、BP模型平均識別率分別為75.68%、80.54%、86.17%，單張圖像的平均分割時間分別為467.87 、678.35 、551.01 s。在陰天圖像的分割試驗中各方法的平均識別率比晴天偏高，數據分布規律相似。可以看出本文算法具有最短的分割時間和最高的識別率。從30幅圖像分割結果的正確率的極大值、極小值分布來看，本文算法的正確率波動較小，算法穩定性較好。

在加入紋理特征之后ELM的識別率反而下降，從圖像的分割結果分析是因為部分背景像素點的紋理特征與棉桃紋理特征相似。如圖9所示，為加入紋理和不加紋理的模型分割結果，左圖方框圈選出來的為加入紋理后引入的誤分割部分。將誤分割和棉桃部分、、值分布以及紋理值分布表示如圖10所示，可見這2部分紋理值雖然值各不相同，但是相互混雜，無法區分；而這2部分的、、值分布區分度較大。BP和SVM算法在未加入紋理特征時就無法區分白色塑料膜與棉桃部分，因此加入紋理特征后對模型的正確率沒有太大影響。

圖9 加入紋理前后的ELM分割結果

為了使棉桃識別算法能夠適用于實際采棉機的運動過程，本文處理的圖像取自于動態拍攝的視頻，因此圖像會有細節丟失，而且超高清的圖像需要處理和傳輸的數據量太大，為了滿足實時性，沒有選擇超高清的圖像采集設備。在訓練分類器時特征的選擇尤為重要，不恰當的特征會引入誤差量，從算法性能對比可知，由于圖像質量的限制無法得到高質量的紋理特征，而且提取紋理特征時間消耗大，無法滿足實時性的要求。而通過樣本自動采集增大樣本容量后，選擇RGB特征有更好的區分度。試驗結果表明，改進Otsu與ELM融合的棉桃自適應分割算法在棉桃識別中具有更好的穩定性，更高的準確度和更快的實時性。

圖10 誤分割背景和棉桃部分歸一化R、G、B 分布以及紋理值分布

4 結 論

本文提出了一種基于改進Otsu分割算法的自適應樣本采集方法。分析了灰度直方圖的分布與分割效果之間的關系，提出一種改進的Otsu分割方法對圖像進行初步分割；并對分割后的棉桃和背景像素點的RGB值進行統計學分析，通過閾值篩選和形態學處理，實現了非結構化的自然環境下棉桃和背景的樣本自動采集。

1）傳統的分類需要人機交互點選正負樣本，分類模型一旦確定就很難修改。本文的自動樣本提取方法避免了人工選擇樣本的過程，在實際運用的時候，可以通過檢測實時拍攝圖像的灰度均值為光照條件是否變化的判斷依據，自動選擇樣本和重新訓練模型，從而能夠適應不同的光照條件。

2）本文設計的樣本自動提取方法能夠得到大量像素點樣本，可以避免提取紋理特征來增加樣本信息量。通過試驗分析，證明本文算法在棉桃分割中不需要提取紋理特征提取就可以達到更好的分割效果，大大減少了分割時間。

3）通過試驗證明了本文算法在準確性和速度方面有了很大的提高，在陰天和晴天光照條件下棉桃平均識別率分別為94.18%和97.56%，晴天圖像的棉桃識別率比陰天低，從分割結果圖像來看，晴天圖像中的誤分割都是一些反光嚴重的部分，在以后的研究中還需要繼續優化算法。

[1] 董勝，袁朝輝，谷超，等. 基于多學科技術融合的智能農機控制平臺研究綜述[J]. 農業工程學報，2017，33(8)：1—11. Dong Sheng, Yuan Zhaohui, Gu Chao, et al. Research on intelligent agricultural machinery control platform based on multi-discipline technology integration[J]. Transactions ofthe Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(8): 1—11. (in Chinese with English abstract)

[2] 孟慶寬，張漫，楊耿煌，等. 自然光照下基于粒子群算法的農業機械導航路徑識別[J]. 農業機械學報，2016，47(6)：11—20. Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11—20. (in Chinese with English abstract)

[3] 張志斌，趙帥領，羅錫文，等. 基于SURF算法的綠色作物特征提取與圖像匹配方法[J]. 農業工程學報，2015，31(14)：172—178. Zhang Zhibin, Zhao Shuailing, Luo Xiwen, et al. Matching method of green crops based on SURF feature extraction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 172—178. (in Chinese with English abstract)

[4] Ali T, Jhandhir Z, Ahmad A, et al. Detecting fraudulent labeling of rice samples using computer vision and fuzzy knowledge[J]. Multimedia Tools & Applications, 2017, 76(23): 24675—24704.

[5] Sa I, Chen Z, Popovic M, et al. WeedNet: Dense semantic weed classification using multispectral images and MAV for smart farming[J]. IEEE Robotics & Automation Letters, 2017, 3(1): 588—595.(in Chinese with English abstract)

[6] 苗中華，沈一籌，王小華，等. 自然環境下重疊果實圖像識別算法與試驗[J]. 農業機械學報，2016，47(6)：21—26. Miao Zhonghua, Shen Yichou, Wang Xiaohua, et al. Image recognition algorithm and experiment of overlapped fruits in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 21—26.(in Chinese with English abstract)

[7] 李立君，陽涵疆. 基于改進凸殼理論的遮擋油茶果定位檢測算法[J]. 農業機械學報，2016，47(12)：285—292. Li Lijun, Yang Hanjiang. Revised detection and localization algorithm forcamellia oleifera fruits based on convex hull theory[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(12): 285—292.(in Chinese with English abstract)

[8] Wang C, Tang Y, Zou X, et al.Recognition and matching of clustered mature litchi fruits using binocular charge-coupled device (CCD) color cameras[J]. Sensors, 2017, 17(11): 2564(1—21).

[9] Zhang J, Kong F, Zhai Z, et al. Robust image segmentation method for cotton leaf under natural conditions based on immune algorithm and PCNN algorithm[J]. International Journal of Pattern Recognition & Artificial Intelligence, 2018, 32(5):1854011(1—23).

[10] Mehta S S, Ton C, Asundi S, et al. Multiple camera fruit localization using a particle filter[J]. Computers & Electronics in Agriculture, 2017, 142: 139—154.

[11] 王星，賴惠成，任磊，等.基于YCbCr空間和GA神經網絡的棉花圖像分割算法[J]. 計算機工程與應用, 2014, 50(11): 176—179.

Wang Xing, Lai Huicheng, Ren Lei, et al. Algorithm of cotton image segmentation based on YCbCr space and GA neural network[J]. Computer Engineering and Applications, 2014, 50(11):176—179. (in Chinese with English abstract).

[12] 張成梁，李蕾，董全成，等. 基于GA-SVM模型的機采籽棉雜質識別[J]. 農業工程學報，2016，32(24)：189—196. Zhang Chengliang, Li Lei, Dong Quancheng, et al. Recognition for machine picking seed cotton impurities based on GA-SVM model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(24): 189—196. (in Chinese with English abstract)

[13] 王麗麗，魏舒，趙博，等.基于Niblack自適應修正系數的溫室成熟番茄目標提取方法[J]. 農業工程學報，2017，33(增刊1)：322—327. Wang Lili, Wei Shu, Zhao Bo, et al. Target extraction method of ripe tomato in greenhouse based on Niblack self-adaptive adjustment parameter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.l): 322—327. (in Chinese with English abstract)

[14] 李凱，馮全，張建華. 棉花苗葉片復雜背景圖像的聯合分割算法[J]. 計算機輔助設計與圖形學學報，2017，29(10)：1871—1880. Li Kai, Feng Quan, Zhang Jianhua. Co-segmentation algorithm for complex background image of cotton seedling leaves[J]. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(10): 1871—1880. (in Chinese with English abstract)

[15] 賀付亮，郭永彩，高潮，等. 基于視覺顯著性和脈沖耦合神經網絡的成熟桑葚圖像分割[J]. 農業工程學報，2017，33(6)：148—155. He Fuliang, Guo Yongcai, Gao Chao, et al. Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 148—155. (in Chinese with English abstract)

[16] Vendano J, Ramos P J, Prieto F A. A system for classifying vegetative structures on coffee branches based on videos recorded in the field by a mobile device[J]. Expert Systems with Applications, 2017, 88: 178—192.

[17] Liu H, Lee S H, Chahl J S. A multispectral 3D vision system for invertebrate detection on crops[J]. IEEE Sensors Journal, 2017, 17(22): 7502—7515.

[18] Guerrero J M, Ruz J J, Pajares G. Crop rows and weeds detection in maize fields applying a computer vision system based on geometry[J]. Computers & Electronics in Agriculture, 2017, 142: 461—472.

[19] Li Y, Cao Z, Xiao Y, et al. DeepCotton:In-field cotton segmentation using deep fully convolutional network[J]. Journal of Electronic Imaging, 2017, 26(5): 053028(1—14).

[20] Wang Q, Xu B. A coupled-contour model for effective segmentation of cotton cross-sections in wide-field microscopic images[J]. Textile Research Journal, 2017, 87(12): 1509—1521.

[21] Stevica S, Cvetkovi?, Milo? B, et al. Hierarchical ELM ensembles for visual descriptor fusion[J]. Information Fusion, 2018, 41(5): 16—24.

[22] Song Y, Zhang S, He B, et al. Gaussian derivative models and ensemble extreme learning machine for texture image classification[J]. Neurocomputing, 2018, 277: 53—64.

[23] Boemer F, Ratner E, Lendasse A. Parameter-free image segmentation with SLIC[J]. Neurocomputing, 2018, 277: 228—236.

[24] Duan M, Li K, Yang C, et al. A hybrid deep learning CNN-ELM for age and gender classification[J]. Neurocomputing, 2017, 275: 448—461.

[25] Zhang Y, Yuan Y, Wang Y, et al. A novel multimodal retrieval model based on ELM[J]. Neurocomputing, 2018, 277: 65—77.

[26] 裘日輝，劉康玲，譚海龍，等. 基于極限學習機的分類算法及在故障識別中的應用[J]. 浙江大學學報(工學版)，2016，50(10)：1965—1972. Qiu Rihui, Liu Kangling, Tan Hailong, et al. Classification algorithm based on extreme learning machine and its application in fault identification of Tennessee Eastman process.[J]. Journal of Zhejiang University (Engineering Science), 2016, 50(10): 1965—1972. (in Chinese with English abstract)

[27] Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62—66.

[28] Huang G B, Zhu Q Y, Siew C K.Extreme learning machine: A new learning scheme of feedforward neural networks[C]// IEEE International Joint Conference on Neural Networks, 2004: 985—990.

[29] Peng Y, Kong W, Yang B. Orthogonal extreme learning machine for image classification[J]. Neurocomputing, 2017, 266: 458—464.

[30] 李小冬. 核極限學習機的理論與算法及其在圖像處理中的應用[D]. 杭州：浙江大學，2014. Li Xiaodong. Kernel ELM Theory and Algorithms and Application in Image Processing[D]. Hangzhou: Zhejiang University, 2014. (in Chinese with English abstract)

[31] 李卓，楊子敬，郝建唯，等.蘋果幼果圖像的分割與識別算法研究[J]. 沈陽理工大學學報，2015，34(1)：34—39. Li Zhuo, Yang Zijing, Hao Jianwei, et al. Segmentation and recognition algorithms for image of young apple[J]. Journal of Shenyang Ligong University, 2015, 34(1): 34—39. (in Chinese with English abstract)

Self-adaptive segmentation method of cotton in natural scene by combining improved Otsu with ELM algorithm

Wang Jian1,2, Zhou Qin1,2, Yin Aijun1,2

(1.400044,2.400044,)

In order to segment cotton from background accurately and quickly under the unstructured natural environment, an improved scene adaptive optimization segmentation algorithm was proposed. Firstly, the traditional Otsu algorithm was adopted for cotton segmentation by analyzing the rule of gray histogram distribution of images acquired. During each segmentation of cotton image, the background pixel was set to zero and the gray histogram distribution of the target pixel was analyzed after segmented. The segmentation stopped when the histogram distribution appeared to be a steep unimodal distribution and the final segmentation threshold was the optimized threshold. There were still some background pixels in the segmentation results in the first step. Therefore, secondly, a threshold selection rule was utilized to segment cotton from background based on the statistical analysis of the RGB (red, green, blue) values. Cotton pixels were then extracted after morphology processing. Thirdly, cotton pixels with the RGB values were labeled as positive samples, and then background pixels with the same number of cotton were labeled as negative samples. The feature vectors which the positive and the negative samples shared in common were removed to improve the accuracy. A large-scale training samples were obtained automatically by using previous steps. In the fourth step, the samples were used to train the ELM (extreme learning machine) classification model for cotton segmentation. In the fifth step, the RGB values of all pixels in the test images were normalized and passed to the classification model and the output value will be 1 if the pixels belong to the cotton, or 0 if the pixels belong to the background. Another morphological procedure was employed to remove the noise segments of the output results. In the final step, the centroids of the connected regions which had a roundness of greater than 0.3 were extracted. If the pixel distance between 2 centroids was less than 40 pixels, a new centroid position was returned as a two-point center, so that some incomplete parts separated by the leaf were connected. Then the unsupervised sampling and segmentation of cotton under the unstructured light environment were achieved and the coordinates of cotton were derived. The algorithm proposed in this paper was verified by cotton segmentation experiment. The original datasets were collected on both sunny and cloudy days in the cotton breeding station located in Sanya, Hainan, China. The training datasets were composed of labeled samples generated from 20 images, 10 from sunny day and 10 from cloudy day. Another 60 images, 30 from sunny day and 30 from cloudy day, constituted the testing datasets. For each image in testing datasets, the accuracy is determined by the comparison of numbers between identified cotton and actual cotton. By applying the proposed method, the cotton was identified after segmentation. The average processing time is 0.58 s and the average recognition rates for the images on sunny and cloudy day were 94.18% and 97.56%, respectively. A comparison analysis was conducted between the proposed method and popular methods under Windows 10 64bits with an Intel Core i7-7400 CPU 3.00 GHz, 12 GB RAM, and MATLAB R2016a. For the segmentation of images on sunny day, accuracies by applying the proposed method, SVM (support vector machine) and BP (back propagation) with only RGB features as training samples were 94.57%, 77% and 83.35%, respectively. And the segmentation time was 0.58, 177.31 and 6.52 s, respectively. Accuracies by applying the proposed method, SVM and BP with Tamura texture and RGB features as training samples were 75.68%, 80.54% and 86.17%, respectively. And the segmentation time was 467.87, 678.35 and 551.01 s, respectively. The segmentation results of images on cloudy day were much like that on sunny days except slightly higher in accuracy. The results indicate that the proposed method exceeds popular methods in segmentation speed and accuracy. Moreover, the proposed method avoids texture feature extraction for each pixel, which guarantees better real-time performance.

image segmentation; crops; image recoginiton; modified Otsu algorithm; extreme learning machine; self-adaptation

王 見，周 勤，尹愛軍. 改進Otsu算法與ELM融合的自然場景棉桃自適應分割方法[J]. 農業工程學報，2018，34(14)：173－180. doi：10.11975/j.issn.1002-6819.2018.14.022 http://www.tcsae.org

Wang Jian, Zhou Qin, Yin Aijun. Self-adaptive segmentation method of cotton in natural scene by combining improved Otsu with ELM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 173－180. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.14.022 http://www.tcsae.org

2018-02-08

2018-04-12

國家自然科學基金項目（51675064）；重慶科技計劃—基于多目立體視覺的智能采棉機關鍵技術研究（cstc2016shmszx1245）

王 見，男，新疆喀什人，博士，副教授，主要從事機電一體化技術及智能控制研究。Email：vi@cqu.edu.cn

10.11975/j.issn.1002-6819.2018.14.022

S562；S24

A

1002-6819(2018)-14-0173-08