基于顏色特征的小麥抽穗揚(yáng)花期麥穗識(shí)別計(jì)數(shù)*

劉東，曹光喬，李亦白，陳聰

(1.農(nóng)業(yè)農(nóng)村部南京農(nóng)業(yè)機(jī)械化研究所，南京市，210014；2.中國(guó)農(nóng)業(yè)科學(xué)院研究生院，北京市，463000)

0 引言

抽穗揚(yáng)花期是小麥生長(zhǎng)、病蟲害防治的關(guān)鍵時(shí)期，該時(shí)期對(duì)小麥的產(chǎn)量和品質(zhì)有直接影響。麥穗數(shù)作為小麥生長(zhǎng)的重要參數(shù)，常用于產(chǎn)量預(yù)測(cè)和種植密度評(píng)估，成長(zhǎng)期小麥麥穗數(shù)對(duì)后期水肥管理和蟲害防治有重要影響作用。以小麥赤霉病為例，赤霉病作為小麥抽穗期的主要病害，不僅影響小麥產(chǎn)量和品質(zhì)，對(duì)人畜健康和生命安全也構(gòu)成直接威脅[1-2]，相關(guān)學(xué)者研究表明小麥赤霉病的最佳施藥期為齊穗期(抽穗株率80%)至揚(yáng)花初期[3-4]。因此實(shí)現(xiàn)抽穗揚(yáng)花期小麥麥穗自動(dòng)識(shí)別計(jì)數(shù)，對(duì)赤霉病防治、后期水肥管理和產(chǎn)量預(yù)測(cè)都有較大作用。

目前已有國(guó)內(nèi)外學(xué)者將圖像處理和視頻檢測(cè)技術(shù)應(yīng)用于作物生長(zhǎng)檢測(cè)。小麥方面，已有學(xué)者利用圖像處理技術(shù)對(duì)麥穗進(jìn)行識(shí)別計(jì)數(shù)。范夢(mèng)揚(yáng)等[5]研究了一種針對(duì)局部小范圍的小麥麥穗計(jì)數(shù)方法，通過(guò)提取麥穗的顏色、紋理特征，將麥穗輪廓與背景分離，并將麥穗輪廓細(xì)化確定麥穗數(shù)量。劉濤等[6]針對(duì)不同播種方式，分析了利用顏色特征和紋理特征分割麥穗的優(yōu)缺點(diǎn)和粘連區(qū)域麥穗個(gè)數(shù)的計(jì)算方法，準(zhǔn)確率分別為95.77%和96.89%。劉哲等[7]提出了基于改進(jìn)K-means的小麥麥穗計(jì)數(shù)方法，該方法建立從圖像低層顏色特征到圖像中包含麥穗的一個(gè)直接分量關(guān)系，從而不需要對(duì)圖像進(jìn)行分割或檢測(cè)。李毅念等[8]通過(guò)顏色空間轉(zhuǎn)換、去除細(xì)窄處粘連算法進(jìn)行初步分割，再利用基于凹點(diǎn)檢測(cè)匹配連線的方法實(shí)現(xiàn)粘連麥穗的分割。但其圖像需要在特定裝置內(nèi)以田間麥穗傾斜的方式獲取，具有一定的局限性。郝王麗等[9]提出了基于YOLOv3的深度神經(jīng)網(wǎng)絡(luò)小麥檢測(cè)方法，但其檢測(cè)范圍為特定標(biāo)注框內(nèi)的小麥，存在小麥遮擋、重疊以及特定標(biāo)注框內(nèi)小麥越界到框外、框外小麥進(jìn)入標(biāo)注框內(nèi)等情況，導(dǎo)致真實(shí)小麥麥穗數(shù)和預(yù)測(cè)小麥麥穗不一致。張領(lǐng)先等[10]設(shè)計(jì)了基于神經(jīng)網(wǎng)絡(luò)的冬小麥麥穗檢測(cè)計(jì)數(shù)系統(tǒng)，通過(guò)建立麥穗、葉片、陰影三類標(biāo)簽數(shù)據(jù)集，建立冬小麥麥穗識(shí)別模型。針對(duì)麥穗重疊面積較小的情況可以較好計(jì)數(shù)，但對(duì)于麥穗重疊面積較大的情況效果不理想。Sadeghi-Tehran等[11]通過(guò)簡(jiǎn)單線性迭代聚類(SLIC)將圖像分割為超像素，獲得冠層相關(guān)特征，然后構(gòu)建合理的特征模型，并將其輸入深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)分類，實(shí)現(xiàn)小麥麥穗的語(yǔ)義分割，其計(jì)數(shù)值與真實(shí)值的決定系數(shù)R2達(dá)0.94。

上述研究雖然都是小麥麥穗識(shí)別計(jì)數(shù)，但其研究目的是小麥產(chǎn)量預(yù)測(cè)和種植密度評(píng)估，研究對(duì)象多為成熟期小麥圖像，該時(shí)期小麥麥穗與葉片顏色差異較大，識(shí)別效果較好，且該時(shí)期處于生長(zhǎng)晚期，麥穗計(jì)數(shù)無(wú)法指導(dǎo)病蟲害防治等植保環(huán)節(jié)。抽穗揚(yáng)花期麥穗與葉片顏色非常接近，若直接應(yīng)用現(xiàn)有研究方法效果不理想，且現(xiàn)有研究針對(duì)粘連區(qū)域麥穗識(shí)別計(jì)數(shù)問(wèn)題還需優(yōu)化。針對(duì)上述問(wèn)題，本文以抽穗揚(yáng)花期小麥為研究對(duì)象，使用無(wú)人機(jī)獲取小麥冠層影像，通過(guò)圖像處理技術(shù)識(shí)別小麥麥穗個(gè)數(shù)，并利用改進(jìn)Harris角點(diǎn)檢測(cè)算法準(zhǔn)確實(shí)現(xiàn)粘連麥穗計(jì)數(shù)，為了解小麥長(zhǎng)勢(shì)監(jiān)測(cè)和后期病蟲害防治提供參考。

1 材料與方法

1.1 圖像獲取及分析

麥穗圖像拍攝于2021年4月23日南京市棲霞區(qū)太平村(32°02′651″N，118°52′301″E)，小麥品種為楊麥12、楊麥16。使用大疆御mini無(wú)人機(jī)搭載RGB可見(jiàn)光相機(jī)，拍攝時(shí)間為10:00～12:00，在晴天逆光條件下垂直、45°視角拍攝，其中垂直拍攝30幅、45°視角拍攝30幅，飛行高度150 cm。由圖1可以看出，45°拍攝的小麥冠層圖像由麥穗、葉、莖稈構(gòu)成；垂直拍攝的圖像中除麥穗、葉、莖稈外，還有少量裸露的土地。麥穗、葉、莖稈作為圖像中的主要部分，三者在顏色和紋理上非常接近，且大田環(huán)境下所獲取的圖像都存在較為嚴(yán)重的麥穗粘連問(wèn)題。

(a)45°傾斜拍攝

1.2 顏色特征選擇

超綠色[12]提取綠色植物圖像效果較好，對(duì)陰影、枯草和土壤圖像有較好地抑制作用，常用于作物識(shí)別或雜草識(shí)別。但本文的數(shù)據(jù)樣本中麥穗、葉、莖稈顏色相近，且都呈現(xiàn)綠色，因此使用超綠特征識(shí)別麥穗效果不理想。直方圖均衡化是一種利用灰度變換自動(dòng)調(diào)節(jié)圖像對(duì)比度質(zhì)量的方法，其基本思想是通過(guò)灰度級(jí)的概率密度函數(shù)求出灰度變換函數(shù)，它是一種以累計(jì)分布函數(shù)變換法為基礎(chǔ)的直方圖修正法。變換函數(shù)T(r)與原圖像概率密度函數(shù)pr(r)的關(guān)系為

sk=T(rk)

(0≤rj≤1，k=0,1,2,…,L-1)

式中：nj——灰度級(jí)為rj的像素?cái)?shù)；

N——圖像的像素總量；

L——圖像的灰度級(jí)；

s——直方圖均衡化后的圖像灰度級(jí)。

利用直方圖均衡化對(duì)RGB圖像進(jìn)行處理時(shí)，會(huì)出現(xiàn)彩色色調(diào)改變的現(xiàn)象，對(duì)于顏色差異較小的圖像，可以利用這種色調(diào)改變現(xiàn)象增強(qiáng)顏色區(qū)分度。如圖2所示，在RGB空間對(duì)圖像進(jìn)行直方圖均衡化。經(jīng)過(guò)處理后，RGB圖像中麥穗和葉、莖稈出現(xiàn)明顯色差。

(a)45°夾角拍攝麥田均衡化效果

經(jīng)直方圖均衡化處理后，麥穗和葉、莖稈雖然有較大顏色差異，但少數(shù)葉片還是呈現(xiàn)綠色，與麥穗顏色差異不大，因此不能直接進(jìn)行麥穗提取。RGB顏色空間的單通道及其組合指數(shù)常被用來(lái)作為特征參數(shù)[12-13]，常見(jiàn)的組合指數(shù)包括歸一化綠紅差異指數(shù)(NGRDI)、紅綠比值指數(shù)(RGRI)、綠葉指數(shù)(GLI)和過(guò)綠指數(shù)(ExG)等。提取歸一化紅綠差異指數(shù)作為顏色特征，通過(guò)進(jìn)一步處理能較好地消除葉片的干擾，其公式如下。

NGRDI=(G-R)/(G+R)

式中：G——綠色波段像素值；

R——紅色波段像素值。

1.3 二值化圖像處理

基于顏色特征提取的麥穗二值化圖像中存在麥穗粘連、麥穗孔洞、麥芒、雜質(zhì)等干擾因素，故不能直接進(jìn)行麥穗提取。通過(guò)對(duì)麥穗二值化圖像進(jìn)行形態(tài)學(xué)腐蝕、開(kāi)處理，可以消除麥芒、雜質(zhì)的影響。針對(duì)麥穗自身孔洞問(wèn)題，本研究首先使用孔洞填充算法嘗試解決，但效果并不理想，通過(guò)嘗試使用中值濾波算法可以較好地解決。

1.4 基于PSO改進(jìn)的角點(diǎn)檢測(cè)算法

1.4.1 Harris角點(diǎn)檢測(cè)算法

針對(duì)粘連小麥麥穗，本文采用改進(jìn)Harris角點(diǎn)檢測(cè)算法實(shí)現(xiàn)粘連麥穗的準(zhǔn)確識(shí)別。角點(diǎn)檢測(cè)算法主要分為基于圖像邊緣的方法和基于圖像灰度的方法，Harris算法就是基于圖像灰度的典型角點(diǎn)檢測(cè)算法[14-15]，其檢測(cè)過(guò)程可分為三步：梯度計(jì)算、響應(yīng)值計(jì)算、角點(diǎn)提取。Harris算法提取角點(diǎn)較為理想，但存在抗噪性差、易產(chǎn)生角點(diǎn)簇、偽角點(diǎn)、運(yùn)行時(shí)間長(zhǎng)等缺點(diǎn)。為提高角點(diǎn)檢測(cè)精度，首先用高斯窗口差分細(xì)化圖像，確定候選角點(diǎn)，然后計(jì)算候選角點(diǎn)與八鄰域的像素值差，再次剔除一些候選點(diǎn)。將角點(diǎn)響應(yīng)函數(shù)的最大值(CRFmax)作為閾值，對(duì)候選點(diǎn)及八鄰域進(jìn)行角點(diǎn)判別。

角點(diǎn)檢測(cè)判別式為

CRF=detM-a(traceM)2

式中：CRF——角點(diǎn)響應(yīng)函數(shù)值；

M——灰度相關(guān)矩陣；

a——常數(shù)。

1.4.2 粒子群優(yōu)化算法

粒子群優(yōu)化算法(PSO)最早是由Eberhart和Kennedy于1995年提出，基本概念源于對(duì)鳥群覓食行為的研究，其基本思想是通過(guò)群體中個(gè)體之間的協(xié)作和信息共享來(lái)尋找最優(yōu)解。每個(gè)個(gè)體在搜尋空間中各自擁有其方向和速度，并根據(jù)自我經(jīng)驗(yàn)與群體行為進(jìn)行搜尋策略調(diào)整[16]。其算法數(shù)學(xué)表達(dá)式如下

xi=xi+vi

vi=ωvi+c1rand()×(pbesti-xi)+

c2rand()×(gbesti-xi)

式中：xi——粒子當(dāng)前位置；

vi——粒子的速度；

c1、c2——學(xué)習(xí)因子；

p——當(dāng)前個(gè)體極值；

besti——當(dāng)前全局最優(yōu)解；

rand()——介于(0，1)之間的隨機(jī)數(shù)；

ω——慣性因子，較大時(shí)，全局尋優(yōu)能力強(qiáng)，局部尋優(yōu)能力強(qiáng)；較小時(shí)，全局尋優(yōu)能力弱，局部尋優(yōu)能力強(qiáng)。

Harris角點(diǎn)檢測(cè)算法中a作為比例系數(shù)常數(shù)，一般根據(jù)經(jīng)驗(yàn)取值，但其對(duì)角點(diǎn)檢測(cè)結(jié)果有很大影響。因此本文通過(guò)粒子群算法對(duì)比例系數(shù)和閾值進(jìn)行優(yōu)化，以提高交點(diǎn)數(shù)識(shí)別的準(zhǔn)確率。

1.5 圖像處理算法流程

小麥麥穗圖像采集后，針對(duì)RGB空間進(jìn)行彩色圖像均衡化處理，處理后麥穗和葉、莖稈出現(xiàn)明顯色差，但仍有部分葉片難以區(qū)分，使用紅綠歸一化差異指數(shù)消除葉片干擾。對(duì)麥穗圖像進(jìn)行圖像預(yù)處理，包括圖像分割、二值圖像形態(tài)學(xué)處理。針對(duì)粘連區(qū)域，首先將麥穗進(jìn)行細(xì)化處理，再采用改進(jìn)的Harris角點(diǎn)檢測(cè)算法識(shí)別骨架交點(diǎn)，實(shí)現(xiàn)圖像中麥穗分割計(jì)數(shù)，算法流程如圖3所示。

圖3 麥穗計(jì)數(shù)算法流程圖Fig.3 Flow chart of ear counting algorithm

2 試驗(yàn)與結(jié)果分析

2.1 麥穗提取

圖像分割技術(shù)可分為邊緣檢測(cè)技術(shù)、閾值分割技術(shù)和區(qū)域分割技術(shù)等，它們分別基于不同區(qū)域的邊緣、灰度特征閾值、相似性質(zhì)像素集合等基本思想[17]。麥穗RGB圖像經(jīng)過(guò)直方圖均衡化處理后的麥穗和葉片在顏色特征上有較大差異，麥穗的綠色特征得到了保留，葉片和莖稈的顏色特征由綠色變?yōu)樽仙虼吮疚闹苯訉?duì)彩色圖像進(jìn)行分割，對(duì)R、G、B三通道分別進(jìn)行處理，分割時(shí)各顏色波段范圍為R>100，G>200，B>50。麥穗提取效果如圖4(b)所示。圖4(c)、圖4(d)為二值圖像處理后效果。

(a)直方圖均衡化后麥穗圖像

2.2 粘連麥穗處理

現(xiàn)有麥穗識(shí)別方法中，無(wú)論是傳統(tǒng)圖像處理方法還是基于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，麥穗粘連問(wèn)題都無(wú)法避免。如圖5所示，與一般的簡(jiǎn)單邊緣粘連不同，麥穗粘連既有邊緣粘連也有重合度很大的粘連，通過(guò)形態(tài)學(xué)腐蝕、開(kāi)運(yùn)算等處理雖然能解決部分麥穗粘連問(wèn)題，但無(wú)法解決重合度較大的多個(gè)麥穗粘連問(wèn)題。針對(duì)粘連問(wèn)題，本文首先通過(guò)細(xì)化處理提取麥穗骨架，針對(duì)麥穗骨架采用改進(jìn)Harris角點(diǎn)檢測(cè)算法進(jìn)行交點(diǎn)檢測(cè)，實(shí)現(xiàn)粘連麥穗的準(zhǔn)確識(shí)別。

(a)單個(gè)麥穗

2.2.1 圖像細(xì)化

圖像細(xì)化一般指二值圖像的骨骼化，即從圖像中去掉一些點(diǎn)(通常為輪廓上的點(diǎn))，但仍要保持原來(lái)形狀，直到得到圖像的骨架[18-19]。對(duì)重疊的麥穗二值圖像進(jìn)行圖像細(xì)化(骨骼化)，圖6為經(jīng)過(guò)細(xì)化算法處理后的圖像。經(jīng)細(xì)化處理后雖然分割了部分粘連麥穗，但一些粘連區(qū)域的麥穗依舊無(wú)法分割。通過(guò)參考文獻(xiàn)[6]及圖像分析，發(fā)現(xiàn)粘連區(qū)域的麥穗在進(jìn)行細(xì)化操作后雖然無(wú)法分割，但相互粘連的麥穗間存在交點(diǎn)[6]，因此在麥穗計(jì)數(shù)中可以將區(qū)域識(shí)別個(gè)數(shù)加交點(diǎn)數(shù)作為最終麥穗識(shí)別個(gè)數(shù)。

(a)2個(gè)麥穗粘連

2.2.2 交點(diǎn)檢測(cè)

對(duì)麥穗骨架進(jìn)行角點(diǎn)檢測(cè)可大大縮短運(yùn)行時(shí)間，增加檢測(cè)精度，但偽角點(diǎn)依然存在。本文利用基于粒子群算法改進(jìn)的Harris角點(diǎn)檢測(cè)算法對(duì)粘連麥穗的交點(diǎn)進(jìn)行識(shí)別計(jì)數(shù)，交點(diǎn)檢測(cè)效果如圖7所示。

(a)2個(gè)麥穗的交點(diǎn)

2.3 麥穗計(jì)數(shù)分析

為驗(yàn)證本文方法的麥穗計(jì)數(shù)準(zhǔn)確率，設(shè)人工測(cè)量數(shù)量為Nm，圖像處理算法計(jì)算數(shù)量為Na，則麥穗計(jì)數(shù)準(zhǔn)確率

每種角度隨機(jī)抽取10張樣本，分別運(yùn)用本文算法和人工計(jì)數(shù)方法進(jìn)行麥穗計(jì)數(shù)，統(tǒng)計(jì)結(jié)果如表1、表2所示。小麥圖像為640像素×480像素，小麥麥穗計(jì)數(shù)平均耗時(shí)1.1 s，垂直拍攝小麥圖像與45°夾角拍攝小麥圖像的平均計(jì)數(shù)準(zhǔn)確率分別為96.06%和94.74%。在垂直拍攝的麥穗圖像識(shí)別中，范夢(mèng)揚(yáng)等[5]利用SVM學(xué)習(xí)的方法的平均精度為93.1%，劉哲等[7]提出的基于改進(jìn)K-means的小麥麥穗計(jì)數(shù)方法的精度為94.69%，劉濤等[6]根據(jù)顏色特征和紋理特征識(shí)別麥穗的精度分別為95.77%和96.89%。本文的計(jì)數(shù)精度為96.06%，高于前兩種，略低于最后一種，能滿足大田環(huán)境下小麥麥穗統(tǒng)計(jì)的需求。除垂直拍攝外，本文為驗(yàn)證粘連麥穗計(jì)數(shù)精度，選擇45°夾角拍攝的小麥圖像，其精度達(dá)到94.74%，雖低于垂直拍攝的計(jì)數(shù)精度，但也可實(shí)現(xiàn)粘連麥穗的有效計(jì)數(shù)，因此本文方法可以有效地進(jìn)行抽穗揚(yáng)花期小麥麥穗自動(dòng)計(jì)數(shù)，為后續(xù)病蟲害防治作業(yè)提供決策依據(jù)。

表1 人工統(tǒng)計(jì)與算法統(tǒng)計(jì)對(duì)比(垂直拍攝)Tab.1 Comparison of manual statistics and algorithm statistics (vertical shooting)

表2 人工統(tǒng)計(jì)與算法統(tǒng)計(jì)對(duì)比(45°夾角拍攝)Tab.2 Statistical comparison between manual statistics and algorithm (45° angle shooting)

3 結(jié)論

針對(duì)抽穗揚(yáng)花期小麥各部分顏色特征、紋理特征相近和麥穗粘連等導(dǎo)致的小麥麥穗計(jì)數(shù)準(zhǔn)確率不高等問(wèn)題，本文對(duì)該時(shí)期小麥麥穗識(shí)別計(jì)數(shù)展開(kāi)研究。研究結(jié)果表明：經(jīng)直方圖均衡化后，原本顏色特征接近的麥穗、葉片出現(xiàn)顏色差異，結(jié)合紅綠歸一化差異指數(shù)可以對(duì)麥穗進(jìn)行有效提取。對(duì)于粘連區(qū)域，首先將麥穗進(jìn)行細(xì)化處理，重合度較大的粘連麥穗其骨架會(huì)發(fā)生相交，因此采用改進(jìn)的Harris角點(diǎn)檢測(cè)算法識(shí)別骨架交點(diǎn)，將區(qū)域識(shí)別個(gè)數(shù)加交點(diǎn)數(shù)作為最終麥穗識(shí)別個(gè)數(shù)，可有效解決粘連麥穗的計(jì)數(shù)問(wèn)題。

1)本文方法在不同拍攝角度下，平均計(jì)數(shù)準(zhǔn)確率分別為96.06%和94.74%，可實(shí)現(xiàn)大田環(huán)境下小麥抽穗揚(yáng)花期麥穗識(shí)別計(jì)數(shù)。

2)本文算法可用于顏色特征差異較小的抽穗揚(yáng)花期小麥麥穗識(shí)別，實(shí)現(xiàn)不同時(shí)期小麥麥穗識(shí)別計(jì)數(shù)，可為小麥長(zhǎng)勢(shì)監(jiān)測(cè)、病蟲害防治等提供依據(jù)。