基于機器視覺的田間小麥開花期判定方法

劉 平 劉立鵬 王春穎 朱衍俊 王宏偉 李 祥

(1.山東農業大學機械與電子工程學院， 泰安 271018; 2.山東農業大學生命科學學院， 泰安 271018)

0 引言

小麥花期決定了小麥生長期，影響小麥最終產量及性狀穩定程度[1]。不同品種小麥開花期及開花性狀不同；相同品種小麥在不同地區種植，開花情況也不同。目前，大量小麥育種材料和種質的花期判定主要以人工估算小花與小穗比例的方式，勞動強度大，主觀性強。因此研究一種高效、準確的檢測技術替代人工十分必要。

基于機器視覺的表型獲取是一種快速、低成本、非破壞性的技術，可實現目標性狀的精確提取[2-4]。目前小麥開花期檢測主要通過提取圖像特征，如：顏色、紋理特征等導入支持向量機訓練[5]，或借助卷積神經網絡對標注后的開花穗及未開花穗進行訓練[6]，從而實現對開花小麥的識別。但以上研究沒有排除光照條件對判定的影響，麥穗反光較明顯時，會影響識別精度。現有研究僅對開花麥穗進行了識別，并未根據小花的個數及密度等信息判定開花情況，無法提供客觀、全面的數據。

近年來，有很多學者對田間作物的顏色分量進行研究，提出基于不同分量的預處理方法，大幅提升了目標辨識度[7-11]。其中綜合顏色特征可根據各空間對目標的區分效果，進行線性疊加，解決光照不均及雜波較多的問題[12-13]。在目標識別和分割算法方面，主要有：基于卷積神經網絡的檢測方法，以RCNN、YOLO等模型為代表[14-16]；基于基本分類和回歸的K-means、K-Nearest Neighbors聚類算法[17-18]；基于顏色、亮度、紋理等特征和距離的超像素分割方法[19-20]。QURESHI等[21]對比K-Nearest Neighbors聚類、超像素分割方法，證明超像素分割在處理邊界及增強貼疊情況下的分割精度方面更有優勢。

與水稻、玉米等農作物相比，小麥的小花和小穗形態結構小，花與穗顏色差異不明顯[22-23]，均增加了識別難度。本文采用自適應調節的綜合顏色特征，降低光照及環境噪聲造成的影響，同時改進超像素分割算法，提高分割精度及運算速度，最終根據分割出的小花與小穗個數比值計算開花率并完成花期判定。

1 小麥圖像預處理

1.1 數據獲取

圖像數據拍攝地點為山東省泰安市山東農業大學農學實驗站(36°9′52″N, 117°9′21″E)，拍攝期間多為晴朗天氣，陰天、降雨天氣較少。圖像數據由數據采集機器人(圖1)獲取，相機采用杰銳微通DW800_2.9mm型攝像頭，為提高運算速度，后續圖像處理尺寸被調整至800像素×600像素。

1.2 綜合顏色特征

當照明均勻時，顏色指數可明顯區分各特征區域，如過紅顏色分量(ExR)和過綠顏色分量(ExG)可有效地從背景雜波中區分出麥穗及葉片[8]，如圖2所示，ExR比ExG更能明顯區分小穗及小花。然而，當局部光照不均勻時，ExR及ExG則會造成誤分類(圖2)，其中標記區域為反光區，影響目標判別。

ExR=1.3IR-IG

(1)

ExG=1.3IG-IR

(2)

式中IR——圖像中該點的紅色像素值

IG——圖像中該點的綠色像素值

HSV顏色空間的S分量對光照變化不敏感[10,13]，可一定程度上減弱光照不均勻對識別精度的影響。

在ExR中，除去光照影響，土壤噪聲影響也較大，紅綠歸一化顏色分量(NGRDI)反映植被與土壤背景的差異[8-9]，能定量說明小麥的生長狀態，通過NGRDI過濾土壤噪聲。計算式為

(3)

NGRDI介于-1～1之間，當其值為負或接近零時，表征土壤及葉片；當其值為正時表征麥穗。

利用ExR、S分量和NGRDI顏色空間構造的綜合顏色特征(圖3)，可以從雜波背景中快速區分小穗及小花，具有很強的區分能力。為降低光照的影響，以α、β和γ參數調整各空間比重，同時，通過濾波消除綜合顏色特征的高頻及低頻噪聲。

1.3 各指標權重自適應調節

為判定不同光照條件下，各顏色空間取不同權重時對圖像的影響情況，對不同時刻(圖4)的田間小麥圖像計算亮度分量，圖4中由上到下依次為08：00、12：00、16：00時拍攝的圖像。該分量表示光照對圖像質量的影響程度，其比值越接近1，光照影響越小[12]，計算公式為

圖4 不同時刻的光影響情況Fig.4 Light influences at different periods of time

(4)

式中R——亮度分量比值

M——光影響區域中的像素數

N——正常區域中的像素數

CCF(x,y)——對應圖像坐標(x,y)點處的綜合顏色特征值

不同時刻的亮度分量比值如圖5所示。S分量所占權重對光照區域平均灰度與正常區域平均灰度的比值(R)影響較小，而ExR和NGRDI所占權重對R有較大影響。為減弱光照對圖像造成的影響，ExR權重參數α取值0.1～0.3，S分量權重參數β取值1.5-α-γ，NGRDI權重參數γ取值0.7～0.9。

圖5 不同時刻R值隨各指標變化情況Fig.5 R values varied with each indicator over different periods of time

為增強綜合顏色特征中各部位的差異，計算α在0.1～0.3、γ在0.7～0.9之間的圖像臨近對比度。針對不同情況下圖像的表現情況，自動取臨近對比度最高點處的各分量權重作為α、β、γ值。臨近對比度隨各空間權重的變化情況如圖6所示。計算公式為

圖6 臨近對比度隨各空間權重的變化情況Fig.6 Near-contrast varied with individual color space over different weights

(5)

式中C——臨近對比度

δ(i,j)——相鄰像素間灰度差

Pδ(i,j)——相鄰像素間灰度差的像素分布概率

圖7所示為使用Matlab灰度轉換和綜合顏色特征轉換的結果，其中綜合顏色特征可有效減弱光照影響且明顯區分復雜環境中的小花及小穗，便于下一步的精確分割。

圖7 不同品種小麥開花期圖像轉換效果Fig.7 Image conversion effects of different varieties of wheat flowering period

2 小麥開花期的確定

2.1 小穗與小花分割方法

小麥在開花期，麥穗發育尚未完全，傾角大且重疊程度高。為精確分割小花及小穗邊界并提高計算速度，提出基于灰度變化函數和中心距離函數的超像素分割算法聚類規則。同時計算出各像素點的相似度，最終將具有同質特征的相鄰像素組成不同的圖像區域。灰度變化梯度、距離變化梯度、預分配圖像區域尺寸和相似度的計算公式為

dc=CCFj-CCFi

(6)

(7)

(8)

(9)

式中CCFj——圖像j點綜合顏色特征值

CCFi——圖像i點綜合顏色特征值

dc——綜合顏色特征的灰度變化梯度

ds——距離變化梯度

K——構造圖像區域的個數

u、v——輸入圖像的橫縱方向像素數

S——預分配圖像區域尺寸

T——灰度梯度變化范圍閾值

D′——聚類中心周圍2S范圍內各點相似度

優化超像素聚類搜索規則(圖8)，首先，將聚類搜索范圍限制在中心點2S范圍內，隨后以二維Same卷積的方式遍歷整個圖像，提高運算速度。

圖8 聚類搜索規則示意圖Fig.8 Schematics of clustering searching rules

目標區域聚類后，仍有部分圖像區域因連貫弱、距離變化梯度大被劃分為不同類別。為解決這些問題，提出優化搜索路徑算法。從被初始聚類的圖像區域中心點出發，沿8鄰域方向遞進搜索邊界點，下位點與當前點的D′值相差大時終止該方向搜索，如圖9所示，其中綠、黃色區域分別為初始聚類區域和優化后的聚類區域。

圖9 優化搜索路徑示意圖Fig.9 Schematic of optimization search path

為提高分割精度及速度，提出了基于灰度變化和中心距離的超像素分割算法聚類規則。為避免彩色圖像在田間環境噪聲點過多而影響聚類效果，優化圖像區域搜索線路，避免出現小目標欠分割現象。利用所提出的改進超像素分割方法，可實現小花和小穗的快速、精準分割，結果如圖10所示，其中標注區域為欠分割區域及改進后的分割區域。

圖10 超像素分割結果Fig.10 Results of simple linear iterative clustering

2.2 小麥開花期判定方法

小麥開花順序以麥穗中部偏上的位置為中心呈離心規律依次開放[24]，開花期為5～6 d，前3 d每穗平均開花率分別為27.3%、45.2%和77.7%[23-24]。以開花穗及未開花穗的比例無法精確測定實際花期，同時對開花情況也無較強的指導意義。因此花期及開花狀態判定應以小花及小穗數的比值為依據，來反映各品種小麥的開花情況。

綜合顏色特征將小花、小穗及周邊環境劃分為3大區域，各區域灰度區分較大，而組內差距較小，如圖11所示，小花灰度均分布在35～55之間，小穗灰度主要為75～100，葉片及土壤等灰度大于150。

圖11 小花、小穗及葉片的灰度分布情況Fig.11 Gray distribution of florets, spikelets and leaves

對聚類后的各圖像塊判定平均灰度，確定所屬類別，同時去除對比度低的模糊區域，進而分割小花和小穗。然后，分別計算小花和小穗的連通域個數，同時分別確定其個數，并以小花與小穗的比值作為開花率，當開花率超過50%時，讀取圖像拍攝時間并記錄，最終判定開花期。育種工作者可通過圖12所示的操作軟件完成數據的記錄及調用。

圖12 軟件界面Fig.12 Software interface

針對小麥育種的小區種植方式(圖13)，選擇某小區多幅圖像，或以固定幀率截取視頻中圖像的方式，對圖像中的小花及小穗數量進行累加，最終計算的開花率代表該小區的開花情況。

圖13 小區種植方式Fig.13 Planting practices of plot

3 實驗與結果分析

3.1 算法適應性分析

為檢驗算法適應性，對不同天氣、不同拍攝角度和不同拍攝距離的田間小麥圖像進行驗證。天氣包含晴天、多云及陰天，拍攝角度為側拍及傾斜30°～60°拍攝，所拍攝圖像涵蓋1～5株/幅、6～10株/幅及大于10株/幅的情況。如圖14所示，為部分田間小麥分類效果，從左到右依次為原圖、小花分割結果、小穗分割結果。

圖14 不同條件下的小花與小穗分割效果Fig.14 Segmentations of florets and spikelets in different situations

由圖14可知，本文所提出的自適應調節的綜合顏色特征能適應各時間段的復雜光照條件，不會因部分葉片及麥穗的反光造成誤判，同時明顯區分小花及小穗，為下一步精確分割創造前提。基于中心距離函數和灰度變化函數的超像素分割算法及改進的路徑搜索算法，在種植密度大、貼疊嚴重時，仍能對小花和小穗邊界精確分割。

3.2 算法有效性分析

從采集到的457幅圖像中選擇10幅穗數不同、品種不同、拍攝角度及種植密度不同的圖像進行計算與分析，分別以人工方式和本文算法對小花和小穗計數并記錄運算時間，統計結果如表1所示，平均運行時間為0.172 s，小花平均識別精度為91%，小穗平均識別精度為90.9%。

表1 計數統計結果Tab.1 Counting statistics results

由表1得出，在種植密度近似相同的條件下，對處于不同開花階段的小麥，本文算法能實現精確判斷。比較編號4、5得，當麥芒長度較長且密度較大時，超像素分割算法無法精確分割被遮擋小穗，導致小穗識別精度降低(圖15)。當小花形態結構較小時(如編號7、8、9)，由于所占像素面積小，易被臨近圖像區域合并，導致算法計數結果較大程度小于實際數量。

圖15 各編號原始圖像Fig.15 Sample numbers corresponded with pictures

開花率反映小麥開花情況，當開花率達50%時即判定該區域小麥處于花期[23]。開花率計算公式為

(10)

式中Pflowers——開花率nflorets——小花總數

nspikelets——小穗總數

為檢驗本文算法的有效性，計算圖15中不同品種和特征的小麥開花率，統計結果如表2所示，其中差值越小表明預測結果與實際值越接近。稀疏種植或近距離拍攝的情況下(編號1～5)，開花率波動幅度大，無法客觀反映算法性能；正常視覺拍攝的情況下(編號6～10)，計算開花率較準確，平均差值僅為1.16%。

表2 開花率統計結果Tab.2 Flowering rate statistics results %

針對稀疏種植或近距離拍攝的情況，使用精確率和召回率定量評估小花及小穗識別的有效性。

對比文獻[5]和文獻[6]小麥單穗開花情況的識別精度，本文算法應用于單穗圖像的小花及小穗識別與分割結果如圖16所示，從上到下依次為編號11～14。統計結果如表3所示，其中，本文算法對小花及小穗識別的精確率分別為91.80%和92.55%，高于文獻[5-6]中開花穗的識別精確率85.38%和82.9%，同時小花及小穗的召回率分別為92.56%和89.69%，高于文獻[6]的召回率84.54%。

表3 單穗小麥小花及小穗識別結果Tab.3 Flowering rate statistics results

圖16 單穗小麥分割效果Fig.16 Segmentation effect of single ears wheat

4 結論

(1)根據光照情況及清晰度，自適應調節綜合顏色特征的ExR、S分量和NGRDI分量，實現了去除光照影響的同時保證小麥各部位的差異性。

(2)基于中心距離函數及灰度變化函數改進超像素分割方法，同時優化其路徑搜索算法，實現了小花和小穗的快速及精確分割。

(3)通過不同條件下的田間小麥圖像驗證本文所提出的算法。算法平均運行時間為0.172 s，小花平均識別精度為91%，小穗平均識別精度為90.9%，預測開花率與實際開花率的平均誤差為1.16%。對單穗小麥的小花與小穗識別精確率分別為91.80%和92.55%，優于其他檢測小麥開花期的算法。