劉祖鵬
(河南工學院電子通信工程系,河南新鄉453000)
黃瓜葉片病斑的精確提取是計算機視覺技術在黃瓜病害識別系統中應用的關鍵技術之一,是農業智能化的重要組成部分[1-2]。近年來,隨著計算機視覺技術在農業智能化系統中的應用,基于機器視覺的農作物產品圖像分割與識別受到了廣泛的關注[3-6]。研究人員先后對葡萄、草莓、蘋果的果實成熟問題進行了深入的分析和研究。通過利用圖像分割技術、圖像識別技術,并聯合具體應用對象的特征進行優化和改進,取得了一定的成果。先后提出了Ostu分割方法[7]、K-mean聚類方法[8]、反向傳播神經網絡方法[9]、徑向基神經網絡方法[10]、LBP濾波算法[11]等,實現了成熟果實的智能化提取和識別。基于同樣的原理,研究人員將相關方法分別引入到農作物病害特征的提取和識別領域。田杰等采用主成分分析和高斯混合模型聯合的方法對小麥病害進行提取和識別,但須要根據小麥病害的先驗知識進行高斯混合模型的構建[12];楊國國等采用卷積神經網絡的深度學習模型來進行茶葉害蟲的定位和識別,取得了較高的定位和識別精度[13],但該方法須要豐富的樣本進行離線訓練,當訓練樣本不足時,容易產生樣本數據的統計失配問題,且算法的實時性較差;Ostu將Ostu分割方法引入到黃瓜靶斑病的提取當中,通過采用雙顏色空間取得了較好的分割效果,但是對于較小的病斑斑點無法進行有效分割[14];張芳等將超像素和K-mean聚類方法結合進行黃瓜病害葉片的分割,有效提升了小塊情況下的分割精度,但是對于光照度變化的葉片分割精度較差[15];韓青松將超像素同視覺顯著性特點聯合進行黃瓜病斑的分割,實現了常見黃瓜病斑的有效提取[16],但該方法在光照度較弱情況下的分割效果較差,錯分率較大。
針對黃瓜葉片病斑提取背景的復雜性,本研究提出一種多特征融合表征與優化脈沖耦合神經網絡(pulse coupled neural network,簡稱PCNN)模型聯合的提取方法。該方法首先對采集的黃瓜病斑葉片進行Lab顏色空間變換,通過顏色分量的平均值和高斯濾波后的值進行差值計算,獲取病斑葉片的頻率調諧視覺顯著性圖;接著,對采集的病斑圖像進行HIS顏色空間轉換,并提取色調(hue,簡稱H)分量,對其進行均衡處理,并同視覺顯著性圖聯合實現病斑特征的聯合表達;最后,為便于對病斑進行建模分析,對傳統的PCNN模型進行簡化處理。同時,為了適應不同的復雜環境,提出模型參量自適應優化方法,并將融合后的特征作為模型的輸入參量,對模型的輸出結果進行形態學處理,獲取最終的病斑提取結果。基于采集的100幅黃瓜常見病斑葉片圖像進行詳細的試驗分析,并對本研究方法的提取精度和計算復雜度進行詳細的分析。
頻率調諧視覺顯著性特征是Achanta在2009年提出的一種圖像頻域分析的特征,通過將圖像映射到Lab空間,獲取圖像整體的顏色平均值,并同高斯濾波后的圖像進行差值計算,獲取相應的頻率調諧視覺顯著性特征[17],計算公式為

其中,

式中:S(x,y)表示像素點(x,y)的頻率調諧視覺顯著性值;μ為圖像Lab空間的顏色平均值;ωhc表征經過高斯濾波以后圖像的特征分量;Iωhc(x,y)為經過相應高斯濾波處理以后特征分量的矩陣;Iμ為特征分量的平均值;‖g‖表征歐式距離的計算。根據文獻[18],可以將頻率調諧視覺顯著性的高斯濾波表示為高斯差分的累加和,即

式中:FN、N分別表示差分等價的帶通濾波器、高斯差分次數;DOG(x,y)為高斯差分計算;G(x,y,ρnσ)表示像素點(x,y)處的高斯濾波算子,σ、ρn分別為算子的標準差、調節因子。根據文獻[18],設置 ρn+1∶ρn=1.0 ∶1.6。
圖1分別為黃瓜褐斑病、霜霉病的頻率調諧視覺顯著性特征提取結果,可以看出,視覺顯著性圖可以明顯增強圖像邊緣特征和大塊病斑的提取效果,但對較小的病斑分割效果較差。

視覺顯著性特征提取方法對小塊病斑提取精度較差,主要是由于光照度變化會改變圖像的灰度值,影響較小病斑的提取精確性。為進一步降低小病斑對光照度的敏感性,引入HSI顏色空間的H分量對病斑圖像進行增強,主要是因為H不受光照度影響。本研究在進行H分量的提取過程中,參照文獻[19]的方法,首先對圖像進行均衡化調整,以增強圖像局部顏色改變處的對比度信息,從而增強捕獲病斑與周圍顏色細節的差異。均衡化以后可以將H分量和頻率調諧視覺顯著性圖融合后的特征表示為

式中:Ifusion(x,y)為像素點(x,y)的融合特征;H(x,y)、S(x,y)分別表示該像素點處的均衡化H值、頻率調諧視覺顯著性值。通過H分量的引入,可以有效增強病斑圖像的輪廓信息,有效提升較小病斑的區分能力。圖2為圖1提取結果經過均衡化H分量增強以后的結果,可以看出,通過色調均衡補償后的顯著性圖得到了明顯增強,特別是較小的病斑也得到了較好的分割效果。

PCNN模型作為一種神經網絡模型的分支,具有不需要訓練、可以同步實現性質相同神經元捕捉的良好特性,目前被廣泛應用在圖像分割領域[20-21]。但傳統的PCNN模型過于復雜,不適合病斑的提取,另外,傳統的PCNN模型中采用固定參量建模的方法,對不同復雜背景條件下的適應性較差,針對這一問題,本研究對PCNN模型從以下2點進行改進:(1)針對病斑提取的獨特性,簡化模型結構、降低運算的復雜性;(2)構建模型參量的自適應更新方法,提升模型的抗噪能力和對不同環境的適應性。
傳統的PCNN模型單個神經元的離散迭代計算過程[22]如下:

PCNN主要是基于像素進行計算,公式(4)和公式(5)為PCNN模型的基本構成單元。其中,Fij(n)、Lij(n)分別表示輸入場的反饋值、連接值;Mij,kl、Wij,kl分別表示針對反饋值與連接值的1次迭代輸出Ykl(n-1)的權值矩陣;Sij為提取的色調均衡優化的視覺顯著性圖;VF、αF分別為反饋輸入場中的放大系數、衰減時間常數;VL、αL分別為連接輸入場中的放大系數、衰減時間常數。公式(6)中的Uij(n)表示內部調制場參量;β為聯通強度。公式(7)為1次點火實現,step(g)表示階躍函數,其功能是基于動態閾值Eij(n-1)來度量Uij(n),當Uij(n)>Eij(n-1)時,產生脈沖點火輸出Yij(n)=1,目的是在每一次迭代中都能有效提取性質相同的像素點;n為迭代次數。公式(8)表征了動態閾值Eij(n)的組成,VE、αE分別表示放大系數、衰減時間常數。
傳統PCNN模型參量復雜,且無法自適應更新,提取精度嚴重依賴經驗值的設定[23]。本研究改進后的PCNN單個神經元結構如圖3所示,其具體的工作原理可以表示為

其中,m(n)為病斑像素平均值,從公式(9)~公式(12)可以看出,改進后的模型在輸入場中簡化了功能單元,刪除了指數衰減項,并重新定義了反饋輸入域Fij(n),單一采用以像素(i,j)為中心的8個鄰域內輸入圖像的顯著性圖矩陣Skl,聯合權重矩陣Mij,kl耦合形成。連接輸入場Lij(n)同樣定義為由8鄰域內神經元的迭代輸出與Wij,kl構成。公式(11)中的連接強度β通過表征圖像局部細節特征的修正拉普拉斯絕對和(sum of modified laplacian,簡稱SML)計算,實現自適應優化。公式(12)中的Eij(n)同樣刪減了不適合小病斑提取的指數衰減參量,利用每次點火輸出區域的顯著性圖計算該值,確保了PCNN模型的振蕩,具體的點火機制同公式(7)。
從“2.2”節的分析中可以看出,該簡化模型很好地適應了小病斑的檢測。由圖3可知,本研究改進方法主要包括輸入場、調制場、脈沖產生器等3個部分。且改進模型的關鍵參量分別是輸入場的反饋權值矩陣Mij,kl和連接權值矩陣Wij,kl、調制場的連接強度β以及脈沖產生器的動態閾值Eij(n)。

在反饋輸入場中利用權值矩陣Mij,kl對圖像的輸入特征進行預處理,實現對圖像空間噪聲的抑制,保護邊緣細節特征,并有效調節與距離相關的神經元單元。傳統基于高斯濾波的差值計算方法容易導致圖像邊緣模糊、丟失細節特征,為增強圖像的細節特征,本研究采用各項異性特征對高斯濾波器進行改進[15],改進后的矩陣 Mij,kl可表示為

式中:Yij(n-1)×or Ykl(n-1)=1主要實現圖像椒鹽噪聲的定位。獲取定位信息以后,可以通過8個鄰域的神經元與中陣;C0、C1均為歸一化系數;‖i-k‖2為水平神經元之間距離的平方;‖j-l‖2為垂直神經元之間距離的平方;σi、σj均為高斯尺度因子,在本研究中分別取值為1、3。
同時,可以計算連接輸入場的權值矩陣 Wij,kl,具體公式為

在本研究黃瓜病斑的分割中,旨在更多地保留圖像的邊緣細節,使最終病斑分割結果輪廓清晰,以便于后續的病態識別。因此,在具有相似邊緣特征的像素點處提升其連接強度β的大小,使之更容易被PCNN模型捕獲而點火輸出。考慮到SML利用二階拉普拉斯梯度來表達局域范圍內灰度的跳變程度具有很好的圖像紋理和方向信息描述能力,可以將像素(i,j)的拉普拉斯分量絕對和[21]定義為

式中:s為計算中的空域間隔,由于傳統的SML方法中忽略了傾斜方向的梯度信息,因此在s=1的情況下,可以將公式(15)進一步改進為

當圖像特征出現邊緣跳變時,公式(16)能夠獲取較大的SML值,提取較小的病斑區域。因此,同構對圖像進行改進后的SML計算,可以通過自適應修正連接強度β進行病斑邊緣的點火輸出,其中連接強度的優化計算表達式為

式中:Gn[g]為實現歸一化的函數運算;N表示選擇的鄰域窗口的大小,本研究中N=3;SML(i,j)表示計算的SML值。
對于病斑葉片而言,正常的顏色為綠色,病斑顏色為非綠色,本研究采用超綠特征E×G進行特征提取[24],其灰度值計算公式為

式中:E(x,y)為像素點(x,y)處的灰度值;R、G、B 分別表示該像素點在紅、綠、藍顏色空間的取值。獲取灰度圖后,此時病斑區域的灰度值相對較高,設置動態閾值時系統通過迭代遞進的方法,令灰度值相對較高的區域為最終穩定地點火輸出。采用公式(9)表達的動態閾值設置方法,取其為PCNN每一次迭代分割出的區域在原圖像上的平均灰度值與放大系數VE的乘積,其中可以計算為

式中:Ω為第n次迭代PCNN點火輸出的區域矩陣;f(u,v)為點火輸出區域內原輸入融合特征矩陣的每一個元素值;N為點火區域內總的元素個數。的初始迭代值設置為0。動態閾值Eij(n)隨著PCNN迭代的進行不斷增大,導致每次迭代PCNN分割出的區域不斷縮小;同時,區域的平均灰度值將不斷增加,直到最終輸出不再變化時,輸出區域的平均值已經逼近了病斑區域的平均值,停止迭代,輸出分割結果。通過這樣的機制使改進的PCNN分割模型可以實現自適應的迭代停止控制。放大系數VE為控制平均值增長速度的系數,在本研究中VE=1。
為驗證本研究方法的有效性,對采集的黃瓜葉片常見病斑進行檢測分析。試驗中共采集6種常見的黃瓜葉斑病(白粉病、黑斑病、霜霉病、慢枯病、角斑病、紅粉病)的100幅相關病斑葉片圖像。為便于運算,將圖像全部歸一化到像素。采用 Intel? CoreTMi7 -3520M 4.0 GHz CPU,8 GB RAM 筆記本電腦,安裝Window 7操作系統,圖像分析程序在Visual C++2010平臺編程實現,采用C++語言編寫,便于不同平臺之間的移植使用。試驗的檢測流程如圖4所示,首先,針對采集到的病斑葉片圖像進行相關參量的初始化處理;接著進行Lab顏色空間3個分量和HIS顏色空間的H分量提取,并進行特征顯著性和H分量均衡化處理,實現特征的融合表征;最后,將融合后的特征圖像作為改進PCNN模型的輸入圖像,并對模型輸出圖像進行一定的形態學處理,獲取最終的病斑識別結果。

首先,針對采集的病斑葉片進行不同背景條件下病斑提取結果的定性分析。為便于定性對比,試驗中分別采用Otsu方法、K-means聚類方法、傳統PCNN方法、本研究方法進行病斑的提取分析。由圖5可知,在強光照度且背景相對簡單的情況下,幾種方法都取得了較好的分割結果,但由于光照度變化的影響,導致Otsu方法、K-means聚類方法、傳統PCNN方法在葉片的邊緣和葉片與枝干連接的地方提取效果較差,主要原因是這些方法沒有考慮到光照度變化對病斑圖像特征的影響。由于本研究方法采用了多特征融合的方法,可以看出,本研究方法較好地適應光照度的變化。由圖6可知,由于光線較暗且背景干擾比較復雜,導致Otsu方法、K-means聚類方法分割結果較差,而傳統PCNN方法分割精度有所提升。但由于傳統PCNN方法的分割閾值平均值仍為固定設置,導致在光照度較弱的情況下,病斑與背景信息的顏色可分性降低,將部分背景信息分割為病斑。而本研究方法采用了自適應參量的實時更新方法,可以看出,分割結果十分接近真實的病斑分布。


為定量對比分析本研究方法的分割精度,采用錯分率(ER)對提取結果進行比較。其中,錯分率的具體計算公式可以表示為

式中:Na、Ne分別表示葉片圖像的總像素數量、病斑錯誤提取的像素數量。
試驗中針對采集的100幅病斑葉片圖像進行統計分析,并計算平均錯分率。從“4.2”節的定性分析中可以明顯看出,Otsu方法采用了閾值分割的方法,其效果較差,因此,在該部分定量比較中,為了方便計算,不對其進行定量計算,直接針對后3種提取精度相對較高的方法(K-means聚類方法、傳統PCNN方法、本研究方法)進行定量計算分析。由表1可知,對6種常見的黃瓜病害,本研究方法的錯分率較低,最小錯分率為1.9%,最大錯分率為4.5%,提取精度明顯優于傳統PCNN方法和K-means聚類方法,對提取精度而言,本研究方法是一種優秀的方法。

表1 3種方法的平均錯分率
病斑提取速度的快慢是進行后續機器視覺識別應用的關鍵。為度量本研究方法的計算復雜性,對采集的100幅病斑圖像進行病斑提取速度分析。由表2可知,由于K-means聚類方法主要是針對像素級別進行聚類,時間消耗較大;傳統的PCNN方法由于采用鄰域塊的操作,即使引入了一些約束和迭代思想,但最終的運行時間仍小于K-means聚類方法,具有較為合理的時間效率;而本研究方法雖然增加了顏色空間的變換和特征融合處理,但在PCNN模型參量的計算過程中有針對性地進行了簡化處理,因此,一定程度上降低了本研究方法的計算復雜性,整體比傳統PCNN方法的效率有了一定的提升。

表2 3種方法的運行時間
本研究針對不同復雜背景下黃瓜病害葉片的病斑精確提取和識別問題進行了分析,提出了一種聯合多特征融合表征和脈沖耦合神經網絡模型的病斑精確提取方法,對黃瓜葉片病斑進行有效識別。從黃瓜常見病斑葉片的檢測分析結果可以看出,本研究方法具有較高的精度。與現有的分割和識別方法相比,本研究方法具有以下幾點創新:(1)對采集的黃瓜病斑原始圖像進行了Lab和HIS顏色空間的變換處理,有效提升了特征的魯棒性。特別是在光照度改變的情況下,本研究提取的特征具有更加有效的表征性。本研究方法的最小錯分率為1.9%,最大錯分率為4.5%,與K-means聚類算法和傳統PCNN方法相比,均有較大改善。(2)本研究方法采用PCNN模型進行迭代分割,與傳統的神經網絡模型相比,不須要進行大量圖像的離線運算,因此可以達到較好的實時性效果。(3)本研究對PCNN模型輸入場、調制場、脈沖形成等3個階段的關鍵參量進行了優化,針對具體的應用場景實現了自適應處理,增強了模型對不同復雜背景下的實用性。
在下一步的研究中,將進一步優化該方法在實際應用平臺中的應用,通過農作物智能物聯系統構建完善的黃瓜生長智能分析和識別系統。