基于改進的形態學二次重建蜜蜂蜂王模糊識別方法

白云飛 張 翔 林 建

(福建農林大學機電工程學院 福建 福州 350002)

0 引 言

昆蟲識別是現階段研究的重點,尤其是在植保信息領域,對病蟲、害蟲的識別更是研究的熱點[1]。昆蟲自動識別技術的關鍵在于利用圖形分割,更好地將昆蟲的個體與復雜的背景環境分離,便于精確地提取昆蟲的特征,提高識別效率[2]。目前該方面的研究大多是針對基于昆蟲標本以及傳統的昆蟲檢索表而完成的識別。于新文等[3]提取昆蟲圖像的9項幾何形狀特征,經過實驗對比,其中的6項指標能夠適應測量環境的改變,具有一定的可靠性。張學慶等[4]為了更好地提取昆蟲的局部特征,引入了數學形態分割法,獲取了昆蟲的足、觸角等局部特征,很好地保留了細節的邊緣特征。李小林等[5]利用可區分CLBP降低了特征矩陣的維數,從而獲得了優異的特征識別指標,通過KNN算法實現蛾類昆蟲的識別。除了以上單方面的局部識別或整體識別外,Wen等[6]選取了5種果園害蟲,結合了以上兩方面特征的提取，進一步提高了識別的準確性。

蜜蜂也是一種昆蟲,在現代農業發展過程中具有重要的經濟價值。蜜蜂養殖中,蜂王是重要的一環,蜂王質量的好壞直接影響蜜蜂種群的強弱,因此需要蜂農不斷去關注。現階段,蜂農主要是通過肉眼識別的方式,根據蜂王在外觀體型上與其他蜜蜂的不同找到蜂王。然而,當巢脾上蜜蜂數量較多時,每次查王都要耗費很多時間,長時間的人工操作則會驚擾蜂群。因此,尋找一種快速、準確查找蜂王的方法就變得十分有意義。目前階段的昆蟲識別大部分是對蚜蟲、粉虱、棉鈴蟲、玉米螟等的識別,而對蜜蜂和蜂王的自動識別研究相對較少。由于蜂群中工蜂數量最多,蜂王數量最少,只有1只,而雄蜂只在產卵期間才會出現。為此,在進行識別前,需要對巢脾進行處理,適當抖動巢脾,驅趕部分蜜蜂,由于蜂王翅膀接近退化,仍舊會留在巢脾上,這樣操作的目的是避免蜜蜂重疊的情況出現,從而對后續的識別過程造成影響,利用動態掃描方法獲取幾何形狀特征,經過模糊推理,完成對蜂王的初步識別。

1 方法設計

1.1 圖像分析與預處理

利用數碼相機于福建省泉州市南安市碼四蜜蜂養殖場采集圖片,結果如圖1所示。由于光線不足,圖像部分區域對比度不明顯。通過調整圖像Gamma因子改變圖像灰度的映射方式,增強圖像對比度,獲得圖像均衡化的結果如圖2所示。

圖1 蜂場

1.2 改進的形態學二次重建前景提取方法

讀取待處理灰度圖像,并進行形態學開操作,消除狹窄的部分,平滑圖像。以腐蝕后得到的圖像為掩膜圖像(Mask),對經過開操作得到的標記圖像(Marker)進行形態學重建。第一次重建后得到圖像雖然濾除掉了部分小波,但仍存在部分無關極值對區域的提取造成影響,故再次對圖形進行形態學重建[7]。將第一次重建的圖像進行膨脹取反,得到掩膜圖像,利用該掩膜圖像對膨脹后的重建圖像進行第二次形態學重建,再取反,得到二次重建的結果。二次形態學重建結果如圖3所示。

圖3 二次重建結果

考慮到經過未改進的二次重建操作之后,獲得的圖像會產生漂移現象,從而導致待識別個體結構發生改變,影響后續幾何特征的提取,故提出一種改進的二次重建前景個體識別的方法。

由于待識別的個體處于圖像中灰度值較低的像素區域,通過提取灰度圖像局部極小值區域[8-9],利用灰度值相似度大的特點,選擇合適的闕值,提取前景對象[10]。為了減輕圖像平移造成的影響,兩次重建過程中,選取接近待識別對象大小的結構元素,經過多次實驗對比后,發現選取半徑為20的圓形結構時,所獲得的處理結果比較理想,圖像平移現象有所緩解。

考慮到背景圖像的復雜性以及噪聲對識別結果的影響,部分待識別個體還存在小范圍的粘連現象,這都會對識別結果造成影響。為了獲取更清晰的圖像,在上述提取方法的基礎上,考慮到局部極小值與周圍像素之間有較大差距的極大值的特點,構建8連通標記算子對目標的極小值點進行標記。由于局部灰度值大小在前景區域與背景區域的邊界發生了劇烈的變化,因此利用該連通算子可以獲得邊緣輪廓標記清晰的目標個體,進而標記整個目標個體。對比未改進的結果與改進的標記結果,從圖4(a)和圖4(b)可以看出,經過改進的標記結果目標個體的邊緣輪廓更為清晰。由于圖像漂移的程度與構建的連通算子的維數有關。當選取的維度太小時,獲得的灰度值會產生較大的偏差,尤其是在前景區域和背景區域的邊界處,灰度值發生了劇烈的變化,導致部分輪廓點被遺漏,從而得到不封閉的輪廓線。算子的維數過小還會導致錯匹配,把輪廓線附近的點誤匹配為輪廓點,進而導致待識別的前景個體發生漂移；而當選取的連通算子維數過大,雖然會得到更準確的處理結果,但是計算量也會變大。為了減輕誤識別和漂移現象,同時提高處理的速度,選擇合適大小的標記算子就變得非常重要。通過多次實驗對比后發現,當利用5×5的8連通算子對目標極小值點進行標記時,效果最好,輪廓最為完整,待識別圖像和局部極小值算子如圖5和圖6所示。以該算子為結構元素,依次采取形態學關操作、腐蝕操作和開操作,完成對圖像的識別。將提取的前景圖像像素設置為255,在原圖上標記前景圖像。最后,為了增強對比效果,將前景像素設為0,標記原始圖像,完成對前景對象的標記,效果如圖4(c)所示。

圖4 前景提取結果

圖5 待識別圖像

圖6 局部極小值標記算子

1.3 幾何特征提取模板

提取待識別個體的幾何特征主要圍繞蜜蜂的軀干部分,二次重建操作獲取的二值圖像結果如圖7(a)所示,包括觸角和足。考慮到足和觸角與軀干之間存在細小連通,利用形態學開操作,選取3×3的結構元素,將其與軀干分開,獲取僅含有蜜蜂軀干的模版從而獲得更穩定的全局形狀特征[4,11],提取結果如圖7(b)所示。計算模版中待識別的蜜蜂個體數量為n,分別過濾掉除當前識別個體以外的其余個體,獲得n個僅含有單一完整軀體的模版,利用模版,進而提取待識別個體軀干部分的二值圖像，如圖7(c)所示。

圖7 特征提取模板

1.4 幾何形狀特征的獲取

經驗豐富的蜂農通過蜂王、工蜂、雄蜂的外形方面的區別辨識蜂王。例如：蜂王肚子里含有大量的受精卵,因此腹部比較大,比較長；蜂群中,蜂王的個體最大,雄蜂次之,工蜂最小,蜂王身體比工蜂長約1/3；蜂王由于軀體較長,翅接近于退化,翅只覆蓋腹部一半，工蜂身材短小,常年飛行,翅寬大,幾乎覆蓋整個軀體,而雄蜂則是介于兩者之間。但以上的形狀特征都具有模糊性,不同蜜蜂個體形狀特征具有隨機性,特征之間存在耦合性,無法利用具體的數學公式準確地從蜂群中推算出蜂王。考慮到每一種幾何特征對蜂王的識別都隱含有一定的準確性,只是概率不同,這種不同可以通過尋找到合適的隸屬函數表現出來。利用實驗采集的多組幾何特征數據,歸納總結出控制規則表,為生成的每條規則賦予一個強度P(t),t為規則的序號,按照“去小留大”的原則,對矛盾的規則進行選擇。考慮到選擇的幾何特征既要體現出蜂農積累的蜂王識別的經驗,還要方便測量,故選取偏心率(長寬比)作為輸入量。偏心率是局部特征,描述了蜜蜂個體的緊湊程度,是邊界長軸和短軸的比值,能夠粗略地區分細長物體和較方正物體。

處理后得到的蜜蜂個體二值化圖像中,大部分黑色點集代表蜜蜂個體,利用動態掃描[12]蜜蜂個體,分別提取每行每列的中點坐標,放入空白模板中,計算蜜蜂個體長短軸近似長度。這種方法可以避免提取蜜蜂圖像時,由于蜜蜂側臥或者彎曲所導致的長軸測量偏小的缺點。提取方法步驟如下:

(1) 提取二值圖像中蜜蜂的個體,進行標記，在進行動態掃描之前,利用模板將其余待識別個體和噪聲點過濾掉。

(2) 取兩個空矩陣Q1和Q2,規格大小與待識別圖像一致,記為M×N,設6個臨時變量，k1=k2=m1=m2=n1=n2=0。

(3) 從待識別圖像的左上角開始由左向右逐行掃描圖像,若當前圖像點(i，j)像素值為0,則k1++。完成一行的掃描后,k1值記為該行中黑色像素個數,與此同時，m1=k1/2。

(4) 對步驟(3)像素值再次進行掃描,若當前圖像點(i，j)像素值為0,則m1--,直到m1=0,停止掃描,記錄當前像素點的坐標(i，j),并且將標記中點數n1自加1。如果m1==0,n1不變。

(5) 取標記好的n1個點的坐標,求其任意相鄰兩點距離di,將所有的di求和得到長軸的近似長度。

(6) 再次從待識別圖像左上角開始識別,順序為從上到下逐列進行掃描,其余步驟同逐行掃描方法,標記結果如圖8所示。

圖8 蜜蜂點集標注

1.5 蜜蜂蜂王模糊識別系統

模糊系統的出發點是利用操作者經過大量操作實踐總結出來的模糊規則而進行控制的方法,相比較統計機器學習方法它不依賴于精確的數學模型,可以通過提取的數據信息,利用專家積累的經驗建立控制規則。而統計機器學習方法需要選用適當的函數,尤其解決非線性問題時,SVM無法找到一個通用的合適核函數進行建模。常見的模糊推理算法有兩種,分別為Mamdani型模糊推理算法和Sugeno型模糊推理算法,其中Mamdani型算法使用最為廣泛[13]。本文采用Mamdani型模糊推理算法,利用MATLAB中自帶模糊推理系統的GUI進行系統仿真。選用單輸入-單輸出模式完成對蜂王的識別。在對測得的蜜蜂個體的離心率(長寬比)t1進行模糊化處理后,輸入到模糊系統。根據測量數據的t1的取值范圍確定模糊論域。考慮到模糊系統具有不錯的魯棒性,對具有不確定性的因子控制效果比較理想。根據圖像處理后測量的幾何形狀特征,利用模糊推理得到待識別個體是蜂王的概率。

1.5.1定義輸入量、輸出量的模糊分布及隸屬函數

幾何特征較為穩定,方便測量,不同類型的蜜蜂之間,外形差距較大,可以作為區分不同種類蜜蜂個體的因素。而顏色特征相比較于幾何特征,由于環境的多樣性,會受到光照變化、光線不足等復雜背景的影響,具有不穩定性,同時考慮到蜜蜂喜陰喜涼的特性以及蜂巢內環境的復雜性,利用顏色特征會降低識別的正確率。故本文采用幾何特征作為模糊系統的輸入量，根據模糊系統的輸入變量確定模糊論域,選用五個模糊子集用于涵蓋輸入量的論域,分別為比值很小(CVS)、比值小(CS)、比值中等(CM)、比值大(CL)、比值很大(CVL)。選用五個模糊子集涵蓋輸出論域,分別為不是蜂王(NB)、很可能不是蜂王(VNB)、可能是蜂王(PB)、很有可能是蜂王(VB)、是蜂王(B)。隸屬函數是模糊控制的核心部分,選擇合適的隸屬函數能夠增強控制效果。為了滿足識別蜂王的需要,兼顧計算和處理的簡便性,本文輸入函數采用近似高斯概率密度函數通過BA擬合成三角形隸屬函數[14],輸出函數采用三角形隸屬函數。測量獲取50組蜜蜂的長寬比,確定5個取值區間分別對應5個輸入函數的模糊子集,計算每個區間的方差和均值如表1所示。

表1 各個區間的均值和方差

將測得的均值和方差分別代入高斯函數,得到不同比值區間的高斯概率密度函數,借助BA擬合成三角形隸屬函數,如圖9所示。

圖9 函數結果

1.5.2模糊推理規則的確定

根據輸入的離心率(長寬比)和輸出量蜂王概率,建立模糊系統的模糊規則。蜜蜂軀體長度與寬度的比值越大,表明蜜蜂的體型更細長,更接近蜂王的形狀。軀體長度與寬度的比值越小,表明蜜蜂的體型更方正,更接近工蜂或雄蜂的形狀。推理規則如下：

1) 如果長寬比值為CVS,則待識別蜜蜂為蜂王的概率為NB;

2) 如果長寬比值為CS,則待識別蜜蜂為蜂王的概率為VNB;

3) 如果長寬比值為CM,則待識別蜜蜂為蜂王的概率為PB;

4) 如長寬比值為CL,則待識別蜜蜂為蜂王的概率為VB;

5) 如果長寬比值為CVL,則待識別蜜蜂為蜂王的概率為B。

現簡述模糊推理過程,假設提取的長寬比e=3.6,根據輸入隸屬函數可知,取值激活了規則4)和規則5),如式(1)和式(2)所示,其中∧為取交集。

R4=CL(x)∧VB(t)

(1)

R5=CVL(x)∧B(t)

(2)

式中：CL(3.6)=0.8；CVL(3.6)=0.1。故P(t)=(0.8VB(t))∪(0.1B(t)),根據模糊規則,在輸出隸屬函數圖像上標出結果,如圖10所示。

圖10 模糊系統輸出結果

1.5.3輸出量清晰化

由圖10黑色標記區域可以看出,總輸出依舊是個模糊子集,求得的隸屬函數是一個覆蓋在陰影區間的不規則形狀。為了得到待識別個體為蜂王的概率大小,對其進行F/D處理,常用的模糊量清晰化方法有重心法、最大中間值法、最大均值法[15],考慮到重心法的精度較高,故采用重心法[16]求得最終的輸出值。經過計算,當e=3.6時，p=0.714,即當前待識別個體有7成概率是蜂王。再選擇一個合適的概率闕值,將概率高于闕值的個體進行進一步識別。

2 實 驗

2.1 低密度、單一背景下實驗

為驗證識別方法的有效性,采集巢脾上蜜蜂完整個體圖像,利用本文設計蜜蜂識別方法進行識別,第一次實驗目標對象較少,環境影響因素低,蜜蜂個體多數完整,且相互粘連重疊現象較少,因此利用改進二次重建方法,運用局部極小值算子標記前景目標方法得到的結果非常清晰。選取識別過程中比較具有代表性的結果進行分析,如表1和圖11所示。

表2 低密度、單一背景下實驗結果

圖11 蜜蜂個體長短軸點集提取結果

2.2 高密度、復雜背景下實驗

為了驗證實驗算法的魯棒性,對算法進行進一步驗證,考慮到巢脾上蜜蜂分布相對較密,環境較為復雜,第二次實驗與第一次實驗相比,擴大了圖像采集的面積,待識別目標個數較多，目標形態更為復雜,同時增加了自然環境因素和人為因素對圖像的影響,例如拍攝過程中由于蜜蜂移動導致的圖像虛化,以及光線因素導致的待識別目標出現殘缺、局部不完整的情況。自然環境下獲取的巢脾圖像,實驗目標是獲取待識別目標完整個體的二值化圖像,提取長寬比。

實驗步驟與第一次相同,首先進行預處理,利用形態學開閉運算得到的掩膜圖像和標記圖像,連續兩次進行形態學重建,對重建的圖像利用局部極小值算子標記前景待識別蜜蜂個體,通過標記的前景圖像過濾非當前識別個體,得到當前待識別個體模板。提取對象的二值圖像,利用動態掃面提取長軸和短軸所在的點集,計算長軸、短軸點集的近似長度。由于第一次實驗采集的圖像待識別個體較少,目標較為分散,圖像背景較為單一,因此前景標記的作用不是很明顯,但是在第二次實驗中,利用局部極小值算子提取的目標區域能夠很好地降低對目標圖像的提取,如圖12(c)所示。在拍攝到完整個體的前提下,能夠將對象的完整個體識別出來，細節部分例如足和觸角,也能識別出來,得到解識別目標二值圖像邊緣不平滑,利用形態學膨脹獲取邊緣平滑的模板,結果如圖12(f)所示,目標提取模板可以提取僅含有軀干部分的蜂體。圖12(c)中由于拍攝時背景出現虛化,導致部分模糊對象無法進行標記和提取,但清晰的目標大部分都被提取出來,進行接下來的幾何特征的提取,將提取的長寬比代入建立的模糊系統中,最終利用總結的模糊規則得出識別的結果。實驗結果如表3所示。

圖12 實驗結果

表3 高密度、復雜背景下實驗結果

兩次實驗識別準確率分別達到88.8%和84.6%，與經驗豐富的蜂農通過肉眼識別的結果比較接近,形態學二次重建后得到的識別圖像更是大大減少噪聲以及無關小波對待識別個體圖像分割造成的影響,從而獲得完整的特征圖像并提取到準確的幾何形狀特征,保證識別的準確性。因此通過機器視覺和模糊推理的方法可以初步將可能是蜂王的個體篩選出來,通過二次識別,可將蜂王準確地識別出來,大大減少工作量,具有一定的可行性。

3 結 語

蜂箱中采集的巢脾圖像經過形態學的二次重建操作后,利用5×5的8連通的局部極小值算子標記前景區域,得到邊緣清晰的二值圖像,經過形態學腐蝕,除去圖像細長尖端部分,得到蜜蜂軀干部分的模板,利用模版提取帶識別個體的軀干部分,以動態掃描的方式監測長軸和短軸所在的點集,提取離心率。以離心率為輸入,建立模糊推理系統,總結出5條模糊規則,初步識別蜂王,可以大大減輕識別蜂王的工作量。實驗結果表明,該方法在蜜蜂沒有重疊情況下具有良好的識別效果,但是當蜜蜂出現重疊時,蜜蜂之間的粘連會給后續的幾何形狀特征的提取造成影響,使測量結果偏大,同時,部分蜜蜂的翅膀顏色偏深,也會對軀干的提取造成影響。本文的蜂王識別方法可以將蜂王初步從蜂群中識別出來,對于重疊出現的粘連現象以及翅膀顏色過深的影響還有待進一步研究。