聯合圖像最優特征提取及改進RBF神經網絡的蘋果質量估計

趙 敏 王成榮 李 苒

目前,中國水果分級主要采用人工方法,主觀性強、效率低、誤差大[1]。蘋果分級通常以果徑、果型、色澤、酸甜度等指標作為分級標準,國外分級系統較為成熟,如美國的MERLIN型、OSCARTM型等水果分級生產線,這些設備更適用于軸對稱形狀的水果分級,但造價成本較高[2]。由于獨特的水土條件,新疆阿克蘇蘋果有明顯的“高低肩”現象,如果仍采用以往的分級標準,往往會產生因測量位置不同導致蘋果大小不同的現象[3]。

隨著機器視覺、機器學習技術的快速發展,無損、非接觸式水果質量估計方法備受關注[4]。何婷婷等[5]采用伽馬變換圖像預處理和閾值圖像分割方法得到番茄二值圖像信息,但該方法對水果擺放位置要求較高,并不適用于隨機分布在傳送帶上的水果應用場景;張立杰等[6]利用兩通道圖像融合深度圖像以提高蘋果分級效率;Huynh等[7]選取頂部圖像投影面積和圖像長短軸作為圖像特征;李頎等[8]采用最小外接矩形法以得到最大縱徑、最大橫徑圖像特征。但上述方法只利用了蘋果圖像部分特征,蘋果分級分類準確率還需進一步研究。何進榮等[9]利用多卷積神經網絡對圖像信息進行學習,蘋果分級準確率達97.84%;Demir等[10]使用多元線性回歸和神經網絡模型對杏仁等進行質量預估,并驗證了該方法的有效性。但神經網絡超參數配置情況直接決定了蘋果質量估計的效率和準確性。

研究擬以阿克蘇蘋果質量估計分級為例,對圖像信息獲取、圖像特征選取和圖像信息學習進行分析,建立蘋果圖像采集系統,利用改進的離散蝗蟲優化算法(grasshopper optimization algorithm,GOA)[11-14]優化圖像特征最佳子集目標函數,并采用蝗蟲優化算法優化后的RBF(radial basis function)神經網絡[15-16]進行學習、訓練,最終得到蘋果預估結果,以期為快速、無損、高準確率檢測蘋果質量提供依據。

1 蘋果圖像信息獲取

建立基于機器視覺的蘋果圖像信息獲取模型(圖1),該模型主要包括蘋果圖像采集模塊、圖像預處理模塊、目標區域分割模塊、特征提取模塊、最佳特征子集選取模塊和質量估計模塊等。

圖1 蘋果圖像信息獲取模型

1.1 蘋果圖像采集

建立蘋果圖像采集視覺系統,采用PVC黑色發泡板制作暗箱,在暗箱的頂部、側面(右側,平行傳輸帶前進方向)中心位置,以及傳輸帶前進方向左右30°、60°方向,共放置6個大恒圖像工業相機模組(分辨率1 080,供電電壓5 V)(見圖2)。每個攝像機配置一個LED補光燈(額定功率6 W)。搭建基于MPI(message passing interface)通信協議,由6個從節點、1個主節點組成的并行計算機系統。6個攝像機通過USB3.0接口分別與6個從節點連接,拍攝的圖片以“.JPG”格式保存,1個從節點負責處理1個攝像機采集到的圖片信息,主節點主要完成圖像特征選取和圖像信息學習等任務,以提高圖像信息處理效率。

圖2 圖像采集攝像頭與MPI并行計算機

1.2 圖像預處理與目標區域分割

對攝像機采集到的原始圖像進行灰度化處理,并利用中值濾波算法進行預處理,以降低圖像的噪聲。采用文獻[4]提出的改進Canny算子提取蘋果輪廓,進一步降低光線噪聲影響。利用形態學進行填充操作,得到蘋果區域分割圖像。圖像預處理與目標區域分割示意圖如圖3所示。

圖3 蘋果圖像預處理與目標區域分割示意圖

1.3 圖像特征

蘋果投影面積P、周長G、橫徑W、縱徑H、最大外接圓半徑Rmax、最小內接圓半徑Rmin、果形指數S、果徑平均值Lavg是目前常用的圖像特征。通過Canny算子提取蘋果輪廓和形態學填充操作預處理后,采用最小外接矩形法得到特征具體取值,且

S=W/H,

(1)

Lavg=(W+H)/2。

(2)

對于包括N個蘋果的待檢測集合{Qx}(x=1,…,N)(Qx表示第x個蘋果樣本),為進一步提升后續神經網絡訓練和檢測泛化能力[4],對圖像特征進行歸一化處理(以特征P為例):

(3)

式中:

2 最佳特征子集選取與蘋果質量估計

2.1 最佳特征子集選取目標函數

定義最佳特征子集選取向量I=(i1,…,ij,…,i8),若ij=1(j=1,…,8),表示O(P,G,W,H,Rmax,Rmin,S,Lavg)中第j個特征被選取、保留;若ij=0,則表示第j個特征被放棄。

對于蘋果樣本集合{Qx}(x=1,…,N),可以按照實際質量等級劃分為K個分類{Ca}(a=1,…,K),其中,Ca為第a個分類集合。最佳特征子集選取的目的是,利用I=(i1,…,ij,…,i8)對O(P,G,W,H,Rmax,Rmin,S,Lavg)進行特征子集選取,在最大限度降低特征之間冗余度的同時,盡可能保持原有數據分類能力。參考文獻[17],當式(4)所示的最佳特征子集選取目標函數取最小值時,對應Ibest=(i1,…,ij,…,i8)即為最佳特征子集提取向量。

(4)

ψN×K=(φx,a),

(5)

(6)

Θ8×N=(IT,IT,…,IT),

(7)

UK×K=(χa,b),

(8)

式中:

ψN×K——隸屬度矩陣;

φx,a∈[0,1]——Qx與Ca的隸屬程度(可利用最大信息系數法[17]求解);

Φ(6N×8)——特征矩陣;

Θ8×N——特征選取向量矩陣;

UK×K——類間相似矩陣;

χa,b——Ca與Cb的類間相似度。

通過對最佳特征子集選取目標函數進行優化求解,可以得到最佳特征子集提取向量,此時,最佳特征子集提取向量中非零元素對應的特征即為最終被選取的特征。

2.2 改進離散蝗蟲優化算法求解最佳特征子集選取目標函數

求解最佳特征子集選取目標函數屬于NP難題,且變量I=(i1,…,ij,…,i8)是離散的。為此,在蝗蟲優化算法(grasshopper optimization algorithm,GOA)[18]的基礎上,提出改進離散GOA優化算法(improving discrete GOA,IDGOA)。設定IDGOA包含Z個蝗蟲個體,對于第z個蝗蟲(z∈[1,…,Z]),其編碼Fz(b1,…,bn)(n為編碼位數)定義為Fz=I,即

bj=ij,bj=1 or 0,n=8。

(9)

定義IDGOA目標函數f(Fz)為最佳特征子集提取目標函數,即

(10)

為進一步提升IDGOA全局收斂能力,重新定義“自適應取反”“自適應學習”和“隨機學習”3種個體更新方式。IDGOA優化求解最佳特征子集提取目標函數實現過程為:

步驟1:種群初始化。按式(9)對IDGOA個體進行初始化,設定最大迭代次數Tmax。

步驟2:個體更新。t時刻,對種群內目標函數值最差的個體Fworst(t)執行“自適應取反”操作,即隨機選取Fworst(t)內e(e1∈[1,…,8])個編碼進行取反。

(11)

式中:

α1∈(0,1)——比例系數。

(12)

式中:

α2∈(0,1)——比例系數。

步驟3:停止條件判定。若不滿足,則返回步驟2;否則,停止迭代,輸出結果。種群目標函數最優個體對應的編碼集合即為最佳特征子集選取向量Ibest。

從IDGOA實現過程可以看出,算法初期,種群內個體差異性較大,蝗蟲選擇大范圍向最優個體學習,有利于提高算法收斂速度;算法后期,種群內個體差異性降低,蝗蟲采取隨機學習的形式進行更新,擴展了算法搜索空間,有利于提高算法收斂精度。試驗采用IDGOA對最佳特征子集提取目標函數進行優化求解,進而得到對應的最佳特征子集,此時利用最佳特征子集對每個圖像特征進行提取,并以此作為RBF神經網絡輸入,以提升RBF神經網絡穩定性。

2.3 改進RBF神經網絡

RBF神經網絡結構簡單、魯棒性好,適用于高維、復雜、非線性問題。RBF神經網絡由輸入層、隱含層和輸出層組成,其表達形式為:

X=(x1,…,xn),j=1,…,q,

(13)

式中:

X=(x1,…,xn)——輸入變量;

n——樣本數量;

y(X)——輸出值;

ωij——加權系數;

q——隱含層包含的神經元個數;

cj——第j個神經元中心;

φj(·)——第j個徑向基函數[選取高斯函數為徑向基函數,以φj(·)為例]。

(14)

式中:

σj——擴展常數。

損失函數式為:

(15)

式中:

yi——第i個樣本預測蘋果質量,g;

Λ(·)——輸出層激活函數(選取ReLU函數);

(xi,yi)——第i個樣本;

n——樣本規模。

由式(13)、式(14)可知,神經元中心(c1,…,cq)、加權系數[ωij]n×q、擴展常數(σ1,…,σq)以及隱含層神經元個數q是RBF神經網絡需要配置的參數,這些超參數決定了RBF神經網絡預測結果的好壞。為此,試驗提出改進的RBF神經網絡(improving RBF,IRBF),即采用GOA對超參數進行優化,從而得到RBF神經網絡最優超參數配置,最后通過實驗驗證IRBF性能。

2.4 基于IRBF的蘋果質量估計實現流程

利用IRBF估計蘋果質量,最終得到每個待檢測蘋果的質量值,具體實現過程為:

(16)

(17)

N1+N2=N,N1∶N2=7∶3,

(18)

式中:

N1、N2——訓練樣本和測試樣本中蘋果個數。

步驟2:GOA優化IRBF參數。將IRBF待優化參數賦予GOA個體編碼,即

(19)

從式(19)可以看出,GOA個體編碼分為4個區域,蝗蟲進化時,每個區域獨立執行GOA個體更新操作。GOA目標函數定義為:

(20)

式中:

WTi——訓練樣本集合中第i個蘋果的真實質量。

采用GOA對f(Fz)進行優化求解,當滿足停止迭代條件時,GOA種群最優個體對應編碼即為IRBF最佳參數配置。

3 預測結果分析

對所提蘋果質量估計方法的可行性進行驗證。隨機選取50個成熟的新疆阿克蘇蘋果,每個蘋果質量為220～350 g,采用電子秤得到每個蘋果的精確質量值。按蘋果質量大小將阿克蘇蘋果劃分為5個等級:一級果重320～350 g,二級果重290～319 g,三級果重260～289 g,四級果重220～259 g,五級果重<220 g。此時,按照實際質量,50個蘋果被劃分到5個分類中。

3.1 最佳特征子集選取驗證實驗

采用試驗提出的IDGOA對最佳特征子集選取目標函數進行優化,得到最佳特征子集,選取離散蝗蟲優化算法(DGOA)、離散粒子群算法(DPSO)驗證IDGOA收斂能力,圖4為3種智能優化算法收斂對比曲線圖。

圖4 3種智能優化算法收斂曲線

由圖4可知,IDGOA在收斂精度上明顯好于其他兩種算法。為進一步驗證試驗所提最佳特征子集提取方法的有效性,選取文獻[17]提出的CBF特征提取算法和經典的ReliefF特征提取算法進行對比,評價指標為分類正確率[19]及式(4)的最小值g2。

由表1可知,在特征提取數量上,試驗算法只需提取5個特征,少于ReliefF算法和FCBF算法;在分類正確率上,試驗算法分類正確率達98.83%,明顯優于其他兩種算法。表明研究所提最佳特征子集提取算法在最大限度減少被選取特征數量的同時,保持了較高的分類能力。

表1 3種特征子集選取算法對比結果

3.2 驗證蘋果質量估計

將50個蘋果按7∶3的比例劃分為訓練樣本和測試樣本,采用IRBF對35個模型進行訓練,對15個蘋果進行質量估計,評價指標為均方根誤差[1](RMSE)、平均相對誤差率(err)和算法運行時間(T)。

(21)

為進一步驗證所提質量估計算法的性能,選取文獻[1]、文獻[8]所提質量估計算法進行對比。圖5為3種質量估計方法預測結果散點圖,表2為3種質量估計方法評價指標對標結果。

表2 3種質量估計方法評價指標對標結果

圖5 蘋果質量估計散點圖

由圖5和表2可知,相比于其他兩種估計算法,試驗算法的質量估計結果更多落在y=x直線上,且其RMSE和err明顯優于其他兩種算法,表明試驗所提質量估計方法的結果更加精確。在算法運算時間上,3種算法的運算效率相當。

為進一步驗證試驗所提算法對其他水果的適用性,分別對芒果、桔子、香蕉等進行質量估計。由表3可知,對于芒果、桔子等近似球形水果,3種算法均能夠得到較好的質量估計結果,且試驗所提算法的RMSE和err要好于其他兩種算法。對于香蕉類似長圓柱型水果,試驗所提算法的err達7.74%,在可接受范圍內,但其他兩種算法已無法進行質量估計。

表3 不同水果質量估計評價指標對比

綜上,試驗所提算法對近似球形水果,特別是“高低肩”等不規則形狀水果具有很高的質量估計精度,這是因為在圖像采集階段,分別從6個角度獲取圖像信息,盡可能得到不規則球形水果的多方位信息;在圖像特征提取階段,利用IDGOA對目標函數進行優化,IDGOA良好的全局尋優能力,保證了得到的最佳特征子集能夠在盡量少選取特征的同時,還保持原始數據分類能力;在質量估計階段,采用優化后的RBF神經網絡能夠進一步提升質量估計精度。因此,試驗所提方法更適用于球形水果質量估計,估計精度更優。

4 結論

研究設計了一種聯合圖像最優特征提取和神經網絡學習的蘋果質量估計方法,該方法綜合運用圖像視覺信息采集、MPI、圖像最優特征選取和神經網絡學習等技術,蘋果質量估計平均相對誤差率達到了1.23%級別,算法運算效率能夠滿足實時性要求,更加適用于具有“高低肩”特性的阿克蘇蘋果質量估計和分級,也能夠推廣應用到其他類似軸對稱形狀的水果質量估計。下一步,將對蘋果品質分類問題進行深入分析研究,以期為新疆阿克蘇蘋果質量及品質分類提供高效方案。