采摘機器人自主采摘學習能力研究
——基于LM-BP神經網絡

康麗鋒,王彥昆

(焦作師范高等專科學校,河南 焦作 454000)

0 引言

目前,在全球的水果種植中,仍然依靠人工進行采摘作業,勞動強度大,效率低。眾所周知,五六十年前,國內外就有研究學者開始進行采摘機器人的研究,但目前尚未沒有采摘機器人成功上市,最為重要的原因是采摘機器人對水果成熟度判斷的準確率太低。因此,本文提出了一種LM-BP神經網絡的采摘機器人自主采摘學習能力系統,以實現對水果成熟度進行準確的判斷。

1 LM-BP神經網絡

BP神經網絡包括輸入層、隱藏層和輸出層,每層包括許多并行計算神經元,這些單個神經元與生物神經系統中的神經元相似,簡單且功能有限,但許多神經元可形成具有眾多功能的網絡系統。不同層中的神經元完全互連,而同一層中的神經元彼此不相連。BP神經網絡中單個隱藏層的結構如圖1所示。

圖1 BP神經網絡結構圖Fig.1 The Structural Chart of BP Neural Network。

圖1中,x1,x2,... ,xn為BP神經網絡中的輸入自變量,包括影響水果成熟度的因素;y1,y2,... ,yn為對應于用于預測水果是否已經成熟的輸出;F1,F2,...,Fn為相應訓練數據的實際水果成熟度,即來自水果成熟度預測模型的預期輸出值;Wij為與隱藏層中的每個節點相對應的權重;Wjk為與輸出層中的每個節點相對應的權重;n為神經網絡中的輸入節點數;l為隱藏層節點數;m為輸出節點數;d為每個節點的閾值。

在BP神經網絡中的前向傳播中,其隱藏層的輸出表達式為

(1)

輸出層的輸出表達式為

(2)

根據BP神經網絡模型,定義均方誤差函數,用于計算預測輸出矢量和預期輸出矢量的均方誤差。該功能定義為

(3)

將式(1)和式(2)代入式(3),可以得到BP神經網絡的性能誤差函數為

(4)

通過權重的誤差函數推導和輸出點的閾值,可得

(5)

(6)

得到輸出節點的誤差為

(7)

將式(7)代入式(5)和式(6),可得

(8)

(9)

在輸出層節點中,根據傳統的BP神經網絡訓練算法,權重和閾值調整公式為

(10)

dk(e+1)=dk(e)+ηδk

(11)

類似地,在BP神經網絡隱藏層節點中,權重和閾值等式為

wij(e+1)=wij(e)+Δwij=wij(e)+ηδkxi

(12)

θj(e+1)=θj(e)+ηδj

(13)

在等式(10)、(11)、(13)中,η為BP神經網絡的學習率。權重和閾值的調整算法是影響學習能力訓練模型預測準確性的關鍵特征。

傳統的BP算法使用最速度梯度下降校正方法,但很容易被局部最小值捕獲,會影響收斂速度。因此,傳統的BP神經網絡算法需要改進。

在LM-BP算法中,在一系列近似和優化之后,使用等式(14)來調整權重和閾值,即

x(k+1)=x(k)-[JTJ+μI]-1JTe

(14)

其中,J為雅可比矩陣;系數μ為大于零的常數;I是單位矩陣;e為誤差值。式(14)表明:當訓練開始時,系數μ的值較大,該方法為小步長的梯度下降訓練算法;當系數降低且接近零時,該方法等同于牛頓法。高斯-牛頓算法具有當誤差接近最小值時計算速度更快、精度更高的特點,因此使用LM算法可以極大地提高收斂速度,并確保更高的準確度。基于LM-BP神經網絡算法過程如圖2所示。

2 采摘機器人圖像處理

2.1 采摘機器人視覺處理系統

視覺系統是采摘機器人的重要組成部分。采摘任務中最關鍵的步驟之一是識別和判斷水果的成熟度,通常包括圖像獲取、圖像處理分析和結果判斷輸出等模塊。采摘機器人視覺系統的主要任務是獲取蘋果數字圖像,對采集的圖像進行圖像處理,區分待測水果的成熟程度。采摘機器人視覺處理系統如圖3所示。

圖3 采摘機器人視覺處理系統Fig.3 The Vision Processing System of Picking Robot。

在自然環境中,果實生長的位置和形態千奇百怪,且在圖像采集系統位置的影響下收集的水果圖像信息是多種多樣的。圖像可歸納為以下類型,包括單個無遮擋的水果、遮擋的水果、重疊的水果及緊靠的水果等,如圖4所示。

圖4 水果的不同姿態位置Fig.4 The Different Posture Positions of Fruits。

采用顏色空間(也稱為顏色模型)可以將水果的顏色用數字進行表示,顏色空間和敏感程度在圖像處理中起著關鍵作用。顏色空間可以通過幾個組件描述所有顏色,即基于某些標準能用更可被接受的方式解釋顏色。圖像中的所有顏色都可以借助顏色空間以單點形式執行表達。RGB顏色空間是最常用的顏色模型,基于R、G、B等3種基本顏色,并根據三者疊加到不同的程度,能夠合成超過1 600萬種不同的顏色。RGB顏色空間使用單位長度的立方體來表示顏色,黑、藍、綠、紅、青、品紅、黃和白的8種常見顏色分別位于立方體的8個頂點處。黑色通常放置在三維直角坐標系的原點。紅色、綠色和藍色分別放在3個軸上,整個立方體放在第1個八分圓中。RGB顏色空間模型如圖5所示。

圖5 RGB顏色空間Fig.5 RGB color space。

在RGB模型中,每個像素點由紅色、藍色和綠色組成,意味著RGB模型有3個像素層。在進行圖像處理中,可以通過以下公式實現對每個像素的紅色特征的提取,即

V=2R-B-G

(15)

其中,若“V”的值大于0,則意味著像素的紅色特征更加明顯,并且像素可以被視為“紅色”像素,即可判斷該水果的成熟度比較高。

2.2 水果特征提取

在對水果進行等級分類的過程中,提取合適的水果特征對識別率具有很大的影響。以蘋果為例,特征提取的流程如圖6所示。

圖6 蘋果特征提取流程圖Fig.6 The Flow chart of Apple feature extraction。

首先將輸入的蘋果圖像進行歸一化處理,壓縮成為224×224的格式大小;由于圖像采集或者天氣原因,輸入的蘋果圖像會存在一定的噪聲和干擾,也需要對其進行濾波處理。蘋果圖像的預處理結束后,需要采用合適的特征提取方法,本文采用RGB三色直方圖提取特征值。

RGB三色直方圖表示在R、G、B等3個通道上不同亮度區間上分布的相應顏色像素值,可用來檢查色調。RGB三色直方圖如圖7所示。

圖7 RGB直方圖Fig.7 RGB histogram。

由圖7可以看出:通過R、G和B三色通道可以清晰地反映出蘋果的顏色,而蘋果成熟度不同,其三色圖的顏色占比也不一樣。因此,根據蘋果的三色占比就可以判斷出水果的成熟度。RGB圖像代表每個像素占4個字節(RGB占3字節,還有1個字節空),R、G、B分量各占1個字節,每個分量都有256種取值可能(每個分量值是32位整數)。因此,RGB圖像的直方圖是一個256×3的數組。RGB圖像直方圖的部分軟件算法為:

guid="ad00975c-af8a-4f4d-927c-54f1ec9aacdd">

tints="1,1,1"/>

tints="0,0,0"/>

tints="0.047059,0.584314,0.098039"/>

tints="0.011765,0.235294,0.035294"/>

tints="0.2,0,0"/>

tints="0.929412,0.909804,0.909804"/>

tints="0.854902,0.819608,0.819608"/>

tints="0.784314,0.729412,0.729412"/>

tints="0.709804,0.639216,0.639216"/>

tints="0.639216,0.54902,0.54902"/>

tints="0.564706,0.454902,0.454902"/>

tints="0.494118,0.364706,0.364706"/>

tints="0.419608,0.27451,0.27451"/>

tints="0.34902,0.184314,0.184314"/>

tints="0.27451,0.094118,0.094118"/>

…

3 測試與分析

為了驗證采摘機器人自主采摘學習能力系統的可行性和準確性,于2018年10月25日在某蘋果種植園,進行了蘋果的成熟度判斷與采摘試驗。試驗中各選擇100張全生、半熟和成熟的蘋果圖片進行測試試驗。其中,采用70張圖片作為訓練樣本,30張圖片作為性能測試樣本。3種成熟度的蘋果樣本圖片如圖8所示。

圖8 3種成熟度的蘋果樣本圖片Fig.8 The Sample maps of apples with three maturities。

LM-BP神經網絡算法的參數十分簡單,只需要將3種成熟度的蘋果樣本共計210張圖片作為樣本輸入,然后選擇隱含層的的節點數目,便可以開始進行學習和訓練。隱含層的節點數從10個開始驗證。LM-BP神經網絡算法中隱含層數目對識別誤差影響的變化曲線如圖9所示。

圖9 隱含層數目對識別誤差影響的變化曲線Fig.9 The Change Curve of Implicit Layer Number Affecting Recognition Error。

由圖9可以看出:隱含層數目對識別誤差影響非常大。當選擇140個隱含層時,采摘機器人自主采摘學習能力達到較好的效果;此時,若繼續增加隱含層個數,采摘機器人自主采摘分類效果性能增加非常緩慢。因此,選擇140個隱含層,LM-BP神經網絡算法可以達到最優效果。

4 結論

采用LM-BP神經網絡算法、圖像處理技術,設計了一種基于LM-BP神經網絡的采摘機器人自主采摘學習能力系統,可以大大提高采摘機器人對水果成熟度的識別能力。測試結果表明:與BP神經網絡算法相比,LM-BP神經網絡算法訓練學習速度更快、測試精度更高,能夠滿足采摘機器人對目標水果成熟度識別的要求,具有一定的應用價值。