基于深度學習的山核桃破殼物料分類識別

李文寶 曹成茂 張金炎 彭美樂

(安徽農業大學工學院，安徽 合肥 230036)

山核桃系胡桃科山核桃屬樹種，果仁富含不飽和脂肪酸以及多種人體必需的氨基酸和礦物質，具有極高的營養價值，是皖南山區重要的經濟作物之一[1]。其果殼堅硬而厚，隔膜發達，果仁位于隔膜內，殼仁結合十分緊密，使得低損傷破殼取仁十分困難。傳統的山核桃破殼加工方法主要是一次破殼和二次破殼相結合的方式，通過對破殼后的混合物料進行篩選，將山核桃仁分選出來，實現殼仁分離[2]，然而加工過程中存在著仁損傷率高，分選效率低等問題。在山核桃加工過程中對一次破殼后的物料進行細分，將不同類型的物料分二次加工，降低山核桃仁的損傷，可進一步提升山核桃的深加工水平[3]。

計算機視覺及卷積神經網絡在農業領域已有廣泛的應用[4]，如Mohammad等[5]通過改進的卷積神經網絡來檢測櫻桃的外觀，達到了99.4%的準確率，能夠替代傳統的分級方法； Kozowski等[6]通過對9種卷積神經網絡進行對比，實現了對大麥的視覺分類檢測，準確度達93%；Nasiri等[7]利用遷移學習的方法對棗果進行分類，模型總體的分類準確度達96.98%。中國在農業領域也開始應用機器視覺及深度學習技術，如在玉米病害檢測、水稻雜株識別，柑橘[8]、蘋果[9]、荔枝[10]、辣椒[11]、番茄[12]、茶葉[13]等農產品分級等均有研究。汪天宇[14]采用模糊聚類算法對山核桃進行殼仁分選，將露仁從3種破殼后的混合物料中分選出來，能夠達到83%的識別準確率。對山核桃一次破殼后的物料進行進一步細分，破殼后的物料經風選、振動篩選，去除雜質、灰塵及細碎殼渣后，剩下的物料可以細分為5類：較完整殼仁未分、露仁、未破殼完整、不完整殼仁未分和殼。為了實現5種物料更精細、準確的分類，研究擬引入卷積神經網絡，基于VGG16來構建分類模型，修改全連接層以實現5種物料的分類，旨在驗證卷積神經網絡對山核桃一次破殼后物料分類識別的可行性，為提高山核桃的深加工水平提供參考。

1 材料及數據集建立

1.1 山核桃初次加工物料樣本

山核桃樣本為安徽省寧國市當地所產的山核桃。脫脯后的山核桃經沸水蒸煮25 min，投入到6HP-120A型山核桃破殼機中進行一次破殼，振動、風選，剔除小碎殼及灰塵，剩下的物料分為5類(如圖1所示)：較完整殼仁未分、露仁、未破殼山核桃、殼、不完整殼仁未分。

圖1 初次破殼后的山核桃物料Figure 1 Pecan material after the first shelling

1.2 圖像采集平臺

使用電腦通過USB連接數碼相機采集圖片，設計一個立體暗箱，在暗箱內部布置LED燈帶作為光源，對所要拍攝的物料進行補光減少陰影。每張圖片均為白色背板，可以減少背景對檢測的物料干擾，固定相機位置、光照位置、相機與樣品之間的距離。物料圖像采集系統如圖2所示，研究共采集1 713張圖片包括332張較完整殼仁未分、380張露仁、312張未破殼完整山核桃、385張殼和304張不完整殼仁未分物料。

1.3 圖像預處理

試驗中，相機采集的圖像白色背景占整張圖片的面積過大，需對采集的圖片進行預處理。利用OpenCV計算機視覺軟件庫編寫程序對得到的圖片進行分割，去除山核桃物料的大部分白色背景，突出感興趣區域(ROI)，抑制背景，并且提取物料圖片。利用閾值分割的方法分割圖像，根據目標與背景在灰度上的差異，通過設置閾值實現目標與背景的分離。采用數學表達式來表示，則可設原始圖像為f(x,y),選取一個閾值用于計算背景去除的T值。分割后的圖像g(x,y)定義為：

(1)

式中：

f(x,y)——原始圖像；

g(x,y)——閾值分割后的圖像；

x,y——當前像素坐標；

T——最佳的閾值。

如圖3所示，通過閾值分割法對原始圖片進行分割后，通過形態學操作消除閾值處理不完善的地方，即圖片的黑色點狀區域，進而得到完整的連通區域，尋找到連通域的最小外接矩形，確定外接矩形的4個點坐標，對原圖按照得到的點坐標進行裁剪，即可得到刪除大部分白色背景的樣本圖片。

1. 樣本 2. 光源 3. 相機 4. 電腦圖2 樣本圖像采集平臺Figure 2 Sample image acquisition platform

圖3 圖片預處理過程Figure 3 Picture preprocessing process

1.4 圖像數據增廣

深度神經網絡中嵌入了大量的參數。因此，訓練階段需要大量的數據進行訓練來學習所有的參數，否則無法對神經網絡進行充分的訓練，或者是出現過擬合的風險，所以需要增加訓練的數據量，提升模型的泛化能力。通常使用數據增廣的方法在不增加成本和時間的情況下增加訓練圖片的數量。

在數據增廣的方法中，訓練數據集使用具有相同的標簽或者類來進行增加，以防止過擬合的問題。對訓練數據集使用旋轉、亮度變化、高度偏移、寬度偏移、縮放、水平翻轉和剪切等處理，對數據進行增強。如圖4所示，通過數據增強，將訓練樣本的1 713張圖片擴充為15 000張圖片。

a. 原圖 b～e. 隨機亮度變換加縮放 f. 旋轉圖4 圖像數據增廣Figure 4 Image data augmentation

經數據增強后，樣本數量大大增加(見表1)，相對于原始數據集能夠更加充分地訓練網絡參數。訓練時采取交叉熵損失函數，能夠有效解決樣本的不平衡性，從而提升準確率，使模型更具魯棒性[15]。

表1 數據增廣后樣本數據

2 模型構建

分類識別模型的建立主要基于卷積神經網絡，特征不是人為設計的，而是使用一種通用的學習方法從數據中學得，避免了繁瑣的特征提取過程[16]。卷積神經網絡的網絡深度對于分類精度和檢測性能有重要作用，VGG16通過加深同質化網絡結構來提升分類性能[17]。VGG的分類能力略遜于GoogLeNet，但其拓撲結構沒有GoogLeNet復雜，VGG網絡生成的特征優于其他的CNN，如AlexNet、GoogLeNet。因此，VGG在計算機視覺任務中是熱門的選擇之一[18]。

2.1 網絡模型結構

選擇VGG16作為山核桃物料分類網絡的特征提取的網絡結構，其包含13個卷積核為3*3的卷積層，5個最大池化層，輸入圖片經VGG16結構的神經網絡提取特征，然后展平處理為特征向量，對特征向量進行批歸一化(BN)處理，通過全連接層對樣本進行分類，使用Softmax函數對分類概率進行歸一化。試驗建立的模型網絡結構如圖5所示。

圖5 模型網絡結構Figure 5 Model network structure

2.2 卷積層

(2)

式中：

ax,y,z——輸入節點為(x,y,z)的取值；

f——激活函數。

為增加網絡模型的非線性，采取ReLU函數作為激活函數，其數學公式為[19]：

(3)

ReLU函數是分段線性函數，經該函數處理，所有的負值和0取值均為0，所有的正值則不變。ReLU函數能夠使模型變得稀疏，經該函數處理后的模型可以更好地挖掘相關特征。

2.3 池化層

卷積神經網絡還具有縮小圖片大小作用的池化層。利用圖像局部相關性的原理，對圖像進行采樣，池化層對原始特征層的信息進行壓縮，減少處理的數據量，從而預防過擬合。試驗網絡模型采用的是最大池化方式，其池化過程如圖6所示。

圖6 池化過程示意圖Figure 6 Schematic diagram of pooling process

2.4 批規范化層(BN)

批規范化層是2015年由Loffe等[20]提出，主要是為了加速神經網絡的收斂過程以及提高訓練過程中的穩定性。在CNN中使用批規范化處理會使網絡加深，并且訓練過程所需要的迭代次數會減少。試驗構建的分類模型，在通過卷積層與池化層后，展平為特征向量，并通過BN層對數據進行歸一化處理，提高訓練過程的穩定性。批規范化操作的數學表達式為：

(4)

式中：

x——當前訓練批次；

μ、σ——x的平均值和標準差；

β——可訓練參數；

ε——較小的常數(用來避免零為除數)。

2.5 全連接層(FC)

全連接層中，每一個神經元都與上一層所有神經元進行全連接，全連接層可以整合卷積層或者池化層中具有類別區分性的局部信息，包含向量權重和激活函數，將卷積層輸出拉伸為一維特征向量作為輸入，然后該向量與權重向量作點乘，將點乘的結果作為激活函數的輸入，最終輸出的結果便是全連接層的最終結果。

2.6 Softmax函數

將Softmax函數應用于全連接層后，該函數預測了屬于每一種類別圖片的歸一化概率，實現對研究物料的最終分類概率預測。在處理多分類(C>2)問題上，分類器最后的輸出單元需要使用Softmax函數進行數值處理，其定義式為：

(5)

式中：

vj——分類器前級輸出單元的輸出；

i——類別索引；

c——總的類別數；

Si——當前元素的指數與所有元素指數和的比值。

2.7 損失函數

多分類任務通常采用交叉熵損失函數，交叉熵表示的是實際輸出與期望輸出的距離，交叉熵越小二者的概率分布越近。假設概率分布p為期望輸出，概率分布q為實際輸出，H(p,q)為交叉熵，其計算式為:

(6)

式中：

T——分類類別數。

試驗設計的網絡輸出結果在輸出前經過了Softmax函數，將網絡輸出變成概率分布。由于樣本集不是太大，采用批量梯度下降，最后交叉熵損失為所有batch的均值。

2.8 Dropout方法

為了防止訓練過程中模型出現過擬合，造成準確度下降，引入Dropout方法。該方法一方面是為了避免過擬合，另一方面是使用更有效的方式進行模型融合。當神經元被置0時，其不會參與前向傳播和反向回傳的計算，其他神經元可以參與訓練，并且更新權重。這個過程可以使神經元學習出來的模型不會太過依賴某些局部特征，提高了模型的泛化能力。Dropout原理如圖7所示。

圖7 Dropout原理示意圖Figure 7 Schematic diagram of Dropout principle

3 訓練與結果分析

采用pytorch深度學習框架，使用python3.7編程語言構建卷積神經網絡，實現對山核桃物料的分類，其硬件配置表見表2。

表2 硬件配置表Table 2 Hardware configuration table

3.1 訓練參數及結果

為了驗證模型性能，將數據集中樣本的90%(13 502張圖片)用于訓練，剩下的10%(1 498張圖片)用于測試。訓練過程中，將Dropout率設置為0.5，batch_size設置為32，訓練epoch設置為50。采用隨機梯度下降算法(SGD)對模型參數進行優化訓練。模型學習率是SGD算法中的重要參數，為了保證訓練速度，將初始學習率設置為0.001，學習率下降間隔數為5個epoch，其調整倍數為0.1。分別對數據增廣前、后的數據集進行訓練，結果如圖8 所示。由圖8可知，增廣后，訓練過程更加平滑，能夠有效地降低過擬合，提高訓練精度。

圖8 分類準確度Figure 8 Classification accuracy

3.2 特征圖可視化

卷積神經網絡訓練是一個黑箱過程，通過可視化特征圖，能夠更加直觀地了解卷積神經網絡的學習情況，圖9為山核桃物料圖像及其不同的特征圖。

圖9 山核桃物料及其特征圖可視化Figure 9 Visualization of pecan material and its feature map

3.3 混淆矩陣

為了評估模型對5種山核桃加工物料的識別性能，使用混淆矩陣觀察分類結果。使用訓練后的模型對原始數據集1 713張圖片進行預測，并制作混淆矩陣，將較完整山核桃、不完整山核桃、未破殼山核桃、露仁和殼5種類型設置標簽對應A、B、C、D、E。使用混淆矩陣的橫坐標表示山核桃加工物料的真實標簽，縱坐標表示預測標簽，預測結果如圖10所示。

由圖10可知，經50個epoch訓練得到的模型，其總體分類精度較高，達99.5%。為了更準確地描述模型對各種物料的分類情況，分析各類別的精確率、召回率和特異度，結果見表3。

圖10 混淆矩陣Figure 10 Confusion matrix

表3 5種山核桃物料預測分類數據Table 3 Forecast classification data of 5 pecan materials

由表3可知，模型對露仁的識別精確率達到了99.2%，能夠有效地將露仁分選出，對于需要剔除的殼以及將要送回一次破殼機重新破殼的完整山核桃識別精確率達到了100.0%。

3.4 模型對比

利用深度學習的方法對山核桃破殼物料進行分類，與傳統的非線性分類模型進行對比，結果見表4。

表4 不同分類模型對比

由表4可知，傳統的SVM、BP神經網絡的分類精度最高只能達到85.1%，而VGG16的分類精度達到了99%以上，具有較好的優越性。

4 結論

針對含隔類堅果山核桃一次破殼后的5種物料(較完整殼仁未分、露仁、未破殼完整、不完整殼仁未分和殼)，引入了深度學習算法，并進行了一系列的訓練和探究。結果表明，較完整殼仁未分、露仁、未破殼完整、不完整殼仁未分和殼5種物料的識別精確率分別達99.1%，99.2%，100.0%，100.0%，99.3%；與傳統的非線性模型相比，VGG16模型對破殼物料的分類精度更高，其總體準確度達到了99.5%。綜上，利用深度學習對山核桃物料進行分類，能夠有效地識別山核桃，識別準確度高且穩定。受條件限制，研究中對物料采用單個角度的拍攝，圖像可能無法完整地表達各類別物料，仍需進一步考慮取樣方法。研究中將物料分為5類，可能還存在一些如霉變的山核桃仁等物料，需對樣本劃分進一步細化。