基于深度學習卷積神經網絡的花生籽粒完整性檢測

張軍鋒 尚展壘

(1. 河南水利與環境職業學院,河南 鄭州 450011；2. 鄭州輕工業大學，河南 鄭州 450002)

花生籽粒圖像快速準確識別是花生籽粒完整性分選的關鍵[1]。近年來，隨著深度學習理論的快速發展，卷積神經網絡(CNN)作為一種具有代表性的深度學習技術逐漸被應用于圖像識別領域[2-5]。與傳統視覺圖像檢測技術相比，CNN蘊含著大量的圖像特征信息，極大地提高了圖像檢測效率[6]。

學者們圍繞CNN食品完整性檢測開展了一系列研究并取得了一定成果。趙志衡等[1]提出了一種基于改進CNN的花生籽粒完整性識別算法，該算法對花生分類的準確率可以達到98.18%，但是并沒有考慮真實應用環境對檢測精確度的影響。張忠志等[7]采用雙分支卷積神經網絡對紅棗缺陷進行檢測，具有較好的分類識別效果，但是該方法依賴大規模訓練數據集，而且模型參數配置過程耗時較長且得到的參數未必最優。張瑞青等[8]采用遷移學習卷積神經網絡對花生莢果等級進行識別，分類識別準確率達到95.43%，但該模型采用隨機梯度下降技術進行模型參數優化，效率較低。謝為俊等[9]在AlexNet網絡基礎上搭建適用于油茶籽完整性檢測的CNN模型，并驗證了該模型的有效性。因此，運用CNN技術進行食品目標識別檢測具有廣闊的應用前景。

研究擬結合花生籽粒完整性圖像檢測特點，提出深度卷積神經網絡花生籽粒完整性檢測方法，設計改進的密度峰值聚類算法和麻雀搜索算法，并對神經網絡模型模型進行優化，最后通過對比試驗來驗證該方法的有效性，旨在為花生籽粒完整性檢測研究提供理論依據。

1 花生籽粒檢測系統和卷積神經網絡

基于彩色色選設備研究花生籽粒完整性圖像檢測方法，以準確區分完整花生、果仁破損花生和表皮破損花生為目的，搭建如圖1(a)所示的花生籽粒篩選系統，利用工業線陣彩色CCD相機實時獲取花生籽粒圖像信息，圖像信息經邊緣檢測、圖像分割以及濾波去噪處理后，采用提出的檢測算法進行篩選分類，最后利用空氣噴槍將判定為果仁破損花生、表皮破損花生進行剔除得到完整花生籽粒。

1.1 花生籽粒圖像庫

建立花生籽粒圖像數據庫，數據庫中包括完整花生、果仁破損花生和表皮破損花生3類，如圖1(b)所示。對采集得到的花生籽粒圖像進行人工標記，為增加訓練樣本數量和多樣性，采用鏡像[10]、平移[11-12]、旋轉[13-14]方法對圖像進行有效數據增廣，最終得到3 600幅花生籽粒圖片(每個分類各1 200幅)，統一設置圖片格式為224像素×224像素正方形圖像。模型訓練時，從圖像數據庫中隨機選取80%(每類840幅，共2 520幅)樣本為訓練集，剩余20%為測試集。

圖1 花生籽粒檢測系統和圖像數據庫示意圖Figure 1 Schematic diagram of peanut grain detection system and image database

1.2 卷積神經網絡

卷積層、池化層、全連接層是CNN的主要組成部分，其中，卷積層和池化層交替出現，實現對數據的特征學習；全連接層采用全連接的方式與最后一個池化層進行連接，實現對提取特征的分類。

1.2.1 卷積層 對于大小為M×N的輸入圖像，用矩陣x描述，設卷積核為m×n的矩陣w，偏置為b，卷積層通過多個卷積核w和激活函數f(·)，實現對輸入數據的卷積運算和構建特征映射關系，得到一系列特征圖h(如圖2所示)。卷積計算表達式為：

圖2 卷積核提取特征過程示意圖Figure 2 Schematic diagram of convolution kernel feature extraction process

h=f(x?w+b)，

(1)

式中：

h——輸入圖像經卷積計算后的特征圖；

f(·)——激活函數；

x——卷積核M×N的矩陣；

w——卷積核m×n的矩陣；

b——偏置項。

1.2.2 池化層 池化層主要用來壓縮卷積層輸出特征，保留主要特征，池化層不改變卷積層輸出的特征圖數量。通過式(2)和式(3)分別定義最大值池化ymax和平均值池化yave的數學表達式：

ymax=max(x1,…,xl)，

(2)

(3)

式中：

x1——池化區域第1個元素像素值；

xl——池化區域第l個元素像素值；

l——步長。

1.2.3 全連接層 全連接層將特征映射到標記空間，包含隱含層和輸出層，對于全連接隱含第k層，設定輸入值為xk-1，權值向量為ωk，偏置為ck，利用激活函數f(·)得到k層輸出zk：

zk=f(ωkxk-1+ck)。

(4)

當k=1時，xk-1為最后一層池化層鋪展后值。全連接輸出層通常采用Softmax函數[15]進行概率分布處理以便于計算損失函數。

1.2.4 卷積神經網絡存在的主要問題 主要問題有：① 多個卷積核得到的圖像特征冗余度缺乏定量分析，影響了網絡運算效率；② 網絡結構和參數設置對分類結果影響較大，傳統網絡參數設定方式很容易導致網絡陷入局部最優；③ 擴展網絡深度能夠提升網絡性能，但是也增加了網絡參數規模和計算復雜度。

2 改進卷積神經網絡

為提升卷積神經網絡性能，結合花生籽粒圖像相對簡單的特點對傳統AlexNet模型進行改造：設計2層卷積層、2層池化層，采用2層全連接層替代原有3層全連接層；將批歸一化(BN)[16]置于卷積層激活函數后，加快網絡訓練速度；利用改進的密度峰值聚類(IDPC)算法對卷積核特征進行自適應壓縮，采用改進的麻雀搜索算法對網絡超參數結構進行優化配置。圖3為改進卷積神經網絡示意圖。

圖3 改進卷積神經網絡結構示意圖Figure 3 Structure diagram of improved convolutional neural network

2.1 密度峰值聚類壓縮卷積核提取特征

(5)

(6)

γi=ρiδi，

(7)

式中：

ρi——特征圖的hi的局部密度；

ρj——特征圖的hj的局部密度；

dij——數據點hi與hj的距離；

δi——數據點hi的最近點距離；

dc——截斷距離；

γi——聚類中心判定參數。

確定每個數據點的ρi、δi后，DPC按照γi大小，選取前C個點為聚類中心，其余點劃分到距離最近聚類中心所在分類。

研究[19]表明，DPC對大規模數據集的聚類結果是穩健的，但對小規模數據集較為敏感，即當出現某個點分配錯誤時，可能會使得更多的點分配錯誤。為此，對數據點分配過程進行改進，引入核距離度量Dij替代dij，其數學表達式見式(8)，并定義hi和hj的相似性ζij，其數學表達式見式(9)。

Dij=‖Φr(Xj)-Φr(Xi)‖2，

(8)

ζij=1/(1+Dij),

(9)

式中：

Φ——核函數。

從式(9)可以看出，hi與hj距離越近，它們的相似性越高，因此屬于同一聚類的可能性越大。定義數據點hi屬于第c(c=1,…,C)個聚類的概率pi,c，其數學表達式為：

(10)

式中：

yi——hi的分類標號，yi=c表示hi屬于第c個聚類；

KNNj——hi的k近鄰集合[20]。

確定hi的所有概率{pi,1,…,pi,C}后，將其劃分到概率最大的聚類中。

采用改進的DPC(IDPC)算法對卷積核進行提取，使得網絡參數規模由n降到C，最大限度地降低了卷積核冗余度，簡化了網絡參數。圖4為改進密度峰值聚類壓縮卷積核提取特征示意圖。

圖4 改進密度峰值聚類壓縮卷積核提取特征示意圖Figure 4 Feature extraction diagram of IDPC compressed convolution kernel

2.2 網絡超參數、網絡結構優化配置

2.2.1 改進SSA更新進化策略 以訓練誤差作為SSA目標函數F(SSA)，麻雀個體X編碼定義為：

(11)

式中：

M1、M2——2層卷積層卷積核數大小類型，且M1(M2)=1,2,3分別表示大小為3×3、5×5、7×7；

f1、f2——激活函數類型，且f1(f2)=1,2,3,4分別表示激活函數為f1、f2、f3、f4；

A1、A2——2層池化層操作類型，且A1(A2)=1,2分別表示P1最大值池化、P2平均值池化。

(12)

(13)

式中：

麻雀種群內一部分個體采用加速進化機制進行更新，直接向最優個體進行學習，提升了算法收斂效率；一部分個體采用深度搜索機制，向更多個體進行學習，擴展了樣本搜索空間，提高了算法收斂精度。

(14)

其中，[·]表示向下取整數。

(15)

(16)

(17)

(18)

2.2.2 改進卷積神經網絡實現 利用IDPC算法提取每層最佳卷積核，采用ISSA優化網絡超參數和網絡結構，最終得到適用于花生籽粒完整性檢測的CNN模型。其實現過程如圖5所示。

圖5 改進卷積神經網絡實現流程圖Figure 5 Implementation flow chart of improved convolutional neural network

3 仿真試驗

3.1 優化網絡參數

使用圖像識別領域基準MNIST數據集、CIFAR-10數據集和花生籽粒圖像庫訓練集進行模型訓練，其中MNIST數據集包括60 000張單通道灰度圖像訓練集、10 000張測試集，CIFAR-10數據集包括60 000張3通道彩色圖像訓練集、10 000張測試集。采用深度學習卷積神經網絡(DL-CNN)、只利用ISSA優化網絡結構的卷積神經網絡(ISSA-CNN)對3種數據集的訓練集進行模型訓練。

由表1和圖6可知，DL-CNN、ISSA-CNN能夠給出優化后的網絡參數。對于MNIST、CIFAR-10以及花生圖像測試數據集，DL-CNN給出的激活函數優化結果為f2、f1、f3(第一層)、f3、f1、f2(第二層)；對于每層卷積核數目，DL-CNN優化后的參數明顯小于ISSA-CNN，這表明，IDPC算法的引入能夠降低卷積核數目規模，簡化網絡結構。

圖6 卷積核數目優化對比結果Figure 6 Comparison results of convolution kernel number optimization

表1 參數優化范圍及DL-CNN算法優化結果Table 1 parameter optimization range and optimization results of DL-CNN algorithm

利用花生籽粒圖像庫訓練集驗證歸一化方法和全連接層層數分別對模型性能的影響，其中歸一化方法選取BN、LRN[15]，全連接層層數分別設置為1層、2層，其他網絡參數選取DL-CNN優化后的參數，結果見表2。由表2可知，歸一化方法LRN的引入對模型準確率影響較小，但是大幅增加了網絡參數訓練時間；而BN的引入能夠大幅度提升模型準確率，而且模型訓練時間小于LRN；2層全連接層準確率高于1層全連接層，但是兩者的模型訓練時間相近。綜上，采用BN歸一化方法和2層全連接層使模型具有更高的準確率和訓練時間。

表2 歸一化方法、全連接層對模型性能影響結果Table 2 Effects of normalization method and full connection layer on model performance

3.2 對比試驗結果

為進一步驗證DL-CNN性能，選取標準CNN、ISSA-CNN和文獻[9]提出的CO-Net，對MNIST數據集、CIFAR-10數據集和花生籽粒圖像庫中的訓練集進行對比試驗。

由圖7可知，對于MNIST數據集，DL-CNN能夠在迭代250次時找到全局最優解，要快于其他3種算法，而且收斂精度(分類準確率)達到了97.63%，高于其他3種算法。對于CIFAR-10數據集，DL-CNN收斂精度與CO-Net相當，均超過97%，明顯高于其他2種算法，而且DL-CNN僅需迭代200次左右就能夠找到全局最優解，收斂速度更快。對于花生籽粒圖像庫訓練集，DL-CNN無論是在收斂速度上還是收斂精度上都優于其他3種算法，且其他3種算法的收斂精度低于94%，表明這4種算法中DL-CNN陷入局部最優的可能性最小。由表3可知，DL-CNN無論是對于訓練集還是測試集，分類準確率均高于其他3種算法，分類準確率幾乎保持在97%以上，對于花生籽粒圖像識別準確率提高了約5.41%～13.92%。而CNN準確率最低，僅為86.03%，未達到實際應用要求。綜上，DL-CNN對單幅圖像的運算速度與其他3種算法相當，能夠以14.1 ms左右的速度實現對單幅圖像的檢測識別。

表3 4種模型測試集試驗結果Table 3 Experimental results of four model test sets

圖7 4種模型準確率收斂曲線Figure 7 Convergence curves of accuracy of four models

3.3 真實環境試驗結果

對構建的花生籽粒篩選系統進行真實環境試驗仿真。CCD相機得到線陣圖像經過處理后得到單?；ㄉ鷪D像，耗時約2～3 s，然后采用DL-CNN進行圖像篩選，最后利用空氣噴槍將判定為破損花生進行剔除，最終實現花生籽粒完整性檢測。對一批花生籽粒進行篩選，得到圖像檢測準確率為97.63%，實際篩選出完整籽粒正確率為91.14%，表明在真實環境下DL-CNN模型仍然能夠以97.63%的準確率實現對花生圖像的高精度識別。考慮空氣噴槍精度、傳輸帶穩定性等因素，整個花生籽粒完整性篩選準確率仍然能夠達到了91.14%。因此，該系統能夠很好地實現對花生籽粒的篩選，具有一定推廣應用價值。

4 結論

對花生籽粒篩選問題進行研究，提出了基于DL-CNN的花生籽粒完整性檢測方案。通過引入IDPC算法對卷積核進行自適應壓縮處理和ISSA對網絡參數配置和網絡結構進行優化，有效提升了識別準確率，而且基于DL-CNN的花生籽粒完整性篩選系統能夠以91.14%的準確率實現真實環境下的花生完整性檢測，證明了該方案的有效性和可行性。下一步將重點研究提升篩選系統的穩定性。