基于深度卷積神經(jīng)網(wǎng)絡(luò)的櫻桃分級(jí)檢測(cè)

張永飛，裴悅琨*，姜艷超，魏冉，周品志

（1.大連大學(xué)遼寧省北斗高精度位置服務(wù)技術(shù)工程實(shí)驗(yàn)室，遼寧 大連 116622；2.大連大學(xué)大連市環(huán)境感知與智能控制重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116622）

櫻桃的大小反映了其質(zhì)量水平，櫻桃果梗的有無(wú)對(duì)保鮮時(shí)長(zhǎng)至關(guān)重要，果梗缺損會(huì)導(dǎo)致其內(nèi)部水分流失，加上其干枯和腐爛，會(huì)進(jìn)一步影響到櫻桃的品質(zhì)。品質(zhì)的好壞不僅影響著產(chǎn)品本身的價(jià)值，而且直接影響消費(fèi)者的購(gòu)買欲望，間接影響果農(nóng)的經(jīng)濟(jì)收入。因此，對(duì)櫻桃尺寸和果梗的實(shí)時(shí)檢測(cè)研究很有必要。傳統(tǒng)的櫻桃檢測(cè)方法主要是利用人工和機(jī)械進(jìn)行分揀。人工分揀時(shí)會(huì)因疲憊、個(gè)人的主觀意識(shí)不同產(chǎn)生誤差，不僅費(fèi)時(shí)費(fèi)力、效率低，而且會(huì)影響分級(jí)的質(zhì)量。采用機(jī)械分揀的方法大多是通過設(shè)計(jì)專門的硬件結(jié)構(gòu)來檢測(cè)水果的大小和質(zhì)量[1]，然而這些方法不僅會(huì)對(duì)櫻桃表面造成損傷，而且分級(jí)誤差較大。因此，采用機(jī)器視覺技術(shù)進(jìn)行水果的實(shí)時(shí)檢測(cè)分級(jí)是實(shí)現(xiàn)水果自動(dòng)化分級(jí)進(jìn)而商品化的關(guān)鍵性一步[2-3]。

近些年來，由于機(jī)器學(xué)習(xí)方法的引入，使得水果分級(jí)檢測(cè)的準(zhǔn)確率和檢測(cè)速度得到了很大程度的提高[4]。朱堅(jiān)民等[5]提出一種新的水果特征提取方法，利用該方法使得水果的檢測(cè)速度和準(zhǔn)確率得到了顯著的提升。張玉華等[6]根據(jù)水果的特征信息進(jìn)行分類訓(xùn)練，采用信息融合法將水果內(nèi)外部特征信息融合，建立基于多傳感器多信息融合的水果分級(jí)模型。茍爽等[7]利用草莓R、G、B通道灰度值標(biāo)準(zhǔn)差和平均值作為評(píng)價(jià)成熟度的特征參數(shù)，采用機(jī)器學(xué)習(xí)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，分級(jí)準(zhǔn)確率高于90%。張青等[8]研究了草莓質(zhì)量和形狀在線分級(jí)的問題，采用閾值分割法提取草莓的周長(zhǎng)和面積參數(shù)，利用多元線性回歸分析建立草莓質(zhì)量分級(jí)模型，質(zhì)量分級(jí)準(zhǔn)確率為89.5%，形狀分級(jí)正確率為96.7%。余楊[9]針對(duì)蘋果自動(dòng)分級(jí)篩選能力低下的問題，提出了一種新的蘋果外觀多特征分級(jí)方法，綜合分級(jí)方法準(zhǔn)確率為95%，處理速度為7幀/s。Momin等[10]基于全局閾值彩色二值化處理圖像算法，采用中值濾波和形態(tài)學(xué)分析方法將芒果分為大、中、小3個(gè)質(zhì)量等級(jí)。對(duì)于草莓形狀尺寸分級(jí)，Oo等[11]提出了一種簡(jiǎn)單有效的自動(dòng)估計(jì)和分類的圖像處理算法，利用該方法對(duì)草莓果實(shí)的二維圖像進(jìn)行直徑、長(zhǎng)度和頂點(diǎn)角的估計(jì)。結(jié)果表明，在沒有花萼遮擋的草莓直徑和長(zhǎng)度估計(jì)精度分別為94%和93%，有花萼遮擋的草莓直徑和長(zhǎng)度估計(jì)精度分別為94%和89%。馬本學(xué)[12]提出一種利用數(shù)學(xué)形態(tài)學(xué)方法對(duì)香梨果梗進(jìn)行自動(dòng)提取的新方法。肖愛玲等[13]采用了基于圖像形態(tài)學(xué)的一種快速檢測(cè)駿棗果梗方法對(duì)駿棗分級(jí)系統(tǒng)中果梗有無(wú)進(jìn)行判別，檢測(cè)速度平均為0.45 s/個(gè)，果梗識(shí)別準(zhǔn)確率為92.7%，有無(wú)果梗誤判率為0。綜上所述，基于對(duì)水果形狀、大小和有無(wú)果梗的檢測(cè)方法，模型比較單一，只針對(duì)一種特定的水果適用，在檢測(cè)不同類型目標(biāo)的時(shí)候，需要設(shè)計(jì)不同的對(duì)象表征模型，且算法受周邊環(huán)境的影響較大。

由于人工分揀和傳統(tǒng)的圖像處理方法面臨檢測(cè)速度和環(huán)境影響的局限性，櫻桃的分級(jí)檢測(cè)未在工業(yè)現(xiàn)場(chǎng)廣泛應(yīng)用。目前，卷積神經(jīng)網(wǎng)絡(luò)已是圖像處理領(lǐng)域核心算法，由于其強(qiáng)大的特征提取能力已經(jīng)廣泛應(yīng)用于人臉識(shí)別[14-16]、自動(dòng)駕駛[17-19]、安防[20-23]、食品[24-25]等領(lǐng)域。然而，卷積神經(jīng)網(wǎng)絡(luò)目前一般用于分類，用于點(diǎn)的回歸研究較少。因此為了滿足櫻桃分級(jí)系統(tǒng)的實(shí)際需求，本文提出基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)算法對(duì)櫻桃尺寸和有無(wú)果梗進(jìn)行檢測(cè)，能夠?qū)崿F(xiàn)實(shí)時(shí)檢測(cè)，達(dá)到更高的準(zhǔn)確率和更小的誤檢率，以期提升櫻桃分級(jí)檢測(cè)的自動(dòng)化水平。

1 網(wǎng)絡(luò)模型結(jié)構(gòu)

本文提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的櫻桃大小分級(jí)和有無(wú)果梗的檢測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 模型結(jié)構(gòu)圖Fig.1 Model structure diagram

網(wǎng)絡(luò)結(jié)構(gòu)主要包括輸入層、模塊1、模塊2、全局平均池化和輸出層。模型采用的是全卷積網(wǎng)絡(luò)結(jié)構(gòu)，利用反卷積層對(duì)最后一卷積層的特征圖進(jìn)行上采樣，使其恢復(fù)到與輸入圖像相同的尺寸，從而可以對(duì)每一個(gè)像素都產(chǎn)生一個(gè)預(yù)測(cè)，同時(shí)保留了原始輸入圖像中的空間信息。網(wǎng)絡(luò)輸入為R、G、B三通道圖像（三原色R表示紅色，G表示綠色，B表示藍(lán)色，像素大小為416×416），使用深度卷積層自動(dòng)捕捉櫻桃的關(guān)鍵點(diǎn)信息，能夠提取有效信息并提高模型的訓(xùn)練速度。模塊1中的殘差連接可以增加網(wǎng)絡(luò)深度，使得特征映射對(duì)輸出的變化更加敏感，模型擁有更強(qiáng)的表達(dá)能力；模塊2采用步長(zhǎng)為2的卷積層縮小特征圖譜尺寸，使其成為更低維表征；為了對(duì)整個(gè)網(wǎng)絡(luò)在結(jié)構(gòu)上達(dá)到正則化、防止過擬合，該模型采用了全局平均池化代替了全連接層，直接剔除了全連接層中黑箱的特征，賦予了每個(gè)通道實(shí)際的意義。基于特征提取網(wǎng)絡(luò)得到特征向量進(jìn)行全局平均池化，建立4個(gè)分支用于上、下、左、右4個(gè)關(guān)鍵點(diǎn)坐標(biāo)的回歸，形成了最終的特征表示，建立端到端的櫻桃關(guān)鍵點(diǎn)檢測(cè)。

模塊1由2個(gè)3×3卷積和1個(gè)1×1卷積組成，并采用了殘差連接，如圖2所示。

圖2 殘差連接塊Fig.2 Residual connector block

殘差連接能夠保證網(wǎng)絡(luò)的深度，使得特征映射對(duì)于特征信息更加敏感，而且又能減緩深層網(wǎng)絡(luò)的梯度消失。模塊2由1個(gè)3×3卷積和1個(gè)1×1卷積組成，無(wú)殘差連接，如圖3所示。

圖3 無(wú)殘差連接塊Fig.3 Residual-free connector block

3×3卷積步長(zhǎng)為2取代池化操作降低特征維度，減少參數(shù)量，提升運(yùn)算速度。經(jīng)全局平均池化形成最終的特征向量后，由4個(gè)分支分別對(duì)上、下、左、右4個(gè)關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行回歸，最終分別計(jì)算上下兩點(diǎn)之間和左右兩點(diǎn)之間的歐氏距離，通過與設(shè)定的閾值進(jìn)行比較，從而達(dá)到分級(jí)的目的。在進(jìn)行關(guān)鍵點(diǎn)回歸的同時(shí)，分別賦予上（0.2）、下（0.2）、左（0.3）、右（0.3）4個(gè)點(diǎn)不同的權(quán)重，以著重突出櫻桃大小的檢測(cè)比有無(wú)果梗的判別更加重要。模塊中采用深度可分離卷積，將逐通道卷積和逐點(diǎn)卷積兩個(gè)部分結(jié)合起來，用來提取圖像特征，相比常規(guī)的卷積操作，其參數(shù)數(shù)量和運(yùn)算成本比較低。在卷積之后使用批量歸一化，允許模型使用較大的學(xué)習(xí)率，減弱對(duì)初始化的強(qiáng)依賴性，保持隱藏層中數(shù)值的均值、方差不變，讓數(shù)值更穩(wěn)定。為了在移動(dòng)端float16的低精度時(shí)也能有很好的數(shù)值分辨率，網(wǎng)絡(luò)中使用的激活函數(shù)為ReLU6，如圖4所示。

圖4 激活函數(shù)曲線圖Fig.4 Activation function curve

ReLU6定義見公式（1）。

如果對(duì)輸出值不加限制，那么輸出范圍就是0到正無(wú)窮，而低精度的float16無(wú)法精確描述其數(shù)值，帶來精度損失。

2 試驗(yàn)設(shè)置

2.1 試驗(yàn)環(huán)境

試驗(yàn)硬件設(shè)備主要由圖片采集設(shè)備、計(jì)算機(jī)處理單元、輔助照明系統(tǒng)組成，如圖5所示。

圖5 硬件框架圖Fig.5 Hardware block diagram

傳送帶將櫻桃均勻地分散在圖像的采集區(qū)域。圖像采集設(shè)備包括Basler（acA2000-50GC）工業(yè)相機(jī)、頻閃控制器和激光光電開關(guān)，通過頻閃控制器和激光光電開關(guān)觸發(fā)相機(jī)拍照。計(jì)算機(jī)處理單元inter（R）Core（TM）i7-1065G7CPU@1.30GHz（8CPUs），-1.5GHz，GPU NVIDIA GeForce MX350運(yùn)行內(nèi)存為16 G并配置P0OE千兆網(wǎng)卡。輔助照明系統(tǒng)由發(fā)光二極管（lightemitting diode，LED）光源漫光片和梯臺(tái)型光源罩，燈罩上涂有納米漫反射涂料，保證圖像采集區(qū)域的光照強(qiáng)度均勻，避免了櫻桃表面的反射和底部陰影。

2.2 圖像采集

櫻桃在傳送帶的作用下勻速向前轉(zhuǎn)動(dòng)，當(dāng)傳送帶經(jīng)過頻閃控制器時(shí)，將會(huì)觸發(fā)圖像采集設(shè)備進(jìn)行圖像采集，并通過POE千兆網(wǎng)卡傳輸給計(jì)算機(jī)處理單元進(jìn)行存儲(chǔ)。首先，將采集的圖像保持長(zhǎng)寬比例進(jìn)行縮放為416×416，剩下部分采用灰色填充。采用圖像質(zhì)量評(píng)價(jià)篩選出3 505張櫻桃圖像，對(duì)櫻桃果體兩側(cè)和果梗首末兩端進(jìn)行關(guān)鍵點(diǎn)坐標(biāo)標(biāo)注，如圖6所示。

圖6 櫻桃標(biāo)注示意圖Fig.6 Schematic diagram of cherry labeling

然后將3 505張具有標(biāo)注信息的櫻桃圖像數(shù)據(jù)集按照7∶2∶1隨機(jī)劃分為訓(xùn)練集（2 524張）、驗(yàn)證集（631張）和測(cè)試集（350張）。其中，訓(xùn)練集和驗(yàn)證集（共3 155張）按照櫻桃尺寸和有無(wú)果梗分為大（637張）、中（1 665張）、小（853張）、有果梗（2 048張）、無(wú)果梗（1 107張），測(cè)試集（350張）按照櫻桃尺寸和有無(wú)果梗分為大（28張）、中（167張）、小（155張）、有果梗（138張）、無(wú)果梗（212張），分布如圖7和圖8所示。

圖7 訓(xùn)練集、驗(yàn)證集、測(cè)試集櫻桃尺寸分布圖Fig.7 Cherry size distribution of training set，verification set and test set

圖8 訓(xùn)練集、驗(yàn)證集、平共處測(cè)試集有無(wú)果梗分布圖Fig.8 Training set，verification set and test set have no fruit stem distribution

2.3 損失函數(shù)

為了緩解梯度爆炸對(duì)模型再更新權(quán)重的影響，采用Smooth L1損失函數(shù)能夠使距離中心較遠(yuǎn)的點(diǎn)和異常值不敏感、可控制梯度的量級(jí)在訓(xùn)練時(shí)不容易跑飛，從而解決梯度爆炸的問題。Smooth L1從兩個(gè)方面限制梯度：1）當(dāng)預(yù)測(cè)值與真實(shí)值差別過大時(shí)，梯度值不至于過大；2）當(dāng)預(yù)測(cè)值與真實(shí)值差別過小時(shí)，梯度值足夠小。損失函數(shù)見公式（2），其中，x=f（xi）-yi，為真實(shí)值和預(yù)測(cè)值的差值。

2.4 評(píng)價(jià)指標(biāo)

櫻桃尺寸大小和有無(wú)果梗檢測(cè)模型的評(píng)價(jià)標(biāo)準(zhǔn)采用平均絕對(duì)誤差（mean absolute error，MAE），即觀測(cè)值與真實(shí)值的誤差絕對(duì)值的平均值，平均絕對(duì)誤差能更好地反映預(yù)測(cè)值誤差的實(shí)際情況，見公式（3）。

式中：fi為預(yù)測(cè)值；yi為真實(shí)值。

2.5 模型訓(xùn)練參數(shù)

模型訓(xùn)練采用Adam優(yōu)化器，初始學(xué)習(xí)率為1×104，學(xué)習(xí)率衰減策略為每2個(gè)迭代輪次驗(yàn)證集損失不再下降時(shí)，學(xué)習(xí)率衰減為原來的一半。在模型訓(xùn)練初期，使用較大的學(xué)習(xí)率進(jìn)行模型優(yōu)化，隨著迭代次數(shù)增加，學(xué)習(xí)率會(huì)逐漸進(jìn)行減小，保證模型在訓(xùn)練后期不會(huì)有太大的波動(dòng)，從而更加接近最優(yōu)解。為了防止模型過擬合，在全連接層采用隨機(jī)丟棄20%的神經(jīng)元，并采取早停策略，每經(jīng)過5個(gè)迭代輪次驗(yàn)證集損失不再下降，則模型訓(xùn)練停止，能夠有效緩解過擬合的發(fā)生，在一定程度上達(dá)到正則化的效果，從而增強(qiáng)模型的泛化能力。

3 試驗(yàn)結(jié)果及分析

為驗(yàn)證本文提出模型對(duì)櫻桃大小的檢測(cè)和有無(wú)果梗判別的檢測(cè)效果，選取了經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型VGG19、Resnet50作為對(duì)比，模型分級(jí)檢測(cè)效果見表1。

表1 模型分級(jí)檢測(cè)效果Table 1 Model grading test effect

由表1可知，在350張測(cè)試樣本集上測(cè)試，本研究提出的模型效果最優(yōu)，平均絕對(duì)誤差為6.12，網(wǎng)絡(luò)具有更強(qiáng)的特征提取能力，檢測(cè)精度更高。

模型訓(xùn)練使用了3 155張櫻桃圖像數(shù)據(jù)訓(xùn)練模型，訓(xùn)練集和驗(yàn)證集損失收斂情況如圖9所示，訓(xùn)練過程的學(xué)習(xí)率衰減情況如圖10所示。

圖9 訓(xùn)練集、驗(yàn)證集損失函數(shù)曲線圖Fig.9 Loss function curves of training set and verification set

圖10 學(xué)習(xí)率迭代曲線圖Fig.10 Iterative curve of learning rate

由圖9和圖10曲線圖可知，模型迭代初期，訓(xùn)練集和驗(yàn)證集損失迅速降低，模型趨于局部最優(yōu)解，開始收斂緩慢，驗(yàn)證集損失值出現(xiàn)振蕩，此時(shí)學(xué)習(xí)率衰減策略生效，防止模型收斂結(jié)果越過最優(yōu)解，經(jīng)過6次學(xué)習(xí)率衰減之后，驗(yàn)證集損失值不再下降，經(jīng)過40個(gè)迭代輪次后停止，模型收斂至最優(yōu)解，并且未出現(xiàn)過擬合情況。

3.1 模型分級(jí)檢測(cè)結(jié)果

針對(duì)350張櫻桃圖像的分級(jí)檢測(cè)結(jié)果見表2。

表2 櫻桃分級(jí)檢測(cè)結(jié)果Table 2 cherry grading test results

由表2可知，櫻桃大小檢測(cè)準(zhǔn)確率為93.14%，有無(wú)果梗判定準(zhǔn)確率為90.57%。大櫻桃準(zhǔn)確分檢的概率為75.00%，平均絕對(duì)誤差值為8.094 4；中櫻桃準(zhǔn)確分檢的概率為91.02%，平均均方誤差值為6.217 2；小櫻桃準(zhǔn)確分檢的概率為98.70%，平均均方誤差值為5.716 2；櫻桃有果梗準(zhǔn)確分檢的概率為94.87%，平均均方誤差值為3.071 4；櫻桃無(wú)果梗準(zhǔn)確分檢的概率為87.78%，平均均方誤差值為6.530 9，其中350個(gè)櫻桃批量測(cè)試樣本，在線分級(jí)檢測(cè)總用時(shí)10.5 s左右，平均速度約為33個(gè)/s，能夠滿足在線檢測(cè)的實(shí)時(shí)性要求。

3.2 模型檢測(cè)結(jié)果分析

針對(duì)大、中、小3種櫻桃的有無(wú)果梗圖像檢測(cè)結(jié)果如圖11所示。

圖11 櫻桃真實(shí)標(biāo)注與預(yù)測(cè)結(jié)果Fig.11 Real labeling and prediction results of cherry

從圖11中可以看出大櫻桃的分級(jí)檢測(cè)結(jié)果整體偏小，結(jié)合表2可知大櫻桃的平均絕對(duì)誤差最大，主要是因?yàn)楣I(yè)相機(jī)景深導(dǎo)致櫻桃邊緣像素模糊，其次光源直射櫻桃產(chǎn)生的光斑和陰影對(duì)櫻桃關(guān)鍵點(diǎn)回歸帶來一定的影響，可通過選擇大景深相機(jī)，調(diào)整光源照射角度或選擇特定光源來解決。此外，訓(xùn)練樣本集中大櫻桃所占比例為27.38%，中櫻桃所占比例53.45%，樣本分布不均衡，對(duì)大櫻桃的檢測(cè)結(jié)果偏小，可通過增加大櫻桃樣本數(shù)量和數(shù)據(jù)增強(qiáng)方式優(yōu)化樣本數(shù)據(jù)分布，進(jìn)一步提升模型效果。模型對(duì)小櫻桃的檢測(cè)效果較好，主要是由于櫻桃大小匹配相機(jī)景深，拍攝圖像質(zhì)量高，櫻桃邊緣較為清晰。因此，圖像質(zhì)量對(duì)于櫻桃的關(guān)鍵點(diǎn)回歸至關(guān)重要。

4 結(jié)論

目前，卷積神經(jīng)網(wǎng)絡(luò)一般用于分類，用于關(guān)鍵點(diǎn)的回歸研究較少，針對(duì)櫻桃分級(jí)問題，本文提出基于深度學(xué)習(xí)的關(guān)鍵點(diǎn)回歸算法，實(shí)現(xiàn)了櫻桃的分級(jí)檢測(cè)和有無(wú)果梗的精確判別，櫻桃大小尺寸檢測(cè)準(zhǔn)確率為93.14%，有無(wú)果梗判定準(zhǔn)確率為90.57%，檢測(cè)速度為33 fps，在實(shí)現(xiàn)高精度的同時(shí)，極大地提升了檢測(cè)速度，具有很大的實(shí)用價(jià)值。通過對(duì)大、中、小、有無(wú)果梗櫻桃的不同情況分析，可通過優(yōu)化圖像采集質(zhì)量和調(diào)整光源等方法進(jìn)一步改善模型檢測(cè)效果。此外，還可通過增加訓(xùn)練集樣本數(shù)量或圖像增強(qiáng)方法優(yōu)化數(shù)據(jù)分布，建立合理的回歸邏輯，進(jìn)一步提升櫻桃大小和有無(wú)果梗的識(shí)別效果，推動(dòng)櫻桃分級(jí)的工業(yè)化應(yīng)用。