卷積神經(jīng)網(wǎng)絡(luò)算法在核桃仁分類中的研究*

趙騰飛，胡國(guó)玉，周建平， 2，劉廣，陳旭東，董婭蘭

(1. 新疆大學(xué)機(jī)械工程學(xué)院，烏魯木齊市，830047； 2. 新疆維吾爾自治區(qū)農(nóng)牧機(jī)器人及智能裝備研究中心，烏魯木齊市，830047)

0 引言

核桃仁，又名胡桃仁、胡桃肉、核桃本品為胡桃科植物胡桃的干燥成熟種子。核桃仁含有豐富的營(yíng)養(yǎng)素。中國(guó)核桃資源十分豐富，在核桃采摘、加工以及儲(chǔ)藏等環(huán)節(jié)中，由于褐變、發(fā)霉和干癟等壞掉的核桃仁嚴(yán)重影響著核桃仁的品質(zhì)。隨著國(guó)內(nèi)外市場(chǎng)對(duì)核桃仁需求量不斷增加，核桃仁的品質(zhì)保證和分類問(wèn)題已然成了核桃品控中的突出問(wèn)題，在整個(gè)核桃精深加工的過(guò)程中，核桃仁色選作為極其重要的工序，在品質(zhì)提升和品質(zhì)管控方面發(fā)揮著重要作用。色選技術(shù)利用被選物料的光學(xué)特性差異,通過(guò)識(shí)別采集的圖像，利用執(zhí)行機(jī)構(gòu)進(jìn)行異色顆粒的分揀[1]。將色選技術(shù)應(yīng)用于核桃仁的精深加工環(huán)節(jié)有利于緩解核桃仁分揀人力資源依賴性過(guò)大的難題；取代手工挑選，排除人為因素的干擾，既能提高生產(chǎn)效率，又能降低生產(chǎn)費(fèi)用，達(dá)到優(yōu)選核桃仁的效果，提高核桃仁的品質(zhì)。但是目前已有的核桃仁色選設(shè)備識(shí)別精度有限，色選系統(tǒng)在核桃仁分類中的通用性較差。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)技術(shù)已經(jīng)被廣發(fā)應(yīng)用于圖像分類、目標(biāo)檢測(cè)等領(lǐng)域[2-5]，趙志衡等[6]通過(guò)對(duì)卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化設(shè)計(jì)了一種實(shí)現(xiàn)花生分類的網(wǎng)絡(luò)模型，準(zhǔn)確率達(dá)到98.18%，有效地提高色選是的實(shí)時(shí)性與準(zhǔn)確率。劉星星等[7]通過(guò)利用OpenCV設(shè)計(jì)的多通道動(dòng)態(tài)葡萄干色澤識(shí)別設(shè)備，在HSV空間下，對(duì)黃、綠、褐色三類葡萄干的識(shí)別準(zhǔn)確率分別達(dá)到92.00%、89.33%、96.67%，此方法很大程度上依賴于物料的顏色特征，無(wú)法有效滿足實(shí)際工作中不同物料的分類識(shí)別。Khodaei[8]將機(jī)器視覺(jué)算法應(yīng)用于無(wú)花果的分類系統(tǒng)中，通過(guò)區(qū)域分割以及區(qū)域顏色差進(jìn)行圖像二值化求出分割面積，然后對(duì)無(wú)花果進(jìn)行劃分分級(jí)，該方法對(duì)無(wú)花果的識(shí)別準(zhǔn)確率達(dá)到了95.2%。綜上所述相比人工識(shí)別以及傳統(tǒng)識(shí)別方法，利用深度學(xué)習(xí)技術(shù)的分類方法能夠達(dá)到較高準(zhǔn)確率，能夠較好地應(yīng)用于復(fù)雜多變環(huán)境下分類任務(wù)。

本文將采集的核桃仁圖像分為好仁和壞仁，通過(guò)建立卷積網(wǎng)絡(luò)模型結(jié)構(gòu)對(duì)核桃仁進(jìn)行分類識(shí)別，然后利用L1和L2正則化、三種優(yōu)化器、修改學(xué)習(xí)率和卷積核大小等方式進(jìn)行優(yōu)化，利用不同方式的優(yōu)化方法來(lái)提高模型的泛化性以及魯棒性，以期提高卷積神經(jīng)網(wǎng)絡(luò)模型分類準(zhǔn)確率，最后通過(guò)利用OpenVINOTM加速器進(jìn)行優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)模型，以期提高識(shí)別的實(shí)時(shí)性。

1 圖像預(yù)處理、數(shù)據(jù)集采集

本文以新疆薄皮核桃仁作為研究對(duì)象，建立好仁和壞仁數(shù)據(jù)集，其中好仁與壞仁的判別標(biāo)準(zhǔn)主要依據(jù)LY/T 1992—2010《中華人民共和國(guó)林業(yè)行業(yè)標(biāo)準(zhǔn)》和SN/T 0881—2000《中華人民共和國(guó)出入境檢驗(yàn)檢疫行業(yè)標(biāo)準(zhǔn)》中現(xiàn)行標(biāo)準(zhǔn)共同進(jìn)行確定。圖1所示為濾波前后核桃仁以及不同類別核桃仁圖像，其中好仁與壞仁的區(qū)分主要以是否褐變、是否發(fā)霉、是否干癟等為主，褐變標(biāo)準(zhǔn)的衡量以核桃仁顏色是否呈現(xiàn)黑褐色，果肉是否由白變黃等為主，如圖1(k)所示；霉變標(biāo)準(zhǔn)的衡量首先以重量判別，霉變之后的核桃仁重量輕于好仁，其次以外表是否變黑、出現(xiàn)霉菌以及是否有異味為主，如圖1(i)所示；干癟標(biāo)準(zhǔn)的衡量以核桃仁外表形狀是否有褶皮，果仁干枯少油而薄以及重量比為主，如圖1(j)所示。利用Phantom v9.1相機(jī)進(jìn)行圖像采集，共采集400張分辨率為1 632像素×1 200像素核桃仁數(shù)據(jù)集，為保證分類識(shí)別的準(zhǔn)確性，其中好仁與壞仁數(shù)量各占數(shù)據(jù)集的一半。在進(jìn)行數(shù)據(jù)集劃分前，首先進(jìn)行數(shù)據(jù)集的清洗工作，從中去除掉模糊不合格的數(shù)據(jù)集，將清洗完的數(shù)據(jù)集全部縮放到300像素×300像素，然后將所采集的核桃仁數(shù)據(jù)集按照8∶2的比例劃分為訓(xùn)練集與測(cè)試集。由于在數(shù)據(jù)集采集過(guò)程中受到外界環(huán)境因素的干擾，原始數(shù)據(jù)集中經(jīng)常含有各種噪聲[9]，噪聲的存在會(huì)對(duì)數(shù)據(jù)集的分類識(shí)別產(chǎn)生影響，因此需要對(duì)核桃仁數(shù)據(jù)集進(jìn)行降噪濾波的預(yù)處理工作。

本文采取均值濾波[10]、高斯濾波[11]、方框?yàn)V波、中值濾波[12]、自適應(yīng)中值濾波[13]以及雙邊濾波對(duì)核桃仁數(shù)據(jù)集進(jìn)行降噪濾波，濾波效果如圖1所示，并用信噪比[14](SIGNAL-NOISE RATIO，SNR)進(jìn)行對(duì)比如表1所示，通過(guò)對(duì)濾波后的圖集效果以及SNR值進(jìn)行對(duì)比顯示，中值濾波能夠較好地保留圖像的特征信息，且中值濾波的SNR值為42.388，通常來(lái)說(shuō)信噪比越高，圖像越清晰，質(zhì)量就越高。因此本文采用中值濾波方法進(jìn)行核桃仁數(shù)據(jù)集預(yù)處理。

(a) 含噪圖片 (b) 原始圖片 (c) 高斯濾波 (d) 均值濾波

(e) 方框?yàn)V波 (f) 中值濾波 (g) 雙邊濾波 (h) 自適應(yīng)中值濾波

(i) 霉變 (j) 干癟 (k) 褐變 (l) 好仁

表1 圖像SNR值Tab. 1 Image SNR values

2 卷積網(wǎng)絡(luò)框架構(gòu)建

2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)[15]是通過(guò)模擬特征，然后通過(guò)卷積的權(quán)值共享以及池化操作來(lái)降低網(wǎng)絡(luò)參數(shù)的數(shù)量級(jí)。一個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[16-17]，通常包含輸入層、卷積層、池化層和全連接層，如圖2所示。

1) 輸入層。輸入層為經(jīng)過(guò)圖像預(yù)處理的300像素×300像素×3的圖像。

2) 卷積層C1。C1層采用same卷積對(duì)輸入圖像進(jìn)行特征提取，利用32個(gè)5×5的卷積核生成32個(gè)特征圖。卷積步長(zhǎng)為1，擴(kuò)充值為0，因此卷積后的特征圖大小為296×296，一個(gè)卷積核可訓(xùn)練的參數(shù)的個(gè)數(shù)為76個(gè)，因此C1層可訓(xùn)練的參數(shù)的個(gè)數(shù)為2 432個(gè)。

3) 池化層pool1。pool1層主要是對(duì)特征進(jìn)行降維處理，pool1層使用3×3的過(guò)濾器池化C1層生成的特征圖，因此最終生成32個(gè)98×98的特征圖。pool1層每個(gè)特征圖中都有兩個(gè)可訓(xùn)練的超參數(shù)(權(quán)值參數(shù)，偏置參數(shù))，因此該層中共有64個(gè)參數(shù)。

4) 卷積層C2。卷積層C2有64個(gè)5×5的卷積核，步長(zhǎng)為1，擴(kuò)充值為0，C2層將S1層的32個(gè)98×98的特征圖卷積成為64個(gè)94×94的特征圖，因此C2層可訓(xùn)練的參數(shù)的個(gè)數(shù)為51 264個(gè)。

5) 池化層pool2。pool2層使用3×3的過(guò)濾器池化C2層生成的特征圖，因此最終生成64個(gè)31×31的特征圖。

6) 卷積層C3。卷積層C3有64個(gè)5×5的卷積核，步長(zhǎng)為1，擴(kuò)充值為0，C3層將S2層的特征圖卷積成為64個(gè)27×27的特征圖，因此C3層可訓(xùn)練的參數(shù)的個(gè)數(shù)為10 246個(gè)。

7) 池化層pool3。pool3層使用3×3的過(guò)濾器池化C3層生成的特征圖，因此最終生成64個(gè)9×9的特征圖。

8) 卷積層C4。卷積層C4有128個(gè)5×5的卷積核，步長(zhǎng)為1，擴(kuò)充值為0，C4層將S3層的特征圖卷積成為128個(gè)5×5的特征圖，因此C4層可訓(xùn)練的參數(shù)的個(gè)數(shù)為204 928個(gè)。

9) 池化層pool4。pool4層使用3×3過(guò)濾器池化C4層生成的特征圖，因此最終生成128個(gè)1×1特征圖。

10) 全連接層F1。F1層有512個(gè)單元其中單元的個(gè)數(shù)與輸出層的設(shè)計(jì)有關(guān)，C4層有128個(gè)單元，F(xiàn)1層每個(gè)單元都將容納128個(gè)單元的計(jì)算結(jié)果，因此F1層的參數(shù)個(gè)數(shù)為66 048個(gè)。

11) 全連接層F2。F2層有256個(gè)單元,F1層有512個(gè)單元，F(xiàn)2層每個(gè)單元都將容納512個(gè)單元的計(jì)算結(jié)果，因此F1層的參數(shù)個(gè)數(shù)為131 328個(gè)。

12) 全連接層F3。F3層有3個(gè)單元，因此F3層的參數(shù)個(gè)數(shù)為514個(gè)。

13) 輸出層。輸出層用于直接輸出分類結(jié)果，本分類任務(wù)中只有2種核桃仁，因此輸出層只有2個(gè)輸出。

圖2 卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型

2.2 可視化中間激活

對(duì)于已給定的輸入圖像，可視化中間激活通過(guò)模型中的每一個(gè)卷積層和池化層顯示輸出特征圖。通過(guò)中間激活的可視化，能夠觀察到每一個(gè)通道都有許多相對(duì)應(yīng)的并且相互獨(dú)立的特征，同時(shí)也可以更加直觀地觀察網(wǎng)絡(luò)模型中核桃仁提取的效果。

核桃仁在C1,S1層和C2,S2層輸出特征圖，如圖3所示。

從圖3中可以得出，前兩層卷積和池化主要學(xué)習(xí)到的內(nèi)容是核桃仁圖像輪廓邊緣特征信息，隨著層數(shù)的增加，圖像分辨率變小，卷積核學(xué)習(xí)到的信息也越來(lái)越抽象。

(a) 卷積層1 (b) 池化層1 (c) 卷積層2 (d) 池化層2

圖4所示為核桃仁在C3，S3層和C4，S4層輸出特征圖，輸出特圖中圖像輪廓逐漸模糊，隨著網(wǎng)絡(luò)模型層數(shù)的增加，所提取的核桃仁特征信息相對(duì)前兩層輸出特征圖更加抽象，關(guān)于核桃仁圖像的信息逐漸變少，進(jìn)行分類檢測(cè)的目標(biāo)信息越來(lái)越多，從而將有用的信息進(jìn)行了細(xì)化和放大化。

(a) 卷積層3 (b) 池化層3

(c) 卷積層4 (d) 池化層4

2.3 核桃仁分類試驗(yàn)平臺(tái)與參數(shù)優(yōu)化設(shè)計(jì)

2.3.1 試驗(yàn)平臺(tái)

本試驗(yàn)的運(yùn)行環(huán)境為Windows10(64位)操作系統(tǒng)，計(jì)算機(jī)內(nèi)存8 GB，搭載Intel(R) Core CPU i7-6500U @2.50GHz處理器，Anaconda3，Pycharm編程平臺(tái)，基于開源深度學(xué)習(xí)框架TensorFlow開發(fā)環(huán)境，使用Python 3.6編程語(yǔ)言，試驗(yàn)包括模型訓(xùn)練、測(cè)試和不同方法之間的對(duì)比驗(yàn)證。

2.3.2 參數(shù)優(yōu)化設(shè)計(jì)

為了進(jìn)一步完善網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)的執(zhí)行效率，提高對(duì)核桃仁分類的準(zhǔn)確性和實(shí)時(shí)性，需要對(duì)本文所建立的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

過(guò)擬合是指所構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)模型在訓(xùn)練數(shù)據(jù)集中表現(xiàn)過(guò)于優(yōu)秀，導(dǎo)致在進(jìn)行測(cè)試和驗(yàn)證時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)模型表現(xiàn)一般。在網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行訓(xùn)練時(shí)，過(guò)擬合情況經(jīng)常發(fā)生，為了避免過(guò)擬合對(duì)分類準(zhǔn)確率的影響，本文采取dropout和正則化的方法進(jìn)行優(yōu)化網(wǎng)絡(luò)。

1) dropout層。如圖5所示，首先通過(guò)網(wǎng)絡(luò)結(jié)構(gòu)模型對(duì)輸入進(jìn)行前向傳播，然后通過(guò)誤差反向傳播對(duì)參數(shù)進(jìn)行更新。dropout層[18-19]在這過(guò)程中隨機(jī)將隱藏層中的部分神經(jīng)元設(shè)置為零，然后再次執(zhí)行這個(gè)過(guò)程。從而減輕了不同特征的協(xié)同作用，有效地避免了過(guò)擬合的發(fā)生，增強(qiáng)了網(wǎng)絡(luò)的泛化能力。

(1)

式中：λ——正則項(xiàng)系數(shù)；

ωi——權(quán)重；

n——數(shù)據(jù)集大小。

(a) 原始網(wǎng)絡(luò)結(jié)構(gòu) (b) dropout操作后網(wǎng)絡(luò)結(jié)構(gòu)

將式中C對(duì)ωi求偏導(dǎo)，得到參數(shù)更新率η。

(2)

L2正則化與L1正則化的區(qū)別在于L2正則項(xiàng)使用平房項(xiàng)代替了L1正則項(xiàng)中的絕對(duì)值。因此損失函數(shù)表達(dá)式如式(3)所示。

(3)

(4)

3) 數(shù)據(jù)增強(qiáng)。數(shù)據(jù)集訓(xùn)練學(xué)習(xí)時(shí)，由于各種條件因素受限,樣本數(shù)據(jù)集是有限的，因此需要對(duì)樣本數(shù)據(jù)集進(jìn)行擴(kuò)充。通過(guò)通數(shù)據(jù)集進(jìn)行剪切、旋轉(zhuǎn)、翻轉(zhuǎn)變換、對(duì)比度變換、顏色變換等一種方式或多種方式組合的方法來(lái)進(jìn)行數(shù)據(jù)集增強(qiáng)。

4) 優(yōu)化器的選擇。本文主要以RMSProp、Adam和Nadam優(yōu)化器進(jìn)行比較，利用優(yōu)化器對(duì)影響模型訓(xùn)練和模型輸出的參數(shù)進(jìn)行計(jì)算和更新，使網(wǎng)模型不斷逼近最優(yōu)值，從而達(dá)到最小化損失函數(shù)和提高精度的目的。

3 優(yōu)化結(jié)果及對(duì)比試驗(yàn)分析

3.1 Dropout層和數(shù)據(jù)增強(qiáng)優(yōu)化結(jié)果

如圖6所示，數(shù)據(jù)增強(qiáng)使得模型結(jié)構(gòu)更具有泛化性，通過(guò)數(shù)據(jù)增強(qiáng)后，模型在訓(xùn)練過(guò)程中學(xué)習(xí)到同一個(gè)物料在不同狀態(tài)下的特征，整個(gè)過(guò)程中既避免了由于數(shù)據(jù)集不足帶來(lái)的影響，又使得模型能夠?qū)W習(xí)到更多的特征信息；dropout層減少了學(xué)習(xí)過(guò)程中參數(shù)量大大提升了學(xué)習(xí)時(shí)間。通過(guò)利用dropout和數(shù)據(jù)增強(qiáng)的模型與原始模型對(duì)比發(fā)現(xiàn)，優(yōu)化后的模型在訓(xùn)練過(guò)程中相對(duì)比較平穩(wěn)，且在迭代40次以后，測(cè)試準(zhǔn)確率基本穩(wěn)定不變，相比初始模型測(cè)試準(zhǔn)確率有所提高。

(a) Dropout層

(b) 數(shù)據(jù)增強(qiáng)

3.2 優(yōu)化器優(yōu)化結(jié)果

如圖7(a)所示，當(dāng)學(xué)習(xí)率初始值設(shè)置為0.000 1時(shí)，Adam、Nadam、RMSProp三種優(yōu)化器[20-21]在迭代40次以后的驗(yàn)證準(zhǔn)確率分別為0.960、0.954、0.981，如圖7(b)所示當(dāng)學(xué)習(xí)率初始值設(shè)置為0.001時(shí)，迭代40次以后三種優(yōu)化器的驗(yàn)證準(zhǔn)確率分別為0.975、0.958、0.989，綜上所述本文選擇優(yōu)化器為學(xué)習(xí)率初始值為0.001時(shí)的RMSProp優(yōu)化器。

(a) 學(xué)習(xí)率為0.000 1

(b) 學(xué)習(xí)率為0.001

3.3 正則化優(yōu)化結(jié)果

如圖8(a)所示，當(dāng)選擇L1，L2正則化參數(shù)為0.01時(shí)，驗(yàn)證集準(zhǔn)確率均一直保持在0.5不發(fā)生波動(dòng)，故此對(duì)參數(shù)進(jìn)行重新賦值，當(dāng)L1，L2正則化參數(shù)為0.001時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)模型訓(xùn)練效果如圖8(b)所示。其中采用L1_L2正則化時(shí)，網(wǎng)絡(luò)模型驗(yàn)證準(zhǔn)確率始終保持在0.5，L1、L2和原始網(wǎng)絡(luò)模型都存在相對(duì)波動(dòng)，但是采用L2正則化優(yōu)化的模型在驗(yàn)證集上表現(xiàn)的效果更佳。

(a) 正則化系數(shù)為0.01

(b) 正則化系數(shù)為0.001

3.4 綜合優(yōu)化方案

綜合上述優(yōu)化方法對(duì)比結(jié)果，本文最終選用L2正則化+Dropout層+RMSprop優(yōu)化器+數(shù)據(jù)增強(qiáng)技術(shù)作為優(yōu)化方法。初始卷積網(wǎng)絡(luò)模型與綜合優(yōu)化卷積網(wǎng)絡(luò)模型測(cè)試對(duì)比結(jié)果如圖9所示，綜合優(yōu)化的卷積網(wǎng)絡(luò)模型能夠達(dá)到的測(cè)試正確率為1。

圖9 綜合優(yōu)化后的測(cè)試結(jié)果

3.5 卷積核尺寸的調(diào)整

如圖10所示，經(jīng)過(guò)優(yōu)化后的網(wǎng)絡(luò)結(jié)構(gòu)模型相比初始模型在準(zhǔn)確率上達(dá)到提高，卷積核尺寸為3時(shí)在整個(gè)過(guò)程中的數(shù)據(jù)波動(dòng)較小，卷積核尺寸為5時(shí)的數(shù)據(jù)波動(dòng)相對(duì)頻繁且幅度值較大，且卷積核尺寸為3時(shí)模型更早達(dá)到收斂，卷積核尺寸為3比卷積核尺寸為5時(shí)試驗(yàn)效果更好的原因在于，在進(jìn)行小物體分類檢測(cè)的過(guò)程中，淺層網(wǎng)絡(luò)作為主要的特征學(xué)習(xí)層發(fā)揮著重要作用，卷積核尺寸為3時(shí)，淺層網(wǎng)絡(luò)輸出特征圖具有比較高的分辨率有利于進(jìn)行核桃仁這種小物體的檢測(cè)。通過(guò)對(duì)參數(shù)比較，在卷積核尺寸為3時(shí)，總的參數(shù)量為524 674，當(dāng)卷積核尺寸為5時(shí)，總的參數(shù)量為558 978，在需要訓(xùn)練學(xué)習(xí)的參數(shù)量上相對(duì)較少。因此最終優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)模型如表2所示。

圖10 不同卷積核的測(cè)試結(jié)果

3.6 分類模型對(duì)比試驗(yàn)

為了更好地驗(yàn)證本文所述分類模型對(duì)于核桃仁識(shí)別的適用性，本文從現(xiàn)有分類模型中選擇經(jīng)典的VGG-16網(wǎng)絡(luò)[22]模型進(jìn)行對(duì)比試驗(yàn)。VGG-16網(wǎng)絡(luò)模型結(jié)構(gòu)中包括13層卷積結(jié)構(gòu)和3層全連接結(jié)構(gòu)，因此能夠較好的學(xué)習(xí)到分類樣本的特征信息，被廣泛選擇應(yīng)用于圖像分類任務(wù)中。本文通過(guò)將最終綜合優(yōu)化后的分類模型與VGG-16進(jìn)行對(duì)比試驗(yàn)，來(lái)驗(yàn)證本文所述分類模型的有效性。

表2 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)Tab. 2 Parameters of convolutional neural network

由于用于訓(xùn)練學(xué)習(xí)圖像數(shù)據(jù)集量比較小，因此選擇利用遷移學(xué)習(xí)[23-26]代替直接用VGG網(wǎng)絡(luò)模型訓(xùn)練學(xué)習(xí)。遷移學(xué)習(xí)就是將一個(gè)已經(jīng)在大規(guī)模數(shù)據(jù)集上訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)模型利用數(shù)據(jù)、任務(wù)或模型之間的相似性，將該模型學(xué)習(xí)到的參數(shù)遷移應(yīng)用于新的模型結(jié)構(gòu)。整個(gè)過(guò)程保留了特征提取器不變，所以特征提取器不在被訓(xùn)練，從而大大減少了需要被訓(xùn)練的參數(shù)的個(gè)數(shù)。小數(shù)據(jù)集通過(guò)遷移學(xué)習(xí)的方法可以實(shí)現(xiàn)相應(yīng)的分類檢測(cè)任務(wù)。

本文通過(guò)將VGG-16網(wǎng)絡(luò)結(jié)構(gòu)模型在Image Net圖像數(shù)據(jù)集訓(xùn)練好的卷積層遷移到本模型中進(jìn)行學(xué)習(xí)，如圖11所示，整體結(jié)構(gòu)為：VGG-16卷積層+全局平均池化層+兩層全連接層(512個(gè)單元，256個(gè)單元)。

圖11 VGG-16遷移學(xué)習(xí)結(jié)構(gòu)圖

如圖12所示，通過(guò)對(duì)VGG-16網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)應(yīng)用于核桃仁分類識(shí)別與本文所述網(wǎng)絡(luò)結(jié)構(gòu)模型相比較，兩種模型結(jié)構(gòu)在驗(yàn)證集準(zhǔn)確率均最后達(dá)到了1，且整體訓(xùn)練學(xué)習(xí)過(guò)程中數(shù)據(jù)波動(dòng)比較平穩(wěn)，能夠滿足分類任務(wù)的要求。但是在同一設(shè)備下進(jìn)行圖像預(yù)測(cè)過(guò)程中，相比本文模型而言利用遷移學(xué)習(xí)的VGG16網(wǎng)絡(luò)所需要的預(yù)測(cè)時(shí)間為793.9 ms，本文模型需要的時(shí)間為430.2 ms。

圖12 遷移學(xué)習(xí)和卷積核大小為3時(shí)的測(cè)試結(jié)果對(duì)比

3.7 加速器對(duì)比試驗(yàn)

通常情況下，由于檢測(cè)設(shè)備以及模型訓(xùn)練設(shè)備的不同，當(dāng)訓(xùn)練好的模型在進(jìn)行部署應(yīng)用時(shí)，往往面臨識(shí)別執(zhí)行效率低的問(wèn)題，為了更好地將本文所述模型應(yīng)用于實(shí)際分類任務(wù)中，在不降低已有識(shí)別正確率的前提下，大大提高識(shí)別效率，本文分別進(jìn)行了兩組試驗(yàn)：訓(xùn)練好的原始模型識(shí)別試驗(yàn)；加速器優(yōu)化的模型識(shí)別試驗(yàn)。試驗(yàn)過(guò)程中，其他參數(shù)條件保持一致，通過(guò)對(duì)比兩組試驗(yàn)的結(jié)果來(lái)尋求能夠使得本文所述模型更優(yōu)的策略。在加速器選擇中，本文選擇OpenVINOTM工具套件[27]軟件加速的方式來(lái)有效避免利用硬件加速時(shí)可能出現(xiàn)的不匹配的問(wèn)題。

OpenVINOTM工具套件主要用于實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化與推理計(jì)算。包括用于優(yōu)化神經(jīng)網(wǎng)絡(luò)模型的工具M(jìn)odel Optimizer和用于加速推理計(jì)算的推理引擎Inference Engine。模型訓(xùn)練完畢后，將導(dǎo)出的TensorFlow凍結(jié)圖模型文件(*.pb文件)，利用OpenVINOTM工具套件中的Model Optimizer工具優(yōu)化模型文件，經(jīng)過(guò)Model Optimizer 工具優(yōu)化后的模型，在其不影響精度的情況下，能夠在檢測(cè)硬件平臺(tái)上更加快速的運(yùn)行，然后將獲得模型的中間表示IR文件(IR文件主要用來(lái)描述神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)以及儲(chǔ)存模型權(quán)重的信息參數(shù)),調(diào)用Inference Engine來(lái)完成推理計(jì)算，如圖13所示。

圖13 OpenVINOTM優(yōu)化推理流程圖

為了方便模型測(cè)試以及更加直觀地顯示對(duì)比結(jié)果，利用Python設(shè)計(jì)開發(fā)圖形交互界面，圖像數(shù)據(jù)集一部分來(lái)源于網(wǎng)絡(luò)圖像，一部分來(lái)源在新疆喀什葉城縣新疆果業(yè)集團(tuán)色選加工車間采集圖像，將本文訓(xùn)練好的卷積網(wǎng)絡(luò)模型以及OpenVINOTM工具套件優(yōu)化后的模型文件在分類的正確性、分類概率值的大小以及分類運(yùn)行時(shí)間三方面進(jìn)行試驗(yàn)對(duì)比。如圖14(a)所示，隨機(jī)選擇圖像數(shù)據(jù)集中的一幅好仁圖像進(jìn)行檢測(cè)，卷積神經(jīng)模型結(jié)果顯示圖像分類類別為好仁，好仁概率值為0.999 9，分類運(yùn)行時(shí)間為508.00 ms，優(yōu)化后的卷積神經(jīng)模型結(jié)果顯示圖像分類類別為好仁，好仁概率值為1，分類運(yùn)行時(shí)間為29.00 ms。

(a) 好仁識(shí)別結(jié)果

(b) 壞仁識(shí)別結(jié)果

再次隨機(jī)選擇圖像數(shù)據(jù)集中的一幅壞仁圖像進(jìn)行檢測(cè)，卷積神經(jīng)模型結(jié)果顯示圖像分類類別為壞仁，壞仁概率值為0.997 4，分類運(yùn)行時(shí)間為458.99 ms，優(yōu)化后的卷積神經(jīng)模型結(jié)果顯示圖像分類類別為壞仁，壞仁概率值為1，分類運(yùn)行時(shí)間為32.00 ms，如圖14(b)所示。試驗(yàn)結(jié)果表明利用OpenVINOTM工具套件優(yōu)化后的卷積神經(jīng)模型能夠在不影響檢測(cè)精度前提下，在英特爾平臺(tái)硬件上可以更快地執(zhí)行檢測(cè)任務(wù)，經(jīng)過(guò)工具套件優(yōu)化后的卷積模型能夠更好地滿足執(zhí)行檢測(cè)任務(wù)時(shí)的實(shí)時(shí)性要求，具有較好的應(yīng)用效果。

本文利用召回率(Recall，表示樣本中的正樣本有多少被預(yù)測(cè)正確)和精確率(Precision，表示預(yù)測(cè)樣本有多少是真正的正樣本)對(duì)最終識(shí)別正確率進(jìn)行評(píng)價(jià)。重新拍攝采集好仁和壞仁圖片各64張，然后從網(wǎng)絡(luò)再各收集20張，一共178張圖片進(jìn)行識(shí)別評(píng)價(jià)驗(yàn)證，未優(yōu)化模型以及優(yōu)化后的模型對(duì)核桃仁圖像識(shí)別效果評(píng)價(jià)指標(biāo)如表3所示，未經(jīng)過(guò)優(yōu)化的模型對(duì)兩類核桃仁的識(shí)別正確率98.31%，平均執(zhí)行時(shí)間為323.2 ms，通過(guò)OpenVINOTM工具套件優(yōu)化后的卷積神經(jīng)模型對(duì)兩類核桃仁的識(shí)別正確率為99.44%，平均執(zhí)行時(shí)間為29.6 ms。從表3可以看出，經(jīng)過(guò)推理優(yōu)化的卷積神經(jīng)模型的評(píng)價(jià)指標(biāo)均要優(yōu)于為優(yōu)化前，因此評(píng)價(jià)結(jié)果能夠表明經(jīng)過(guò)推理優(yōu)化的卷積神經(jīng)模型具有更好的應(yīng)用效果。

表3 模型分類識(shí)別精度Tab. 3 Model classification recognition accuracy

4 結(jié)論

1) 本文針對(duì)核桃仁分類識(shí)別的需求，提出了一種卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行核桃仁的識(shí)別方法，通過(guò)對(duì)原始結(jié)構(gòu)模型進(jìn)行參數(shù)優(yōu)化的設(shè)計(jì)以及結(jié)構(gòu)調(diào)整，并進(jìn)行分類驗(yàn)證，模型在試驗(yàn)測(cè)試評(píng)價(jià)中總體識(shí)別精確率為98.88%。

2) 通過(guò)對(duì)VGG-16網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)解決了少量數(shù)據(jù)集在大型網(wǎng)絡(luò)結(jié)構(gòu)上訓(xùn)練學(xué)習(xí)的問(wèn)題，縮短了訓(xùn)練時(shí)間。與VGG-16網(wǎng)絡(luò)遷移學(xué)習(xí)進(jìn)行對(duì)比，本文所述網(wǎng)絡(luò)結(jié)構(gòu)在較少訓(xùn)練參數(shù)量下也能夠達(dá)到較好識(shí)別的效果。

3) 將參數(shù)優(yōu)化的卷積網(wǎng)絡(luò)模型，利用OpenVINOTM工具套件進(jìn)行推理優(yōu)化，通過(guò)對(duì)推理優(yōu)化的模型與未進(jìn)行推理優(yōu)化的模型進(jìn)行比較，經(jīng)過(guò)推理優(yōu)化的卷積網(wǎng)絡(luò)模型在進(jìn)行分類識(shí)別所執(zhí)行平均時(shí)間為29.6 ms左右，未進(jìn)行推理優(yōu)化所執(zhí)行時(shí)間為323.2 ms左右。表明OpenVINOTM工具套件能夠在不降低識(shí)別精度的前提下提升識(shí)別時(shí)間，從而滿足分類識(shí)別的實(shí)時(shí)性，對(duì)核桃仁分類識(shí)別具有較好的應(yīng)用效果。