基于卷積神經網絡的物流貨物圖像分類研究

劉斌 龍健寧 程方毅 龔德文

摘要：基于卷積神經網絡（CNN）針對物流環境下貨物的圖像分類問題進行了研究。首先，在實際物流環境下收集了13種貨物的 ROI圖像，并通過每隔10°旋轉的方式來擴充數據集以防止過擬合現象的發生;然后，在考慮了實際硬件條件的情況下構建了輕量級 CNN ，并進行了基于自建數據集的訓練，訓練實驗發現，輕量級 CNN模型具有很快的收斂速度并在驗證集取得了100%的準確率;最后，研究了旋轉對貨物圖像分類性能的影響，并進行了可視化分析，驗證了 CNN對旋轉操作基本不具備一致性。

關鍵詞：卷積神經網絡;圖像分類;自動識別;旋轉不變性

中圖分類號：TP391.41???????????? 文獻標志碼：A??????? 文章編號：1009-9492（2021）12-0079-04

Research on Goods Image Classification Based on Convolutional Neural Networkin Logistic Environment

Liu Bin1，Long Jianning1，Cheng Fangyi1，Gong Dewen2

（1. Key Laboratory of Polymer Processing Engineering of Ministry of Education//Guangdong Provincial Key Laboratory of Technique andEquipment for Macromolecular Advance Manufacturing// National Engineering Research Center of Novel Equipment for Polymer Processing，Guangzhou 510641， China;2. Guangdong Changheng Intelligent Technology Co.， Ltd.， Dongguan， Guangdong 523841， China）

Abstract： The classification of goods images in logistics environment based on convolutional neural networks has been studied. First， ROI images of 13 kinds of goods in logistics environment were collected and the data set was expanded by rotating every 10° to prevent overfitting. Then， a lightweight CNN was constructed and trained based on self-built data set considering the actual hardware conditions， and the training experiment showed that the model converged quickly and achieved 100% accuracy in the validation set. Finally， the effect of rotation on the classification performance of goods images was studied and performed a visual analysis， the result showed that CNN had poor invariance to rotation operation.

Key words： CNN; image classification; automatic recognition; rotation invariance

0 引言

近年來，隨著電子商務的飛速發展，物流行業的業務量隨之劇增，不斷成熟的自動識別技術引入到現代物流當中以代替人眼對貨物進行分辨識別，物流行業的自動化程度在不斷提升的同時，物流過程的效率在很大程度上得以提升[1]。

目前，在物流行業中最為常見的兩種自動識別技術為條形碼技術以及 RFID 技術，但是，在諸如食品、醫藥以及化妝品等行業當中，不僅貨物種類多樣，而且其外表面沒有或者難以張貼條碼或射頻卡等信息載體，這種情況下，就需要利用貨物自身的形狀、顏色以及表面紋理特征等，來實現貨物種類的自動識別。傳統的圖像分類往往只能針對圖像的某一特征，如顏色、輪廓、紋理等進行分類，因而魯棒性和泛化能力不足，而鑒于物流環境下的復雜性，傳統的圖像分類就難以滿足實際物流需求[2-3]。而卷積神經網絡（CNN）可以將圖像直接作為輸入，并自動提取圖像中的各種特征，得益于卷積神經網絡的豐富的參數以及非線性計算，充分保證了圖像處理過程中的泛化性和準確性，十分契合物流環境下貨物圖像分類要求[4-5]。

鑒于卷積神經網絡的種種優勢，本文基于卷積神經網絡在圖像分類上的強大能力，在真實物流環境下采集貨物的圖像信息，并建立自有數據集，并在此基礎上通過卷積神經網絡進行訓練和參數優化，進一步提高圖像分類效率以及準確率，以期為基于自動識別技術的物流貨物分揀的研究和應用提供有益的參考和借鑒。

1 物流貨物圖像數據集的建立

圖1所示為在物流輸送線上采集的經過圖像分割后的13種貨物的 ROI 圖像，序號代表其對應的標簽。貨物為13類紙箱，分別為“冰紅茶”“鹵香牛肉面”“安慕希”“早餐核桃牛奶”“水蜜桃”“百歲山”“脈動（椰汁菠蘿）”“脈動（青檸）”“營養快線（組合裝）”“藤椒牛肉面”“阿薩姆”“香菇雞蛋面”以及“香辣牛肉面”。同個紙箱的6個面的顏色、紋理等不盡相同，在這里，只采集每種紙箱6個面當中特征最為豐富的一面的圖像，作為利用 CNN進行圖像分類的研究對象。

CNN模型分類識別的準確率往往依賴于訓練數據的樣本數量，在訓練迭代次數相同的情況下，越多的訓練數據可以得到越準確的分類識別結果[6]。過擬合現象的發生往往都是由于圖像數據量不足，而實際 ROI 圖像需要通過相機采集，工作量十分巨大且效率不高，因此，為了解決實際采集 ROI 圖像數量不足的問題，每種紙箱分別獲取40張 ROI 圖像，并通過對 ROI 圖像每隔10°旋轉一次的方式擴充樣本數量，如圖2所示。通過數據擴充，樣本數量擴充36倍，最終的數據集一共由18720張彩色圖像構成。

2 卷積神經網絡模型訓練和調優

CNN模型的層數越多，相應的參數量以及計算量也越多，對于硬件的要求也越高，因此考慮到自建數據集的復雜性以及實際硬件條件，經過不斷嘗試，最終構建了一種輕量級 CNN模型，它包含4個卷積層和3個全連接層，每個卷積層后面連接著一個最大池化層，具體參數配置如表1所示[7]。

整個輕量級網絡的參數總量為5526221，設置學習率為0.01，迭代次數為3000，優化方法選擇 Adam[8]，分別設置批處理量為8、16和128時，訓練情況如圖3所示。其中，批處理量為128時訓練得到的模型稱為模型 A。

由圖3（a）可知，對比模型在3種批處理量下訓練的損失函數變化，在批處理量為8的情況下，當迭代次數少于1000次時，損失函數曲線的波動十分劇烈，當迭代次數超過1000次后，損失函數趨于收斂;而在批處理量為16的情況下，當代次數少于250次時，損失函數曲線存在著較為明顯的波動，當迭代次數超過250次后，損失函數趨于收斂;而在批處理量為128的情況下，損失函數的波動現象消失，并且函數收斂值比上述兩種情況更小。查看批數據大小為128時的輸出日志可以看到，迭代次數為100時，損失函數就已經降到5.57×10-4。根據深度學習理論，隨著迭代次數的增加，模型參數不斷優化，迭代次數分別為500、1000和3000時，損失函數為1.62×10-5、4.85×10-6和2.59×10-7。

綜合對比分析圖3（b）和圖3（c）可知，模型在3種批處理量下訓練的驗證集準確率、測試集準確率變化與損失函數類似，隨著批處理量的增大，驗證集準確率以及測試集準確率曲線的波動逐漸減小并消失;同樣的，隨著迭代次數的增加，驗證集準確率以及測試集準確率曲線都趨于收斂，而批處理量為128時，收斂速度最快。

3 旋轉對物流貨物圖像分類性能的影響

3.1 CNN機制的相關研究

由于 CNN巨大的參數量和高度的非線性化，CNN的輸入與輸出之間就像一個黑盒，其內部運行機制不容易進行分析解釋，只能以訓練結果為依據不斷地進行參數調整，還有結構優化，這會導致 CNN訓練的時間成本很高而效率降低。

基于上述原因，近年來，CNN的可視化和可解釋性受到了越來越多學者的關注和研究，解釋 CNN的運行機制對于深度學習的發展意義非凡[9-10]。Zeiler等[11-12]使用反卷積網絡來可視化各層提取到的特征圖，結果發現 CNN 低層學習到的基本是顏色、輪廓等特征，中層學習的是紋理特征，到了高層則學習的是有區別性的特征，最后學習到的則是完整的、具有辨別性的關鍵特征。總而言之，提取到的特征隨著層次的提高而越來越抽象，同時，特征的區分性越強。

3.2 實驗方案和結果

參考 Zeiler等人提出 CNN對旋轉操作基本不具備不變性的原理，這里做一個實驗來研究旋轉對物流環境下的紙箱貨物圖像分類性能的影響。

構建的數據集僅包含收集到的13種紙箱的上下左右4個方位的圖像，每種紙箱的4個方位分別收集約30張圖像，以此數據集進行訓練而得到模型 B ，并在上下左右及45°傾斜方位上進行識別測試，上下左右及45°傾斜5個方位的示意圖如圖4所示[7]。使用批數據為128的輕量級 CNN進行訓練，損失函數、訓練集準確率和驗證集準確率均很快收斂，其中，驗證集準確率為100%。

利用模型 B 對每種類別貨物進行5個方位的識別測試，每個方位測試10次，觀察識別結果，上下左右方位幾乎完全識別正確。45°方向識別結果如表2所示[7]，其中，在10組測試中，”安慕希”、”早餐核桃牛奶”、”脈動（青檸）”和”營養快線”紙箱的識別錯誤率超過90%，而“阿薩姆”紙箱的識別錯誤率為50%，“鹵香牛肉面”和“水蜜桃”紙箱雖然識別正確，但是置信度較低，“冰紅茶”、“百歲山”、“脈動（椰汁菠蘿）”、藤椒牛肉面”、”香菇燉雞面”和”香辣牛肉面”紙箱的均識正確均為100%，并且置信度也均大于0.9。

利用僅收集上下左右4個方位圖像信息進行訓練而得到的模型 B ，測試上下左右及45°五個方位紙箱圖像時，結果發現模型 B 能夠正確識別上下左右方位的圖像，而對45°方位圖像的識別出現大量錯誤情況。同樣地，利用批處理量設置為128的、經過每隔10°旋轉擴充數據集訓練得到的模型 A ，對每種類別紙箱圖像任意角度測試20次，結果發現均識別正確且置信度大于0.99。

3.3 CNN的可視化分析

觀察表2中的45°方位時的實驗結果，推測 CNN在訓練過程中提取了圖像的顏色、紋理特征，可能原因如下：45°時“安慕希”紙箱和“營養快線”紙箱均被錯誤識別為“百歲山”紙箱，推測是由于“安慕希”紙箱、“百歲山”紙箱和“營養快線”紙箱均具有相似的顏色特征，即大片白色區域;而“鹵香牛肉面”紙箱和“冰紅茶”直線45°時均識別正確，是由于二者具有比較明顯的不同表面紋理特征，但二者顏色相近，因此，識別的置信度不高;“阿薩姆”紙箱和脈動“（椰汁菠蘿）”紙箱的表面均具有大面積的相似顏色區域，因此，在10次測試當中，45°時“阿薩姆”紙箱有4次被識別為脈動（椰汁菠蘿）;而“脈動（青檸）”紙箱和“脈動（椰汁菠蘿）”紙箱不僅表面顏色相似，而且紋理特征也很相近，因此，在10次測試當中，，“脈動（青檸）”紙箱均被識別為“脈動（椰汁菠蘿）”紙箱。

CNN提取特征的方式，可通過可視化圖像經過卷積層運算后的輸出結果來進行觀察分析。由表1可知，所構建的輕量級CNN四個卷積層中的每一層都會輸出數量很多的特征圖，因此，為了方便展示，將圖像在卷積層由卷積核經過激活函數之后的特征圖按1∶1融合，可視化融合后整體的特征圖。選擇一張 45°傾斜的“脈動（青檸）”紙箱圖像，可知其由模型B識別時，被錯誤識別為“脈動（椰汁菠蘿） ”紙箱，可視化圖像經過模型每一層卷積后的整體特征圖，結果如圖5所示。同樣還是該“脈動（青檸） ”紙箱圖像，將其輸入模型 A 時，可以被正確識別為“脈動（青檸） ”紙箱，可視化卷積后的整體特征圖如圖6所示[7]。

綜合對比圖 5 和圖 6，并結合文獻[11]和[12]進行分析，由于模型A是經過訓練360°圖像得到的CNN模型，其由低層的顏色、輪廓等特征到中層的紋理特征，再到高層的抽象特征依次進行特征提取。而模型B是僅訓練上下左右4個方位圖像而得到的，其只需要學習到中層或相對高層的特征提取方式就已經可以準確地識別4個方位的貨物圖像，但是這種情況下，模型的泛化能力不足，因此，在輸入 45°傾斜的圖像時，模型容易出現識別錯誤。而在訓練360°的貨物圖像時，模型提取的是高維的、具有區分度的抽象特征，因此，360°的紙箱圖像訓練得到的模型的魯棒性和泛化性更強，能夠較為準確地識別多個角度的紙箱圖像。

4 結束語

在物流貨物圖像分類的應用研究中，收集了13種紙箱的ROI圖像，為了避免過擬合現象的發生，通過每10° 旋轉方式擴充數據集在所構建的輕量級CNN網絡進行訓練時，在實際硬件條件下可以輕易設置較大的訓練參數，并在驗證集上取得了100%的準確率。另外，還通過實驗表明了旋轉造成貨物圖像分類性能的下降，并由 CNN的可視化分析可知，雖然CNN的特征提取是由低維到高維的方式進行以保證魯棒性以及泛化性，但是CNN 并不具備旋轉一致性，因此，需要借助于旋轉方式擴充數據集，以保證對任意角度貨物圖像識別的準確率。

參考文獻：

[1] 郭午陽. 自動識別技術在物流管理中的應用分析[J]. 信息與電腦（理論版），2017（4）：135-136.

[2] 周俊宇，趙艷明.卷積神經網絡在圖像分類和目標檢測應用綜述[J].計算機工程與應用，2017，53（13）：34-41.

[3] 劉斌，程方毅，龔德文.圖像自動識別技術在物流自動化中的研究與應用現狀分析[J].機電工程技術，2020，49（10）：104-109.

[4] 鄭遠攀，李廣陽，李曄. 深度學習在圖像識別中的應用研究綜述[J]. 計算機工程與應用，2019（12）：20-36.

[5] Gu J X， Wang Z H， Kuen J， et al. Recent Advances in Convolu? tional Neural Networks[J]. Pattern Recognition， 2018（77）： 354-377.

[6] 焦瀚暉，胡明輝，王星，等.基于特征快速構造與卷積神經網絡的機泵故障識別研究[J].機電工程，2020，37（9）：1063-1068.

[7] 程方毅. 物流自動化標準單元智能分揀系統的研究與實現 [D].廣州：華南理工大學，2020.

[8] Kingma D， Ba J. Adam： A Method for Stochastic Optimization[J/ OL]. https：//arxiv.org/abs/1412.6980， 2017-01-30.

[9] Zhang Q， Zhu S. Visual interpretability for deep learning：a survey [J]. Frontiers of Information Technology & Electronic Engineer? ing， 2018， 19（1）： 27-39.

[10] Zhou B， Khosla A， Lapedriza A， et al. Learning Deep Features for Discriminative Localization[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA， 2016： 2921-2929.

[11] Zeiler M D， Krishnan D. Deconvolutional networks[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2010： 2528-2535.

[12] Zeiler M D， Fergus R. Visualizing and Understanding Convolu? tional Networks[C]//European Conference on Computer Vision. Zurich， Switzerland， 2014： 834-849.

第一作者簡介：劉斌（1969-），男，博士，教授，研究領域為模具CAD/CAE/CAM和材料成型裝備及數控技術，已發表論文230余篇。

（編輯：王智圣）