基于改進(jìn)YOLOv5s的藥盒鋼印日期識別方法

黃楊樂天，劉宜勝，王俊茹

基于改進(jìn)YOLOv5s的藥盒鋼印日期識別方法

黃楊樂天，劉宜勝，王俊茹*

（浙江理工大學(xué) 機(jī)械工程學(xué)院，杭州 310018）

藥盒的鋼印日期與背景對比度低，字符輪廓不明顯，識別易受環(huán)境光線干擾，對此提出一種基于機(jī)器視覺的識別方法。使用改進(jìn)YOLOv5s模型，首先對采集的藥盒數(shù)據(jù)集進(jìn)行透視變換校正，并進(jìn)行數(shù)據(jù)增強(qiáng)。通過在模型的骨干網(wǎng)絡(luò)中融合位置注意力機(jī)制（CA），減少冗余信息的干擾；頸部網(wǎng)絡(luò)根據(jù)加權(quán)雙向特征金字塔網(wǎng)絡(luò)（BiFPN）引入權(quán)重，更好地平衡不同尺寸圖層的特征信息；引入動態(tài)聚焦損失函數(shù)（WIoU），降低高質(zhì)量樣本對訓(xùn)練的干預(yù)，提高模型的泛化能力。在自建鋼印字符數(shù)據(jù)集上的實驗結(jié)果表明，改進(jìn)網(wǎng)絡(luò)對藥盒鋼印日期識別的平均精度值達(dá)到了99.41%，比原始模型提升了2.38%，幀率為80.01幀/s。改進(jìn)后的YOLOv5模型對藥盒鋼印日期的檢測精度優(yōu)于原有網(wǎng)絡(luò)，對可以滿足藥盒生產(chǎn)線的實時性要求。

鋼印日期；透視變換；目標(biāo)檢測；加權(quán)特征圖；注意力機(jī)制

生產(chǎn)日期是藥盒上的重要信息，很多廠家選擇使用鋼印字符。因為相較于噴墨、印刷等方式，鋼印的過程相對簡單，不易受物理磨損，不會隨時間而脫落。起初，廠家雇傭勞動力來檢測產(chǎn)品日期。這種檢測方式不僅速度較慢，而且易導(dǎo)致視覺疲勞，漏檢、錯檢率較高。隨著科技進(jìn)步，人們利用傳統(tǒng)的圖像處理來識別字符。比較常用的有：OCR光學(xué)字符識別；基于文字特征提取，對字符特征進(jìn)行識別；利用建立好的字符庫進(jìn)行模板匹配。而鋼印字符由藥盒表面施壓生成，這種字符和背景顏色相近，輪廓并不明顯[1]。此外，藥盒鋼印字符的樣式和尺寸不統(tǒng)一，模板匹配的泛用性較差，故傳統(tǒng)方法的效果并不理想。

近年來，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)在識別領(lǐng)域得到了廣泛應(yīng)用，大致分為2種：以R-CNN[2-4]系列為代表，首先從圖像中提取候選區(qū)域，再對候選區(qū)域進(jìn)行分類和回歸的兩階段目標(biāo)檢測算法；以YOLO（You Only Look Once）[5]系列和SSD[6]等為代表，將整個圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，提取圖像特征進(jìn)行回歸和預(yù)測的單階段目標(biāo)檢測算法。相比雙階段算法，單階段算法相對犧牲了一些精度，但提升了識別速度，更好地滿足生產(chǎn)線的實時性要求。YOLOv5是兼顧精度和速度的模型，非常適合部署在工廠設(shè)備上[7]。Santoso等[8]提出基于YOLO的Kawi銅質(zhì)銘文識別方法；宮鵬涵[1]提出一種基于YOLOv5的槍械鋼印字符識別方法；Zhang等[9]針對鑄造壓印字符使用YOLOv5進(jìn)行識別。綜上所述，本文提出一種基于改進(jìn)YOLOv5s的藥盒鋼印日期識別方法，主要改進(jìn)為：在骨干網(wǎng)絡(luò)中融合位置注意力機(jī)制（CA），以減少背景信息的干擾；引入雙向特征金字塔結(jié)構(gòu)（BiFPN），更好地融合多尺度特征和上下文信息；采用動態(tài)聚焦損失函數(shù)（WIoU）提高模型對不平衡樣本的學(xué)習(xí)能力。

1 檢測模型

1.1 模型結(jié)構(gòu)

該模型由骨干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）、頭部網(wǎng)絡(luò)（Head）3個部分組成。Backbone網(wǎng)絡(luò)用于提取特征，使用連續(xù)的卷積模塊來提取各類尺寸的特征圖，以保留相應(yīng)的特征信息。Neck網(wǎng)絡(luò)進(jìn)一步提取特征，使大尺度的語義信息和小尺度的細(xì)節(jié)信息可以更好的融合，增強(qiáng)多尺度的目標(biāo)定位能力。Head網(wǎng)絡(luò)有3個檢測頭，用于目標(biāo)的預(yù)測和回歸。圖1為改進(jìn)YOLOv5s模型結(jié)構(gòu)。

圖1 改進(jìn)YOLOv5s模型結(jié)構(gòu)

1.2 改進(jìn)模型

1.2.1 骨干網(wǎng)絡(luò)改進(jìn)

注意力機(jī)制可以使有限的計算資源更加集中地應(yīng)用于關(guān)鍵的識別區(qū)域。常用的注意力機(jī)制有SE[10]、ECA[11]、CBAM[12]和CA[13]等。前兩者屬于通道注意力機(jī)制，CBAM模塊在此基礎(chǔ)后加入了空間注意力機(jī)制，以使模型更關(guān)注重要區(qū)域。CA模塊將位置信息嵌入通道注意力機(jī)制中，以更高效地獲取2種信息，而不增加過多計算量。如圖2所示，CA模塊先將輸入特征圖（××）從寬度和高度2個方向使用池化核（，1）和（1，）進(jìn)行全局平均池化，分別獲得其特征圖。再分別沿2個空間方向聚合特征，這使得注意力機(jī)制保留位置信息的同時捕獲通道信息，有助于模型更精確地定位感興趣的像素區(qū)域。

1.2.2 特征金字塔改進(jìn)

BiFPN[14]旨在提高模型的感受野和特征表征能力，能夠有效地提高模型的性能和效率。如圖3所示，相較于左側(cè)的FPN結(jié)構(gòu)，BiFPN刪除了只有一條輸入的節(jié)點(diǎn)（P3、P6）。這樣的節(jié)點(diǎn)并沒有很好地融合不同的特征信息，反而會增加模型參數(shù)量。同時，BiFPN在同一層的輸入和輸出之間添加了額外的融合通路（虛線箭頭通路），以較小的計算成本進(jìn)一步增強(qiáng)特征融合能力。此外，原有融合方式只是簡單地將特征圖疊加在一起。然而，不同輸入特征具有不同的分辨率和貢獻(xiàn)度，簡單的加和并不是最佳選擇。BiFPN提出了一種簡單高效的加權(quán)特征融合機(jī)制，能夠快速對融合后的特征進(jìn)行歸一化處理，從而減少模型計算量。因此，將網(wǎng)絡(luò)的第6層和第19層連接。融合計算見式（1）。

式中：w為一個可學(xué)習(xí)權(quán)重，通過ReLU激活函數(shù)來保證每一個w≥0；為一個避免數(shù)值不穩(wěn)定的系數(shù)，其值為0.000 1。

1.2.3 損失函數(shù)改進(jìn)

損失函數(shù)用于衡量預(yù)測值與實際值之間差異的函數(shù)。在目標(biāo)檢測領(lǐng)域經(jīng)常使用IoU損失函數(shù)。其計算式見式（2）。

式中：IIoU為預(yù)測邊界框與真實邊界框之間的交集與并集之比。

為了防止損失函數(shù)梯度過小，影響模型的學(xué)習(xí)，研究者提出許多改進(jìn)IoU計算方法[15-18]。如圖4所示，由于生產(chǎn)日期的性質(zhì)，樣本不平衡無法避免。而且數(shù)據(jù)集難免包含低質(zhì)量樣本，導(dǎo)致其對數(shù)量較少的類別影響更大，降低模型的泛化能力。故引入WIoU損失函數(shù)，以不同的關(guān)注程度對待高質(zhì)量樣本和中低質(zhì)量樣本。當(dāng)預(yù)測框和真實框相匹配時，WIoU可以降低此類高質(zhì)量樣本對模型訓(xùn)練的干預(yù)，并且在防止低質(zhì)量樣本產(chǎn)生有害梯度的前提下更加關(guān)注于中低質(zhì)量樣本，提高模型泛化能力。WIoU計算式見式（3）。

式中：gt和gt為真實框坐標(biāo)；g和g分別為最小包圍框的寬和高。

圖4 數(shù)據(jù)集樣本數(shù)量分布

2 實驗與結(jié)果分析

2.1 實驗準(zhǔn)備

2.1.1 數(shù)據(jù)集建立

本實驗數(shù)據(jù)集為志愿者在不同條件下采集的圖像。如圖5所示，包括國內(nèi)外不同種類的藥盒，其字符形狀、尺寸、分布密集程度各有差異，以提高模型的泛用性。

2.1.2 透視變換

相機(jī)采集藥盒時可能會出現(xiàn)傾斜現(xiàn)象，而且會包含無效的背景信息，故利用透視變換對其進(jìn)行校正。如圖6所示，不僅使目標(biāo)區(qū)域處于水平狀態(tài)，且四周的背景被去除，利于模型關(guān)注目標(biāo)區(qū)域處理更少的像素。透視變換公式為：

原始圖像像素點(diǎn)的齊次坐標(biāo)（，，）對應(yīng)變換之后的歸一化齊次坐標(biāo)（，，）。矩陣為透視變換矩陣。1為線性變換，如放縮、旋轉(zhuǎn)，2為平移操作，3產(chǎn)生透視變換。

2.1.3 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)集以8∶1∶1的比例劃分為訓(xùn)練集、測試集、驗證集，供訓(xùn)練網(wǎng)絡(luò)模型使用。為了增加訓(xùn)練樣本并提高網(wǎng)絡(luò)模型的泛化能力，對訓(xùn)練集進(jìn)行擴(kuò)充。采用圖像模糊、加噪、縮放、翻轉(zhuǎn)、剪裁和調(diào)整亮度等處理方式隨機(jī)組合，得到最終數(shù)據(jù)集圖像共1 620張。

圖5 不同采集條件的圖像

圖6 透視變換結(jié)果對比

2.2 實驗環(huán)境

實驗平臺操作系統(tǒng)為Windows10，顯卡為NVIDIA GeForce RTX3090，24 G顯存，使用PyTorch深度學(xué)習(xí)框架，版本為1.12.1，CUDA版本為11.3，編譯語言為Python3.9.15；圖片輸入尺寸為640×640；批量大小設(shè)為16，迭代次數(shù)設(shè)為100輪，學(xué)習(xí)率設(shè)為0.001。

2.3 評價指標(biāo)

為衡量識別藥盒鋼印字符的效果以及模型性能，選取神經(jīng)網(wǎng)絡(luò)性能評估指標(biāo)：精確率（Precision，）、召回率（Recall，）、平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，AP）、每秒浮點(diǎn)運(yùn)算次數(shù)（Flops）、平均幀率（Frame Per Second，F(xiàn)PS）和參數(shù)量。相關(guān)計算公式如下：

式中：P為被模型預(yù)測為正類的正樣本；P為被模型預(yù)測為正類的負(fù)樣本；N為被模型預(yù)測為負(fù)類的正樣本；P為PR曲線所圍成的面積；AP為所有類別的P的平均值。本實驗AP指標(biāo)選用AP_0.5，即閾值為0.5。

2.4 結(jié)果對比

2.4.1 骨干網(wǎng)絡(luò)對比

為評估注意力機(jī)制的效果，對特征圖進(jìn)行熱力圖可視化，并對比了不同的插入位置，結(jié)果分別如圖7和表1所示。紅色表示模型的關(guān)注程度高，可以看出原模型在識別字符2時，同時也關(guān)注了右上角的背景信息。相比之下，添加CA的模型，集中于目標(biāo)區(qū)域，且在字符識別方面的表現(xiàn)更加優(yōu)秀，置信度更高。這表明注意力機(jī)制對提高模型性能具有顯著的效果。此外，相比直接插入，融合跨階段模塊（C3CA）的參數(shù)量更小且AP值更高。說明添加過多的注意力機(jī)制可能使圖像中的目標(biāo)信息被當(dāng)成了背景信息，導(dǎo)致模型的精度下降。

圖7 模型熱力圖可視化

表1 CA插入位置的結(jié)果對比

Tab.1 Comparison results of CA in different layers

2.4.2 損失函數(shù)對比

各類損失函數(shù)在不同應(yīng)用場合的性能不同，需要根據(jù)任務(wù)的要求具體情況具體分析，故在本鋼印字符檢測任務(wù)中進(jìn)行了對比，總損失越小，代表預(yù)測值與期望值更接近，結(jié)果如圖8所示。可以看出，WIoU損失函數(shù)在本實驗數(shù)據(jù)集上取得較好的效果，損失收斂速度快且總損失較小，GIoU的效果相對最差。

圖8 不同損失函數(shù)對比

2.4.3 識別結(jié)果

圖9和表2為原網(wǎng)絡(luò)和改進(jìn)網(wǎng)絡(luò)的部分識別結(jié)果對比。無論對于正常或曝光、弱光圖像，還是改進(jìn)后的漏檢、誤檢現(xiàn)象明顯少于原網(wǎng)絡(luò)，尤其是改進(jìn)后的模型對幾何特征相似的字符6和9的檢測效果更好。證明改進(jìn)網(wǎng)絡(luò)對目標(biāo)的特征提取能力更高，檢測效果更好。

圖9 識別結(jié)果對比

表2 改進(jìn)前后對字符6和9的檢測結(jié)果對比

Tab.2 Comparison of detection results for characters 6 and 9 after improvement

2.4.4 消融實驗

為了驗證各種改進(jìn)模塊對模型性能的有效性，進(jìn)行了消融實驗，結(jié)果見表3。根據(jù)模型A、B、C的表現(xiàn)，可以發(fā)現(xiàn)，雖然C3CA和BiFPN模塊增加了模型的參數(shù)量，但對幀率的影響不大，而WIoU模塊對參數(shù)量沒有影響。3個模塊單獨(dú)應(yīng)用都能提升檢測效果，其中BiFPN模塊的效果最為顯著，提升了1.08%。由模型D、F、G可以發(fā)現(xiàn)組合不同的模塊能夠進(jìn)一步提升模型性能，AP提升分別為2.03%、1.79%、1.34%。當(dāng)3種模塊共同作用時，模型的識別效果最佳，AP提升了2.38 %，具有更好的性能。

2.4.5 模型對比

為進(jìn)一步驗證本文改進(jìn)模型的性能，通過參數(shù)量、AP和GFLOPs這3個指標(biāo)與常用的檢測模型進(jìn)行對比，對比結(jié)果見圖10。結(jié)果顯示，改進(jìn)的YOLOv5相較于SSD、Faster R-CNN、YOLOv3和YOLOv4算法，在AP方面分別提高了13.92%、3.99%、10.44%、9.05%。同時，改進(jìn)算法擁有更小的參數(shù)量，適用于資源有限的部署條件。與FasterNet等參數(shù)量基本持平的算法相比，改進(jìn)的YOLOv5精度最高，達(dá)到了99.41%。此外，雖然RT-DETR[19]的AP值相對接近，但其GFLOPs值高達(dá)105，表明無法在較低的計算資源下實時運(yùn)行。因此，改進(jìn)YOLOv5s在高精度檢測和高效率計算之間取得了良好的平衡，非常適用于對性能和效率要求都較高的應(yīng)用場景。因此，改進(jìn)的YOLOv5能夠滿足工業(yè)鋼印字符檢測的要求。

表3 消融實驗結(jié)果

Tab.3 Results of ablation experiment

注：√表示本次實驗使用了該改進(jìn)模塊。

圖10 各類模型性能對比

3 結(jié)語

本文針對藥盒鋼印字符識別任務(wù)中的多種復(fù)雜情況，如目標(biāo)與背景對比度低、目標(biāo)圖像模糊和光線方向等情況，提出了一種基于改進(jìn)YOLOv5的藥盒鋼印字符識別方法。首先對采集的圖像進(jìn)行透視變換，圖像增強(qiáng)等預(yù)處理，通過在骨干網(wǎng)絡(luò)中添加CA注意力機(jī)制，使其更集中關(guān)注識別對象的位置信息；頸部網(wǎng)絡(luò)采用了BiFPN的結(jié)構(gòu)，更好地融合不同尺度的特征信息；使用WIoU損失函數(shù)，注重中低質(zhì)量樣本的貢獻(xiàn)，減少樣本不平衡帶來的影響。實驗結(jié)果表明，本文提出的模型相較于常用的目標(biāo)檢測模型在參數(shù)量方面均有下降，與YOLOv5s模型基本持平，而在精度方面有顯著提升，AP達(dá)到了99.41%。改進(jìn)后的模型具有良好的泛用性，可以滿足藥盒生產(chǎn)流水線的實時精度要求，并可為其他鋼印字符識別任務(wù)提供參考。

[1] 宮鵬涵. 基于YOLOv5算法的鋼印字符識別方法[J]. 兵器裝備工程學(xué)報, 2022, 43(8): 101-105.

GONG P H. Character Recognition Research of Steel Embossing Based on YOLOv5[J]. Journal of Ordnance Equipment Engineering, 2022, 43(8): 101-105.

[2] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]// Conference on Computer Vision and Pattern Recognition (CVPR). Washington: IEEE, 2014: 580-587.

[3] GIRSHICK R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision (ICCV). Santiago: IEEE, 2015: 1440-1448.

[4] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[5] REDMON J, DIVVALA S, GIRSHICK R, et al. You only Look Once: Unified, Real-Time Object Detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 779-788.

[6] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot MultiBox Detector [C]// European Conference on Computer Vision (ECCV). Amsterdam: Springer, 2016: 21-37.

[7] JI Z, WU Y, ZENG X, et al. Lung Nodule Detection in Medical Images Based on Improved YOLOv5s[J]. IEEE Access, 2023, 11: 76371-76387.

[8] SANTOSO R, SUPRAPTO Y K, YUNIARNO E M. Kawi Character Recognition on Copper Inscription Using YOLO Object Detection[C]// Proceedings of 2020 International Conference on Computer Engineering, Network, and Intelligent Multimedia (CENIM). Surabaya: IEEE, 2020: 343-348.

[9] ZHANG Z, YANG G, WANG C, et al. Recognition of Casting Embossed Convex and Concave Characters Based on YOLO v5 for Different Distribution Conditions[C]// Proceedings of 2021 International Wireless Communications and Mobile Computing (IWCMC). New York: IEEE, 2021: 553-557.

[10] HU J, SHEN L, SUN G. Squeeze-and-Excitation Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 7132-7141.

[11] WANG Q, WU B, ZHU P,ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE/CVF,2020: 11534-11542.

[12] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional Block Attention Module[C]// Proceedings of the European Conference on Computer Vision (ECCV). Munich: Springer, 2018: 3-19.

[13] HOU Q, ZHOU D, FENG J. Coordinate Attention for Efficient Mobile Network Design[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. New York: IEEE/CVF, 2021: 13713-13722.

[14] TAN M, PANG R, LE Q V. Efficientdet: Scalable and Efficient Object Detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE/CVF, 2020: 10781-10790.

[15] ZHENG Z, WANG P, LIU W, et al. Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12993-13000.

[16] HE J, ERFANI S, MA X, et al. Alpha-IOU: A Family of Power Intersection over Union Losses for Bounding Box Regression[J]. Advances in Neural Information Processing Systems, 2021, 34: 20230-20242.

[17] GEVORGYAN Z. SIoU loss: More Powerful Learning for Bounding Box Regression[J/OL]. arXiv preprint, 2022: 1-12. https://arxiv.org/abs/2205.12740.

[18] TONG Z, CHEN Y, XU Z, et al. Wise-IoU: Bounding Box Regression Loss with Dynamic Focusing Mechanism[J/OL]. arXiv preprint, 2023: 1-8. https://arxiv.org/ abs/2301.10051.

[19] LYU W, XU S, ZHAO Y, et al. Detrs Beat Yolos on Real-Time Object Detection[J/OL]. arXiv preprint, 2023: 1-11. https://arxiv.org/abs/2304.08069.

Improved YOLOv5s-based Date Recognition Method for Steel Stamps on Pill Boxes

HUANG Yangletian, LIU Yisheng, WANG Junru*

(School of Mechanical Engineering, Zhejiang Sci-Tech University, Hangzhou 310018, China)

The work aims to propose a machine vision-based recognition method for pill boxes with low contrast between the steel-stamped date and the background, inconspicuous character outlines, and recognition susceptible to interference by ambient light. An improved YOLOv5s model was used to correct the collected pill box dataset by perspective transformation and data enhancement. By fusing the Coordinate Attention (CA) in the backbone network of the model, the interference of redundant information was reduced. The neck network introduced weights according to the Bi-directional Feature Pyramid Network (BiFPN) to better balance the feature information of the layers of different sizes. The Wise-IoU (WIoU) was introduced to reduce the intervention of high-quality samples in the training and to improve the model's generalization ability. The experimental results on the self-constructed steel-stamped character dataset showed that the average accuracy of the improved network for recognizing the steel-stamped date of the pill box reached 99.41 %, which was 2.38 % higher than that of the original model, and the frame rate was 80.01 f/s. The improved YOLOv5 model can detect the steel-stamped date of the pill box with a better accuracy than that of the original network, and it can meet the real-time requirement of the production line of the pill box.

steel-stamped date; perspective transformation; target detection; weighted feature maps; coordinate attention

TP391

A

1001-3563(2024)07-0189-08

10.19554/j.cnki.1001-3563.2024.07.024

2023-07-11

浙江省“尖兵”“領(lǐng)雁”研發(fā)攻關(guān)計劃項目（2023C01158）

通信作者