基于改進(jìn)YOLOv5的口罩佩戴檢測(cè)算法

葉增爐

（銅陵學(xué)院 a.數(shù)學(xué)與計(jì)算機(jī)學(xué)院；b.信息技術(shù)與工程管理研究所，安徽 銅陵 244000）

當(dāng)前疫情防控形勢(shì)嚴(yán)峻復(fù)雜，而防控新冠病毒的最有效手段之一就是戴口罩，口罩不僅可以防止病人噴射飛沫，降低飛沫量和噴射速度，還可以阻擋含病毒的飛沫核，防止佩戴者吸入。為了在公共場(chǎng)所（如商城、機(jī)場(chǎng)、車站、醫(yī)院等）實(shí)現(xiàn)安全防疫和高效監(jiān)管的目標(biāo)，有必要采取智能化的目標(biāo)檢測(cè)技術(shù)對(duì)公共場(chǎng)所口罩佩戴進(jìn)行檢測(cè)。因此研發(fā)一種口罩佩戴檢測(cè)算法具有極為重要的現(xiàn)實(shí)意義。

目前檢測(cè)算法大多基于卷積神經(jīng)網(wǎng)絡(luò)，主要分為兩大類，一類是以R-CNN[1]系列，包括fast RCNN[2]、faster R-CNN[3]、Mask R-CNN[4]等為代表的two-stage檢測(cè)算法，該類算法在特征提取的基礎(chǔ)上，由獨(dú)立的網(wǎng)絡(luò)分支先生成大量的候選區(qū)，再對(duì)其進(jìn)行分類和回歸。另一類是以YOLO系列、SSD[5]系列算法為代表的one-stage檢測(cè)算法，該類算法在生成候選框的同時(shí)進(jìn)行分類和回歸。其中onestage算法檢測(cè)速度最快，但精確度較低；two-stage檢測(cè)算法是以犧牲檢測(cè)速度為代價(jià)，實(shí)現(xiàn)較高的檢測(cè)精度。目標(biāo)檢測(cè)任務(wù)會(huì)根據(jù)應(yīng)用場(chǎng)景的不同而選擇合適的檢測(cè)算法，口罩佩戴檢測(cè)是一個(gè)目標(biāo)檢測(cè)任務(wù)，需要確定每個(gè)目標(biāo)在圖像中的位置和類別，對(duì)檢測(cè)的實(shí)時(shí)性要求較高，改進(jìn)型的YOLOv5算法以目前最優(yōu)的one-stage目標(biāo)檢測(cè)算法YOLOv5為基礎(chǔ)進(jìn)行研究。

針對(duì)口罩佩戴檢測(cè)這一特定問題，目前國(guó)內(nèi)外有許多學(xué)者進(jìn)行了研究。金鑫等[6]將YOLOv4主干網(wǎng)絡(luò)中的CSPDarknet53替換成Mobilenet提高識(shí)別速度，減少模型參數(shù)。郭磊等[7]將注意力機(jī)制引入YOLOv5網(wǎng)絡(luò)進(jìn)行口罩佩戴檢測(cè)，對(duì)口罩佩戴的檢測(cè)準(zhǔn)確率能達(dá)到92%。魏明軍等[8]將SENet引入特征融合過程，并引入CIoU損失作為邊框回歸損失函數(shù)，增加了復(fù)雜環(huán)境下的口罩佩戴檢測(cè)效果和魯棒性。可以看出，口罩佩戴檢測(cè)問題得到了持續(xù)廣泛的研究，然而現(xiàn)有算法在提高口罩小目標(biāo)檢測(cè)精度的同時(shí)都一定程度上犧牲了檢測(cè)速度，其在光線昏暗、人群密集等復(fù)雜條件下，其檢測(cè)精度仍有待提高。

為此，本文提出了一種基于改進(jìn)YOLOv5的口罩佩戴檢測(cè)算法。首先利用圖像增強(qiáng)算法對(duì)圖片進(jìn)行預(yù)處理，將YOLOv5網(wǎng)絡(luò)中的SPP模塊替換成SPPF結(jié)構(gòu)，同時(shí)減少網(wǎng)絡(luò)中C3模塊的重復(fù)次數(shù)，從而提高識(shí)別速度，減少模型參數(shù)；其次，使用K-means++聚類算法對(duì)Anchor box進(jìn)行優(yōu)化，使其更適合對(duì)自定義數(shù)據(jù)集上小目標(biāo)的框定，能夠提升網(wǎng)絡(luò)的檢測(cè)精度；最后，對(duì)YOLOv5網(wǎng)絡(luò)的損失函數(shù)進(jìn)行相應(yīng)的改進(jìn)，采用交叉熵?fù)p失函數(shù)能使得網(wǎng)絡(luò)中的參數(shù)更新加快，讓模型更快地達(dá)到收斂狀態(tài)。

1 相關(guān)工作

1.1 YOLOv5網(wǎng)絡(luò)

YOLO系列是一個(gè)基于端到端的目標(biāo)識(shí)別定位的一系列算法，通過一個(gè)CNN網(wǎng)絡(luò)就可以輸出物體的類別以及物體的位置。其特點(diǎn)是運(yùn)行速度快，且檢測(cè)精度好，適用于實(shí)時(shí)檢測(cè)系統(tǒng)。YOLOv1[9]網(wǎng)絡(luò)借鑒了GoogLeNet分類網(wǎng)絡(luò)結(jié)構(gòu)，將目標(biāo)檢測(cè)問題看作空間上的多個(gè)邊界框和與邊界框?qū)?yīng)類別概率的回歸問題。隨后，YOLOv2[10]引入了faster R-CNN中anchor box的思想，采樣k-means在訓(xùn)練集標(biāo)注的bbox上進(jìn)行聚類產(chǎn)生合適的先驗(yàn)框，使得模型的表示能力更強(qiáng)，任務(wù)更容易學(xué)習(xí)。并對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)進(jìn)行了改進(jìn)，提出了一種新的高分辨率圖像微調(diào)分類模型Darknet-19，在識(shí)別種類、精度、速度和定位準(zhǔn)確性等方面都有很大提升。YOLOv3[11]使用Darknet53網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)完成對(duì)圖像的特征提取，并借鑒了特征金字塔的思想，利用不同尺度的特征圖來進(jìn)行對(duì)象檢測(cè)，加速了目標(biāo)檢測(cè)在工業(yè)界的落地。YOLOv4[12]結(jié)合了近幾年最新研究技術(shù)設(shè)計(jì)了一種強(qiáng)大而高效的目標(biāo)檢測(cè)模型，實(shí)現(xiàn)了速度和精度的完美平衡，提出了backbone、neck、head的目標(biāo)檢測(cè)通用框架套路。YOLOv5與YOLOv4相比，結(jié)構(gòu)更加小巧，配置更加靈活，圖像推理速度更快，能夠更好地滿足視頻圖像實(shí)時(shí)性檢測(cè)的需求。

YOLOv5算法是目前one-stage檢測(cè)YOLO算法中最先進(jìn)的檢測(cè)算法，是在YOLOv3和YOLOv4算法的基礎(chǔ)上進(jìn)行算法集成創(chuàng)新，提高了檢測(cè)速度。

首先采用Mosaic數(shù)據(jù)增強(qiáng)的方式將輸入圖片隨機(jī)縮放、裁剪、排布后進(jìn)行拼接，再將拼接后圖像送入Backbone網(wǎng)絡(luò)的Focus模塊進(jìn)行特征提取。Mosaic數(shù)據(jù)增強(qiáng)對(duì)小目標(biāo)檢測(cè)效果較好，適用于本文的檢測(cè)模型。

Focus模塊將原始圖像數(shù)據(jù)切分為4份數(shù)據(jù)，接著在通道維度上進(jìn)行拼接，最后進(jìn)行卷積操作。以yolov5s為例，原始的640×640×3的圖像輸入Focus結(jié)構(gòu)，采用切片操作，先變成320×320×12的特征圖，再經(jīng)過一次卷積操作，最終變成320×320×32的特征圖。這一過程將圖片長(zhǎng)、寬維度上的信息集中到了通道維度，沒有造成信息的丟失，但Focus模塊減少了卷積的成本。YOLOv5中使用了SPP（spatial pyramid pooling）模塊、FPN（feature pyramid network）模塊、PAN（path aggregation network）模塊完成信息的傳遞融合。Head輸出層主要利用之前提取的特征做出預(yù)測(cè)。圖1為YOLOv5算法的網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖1 YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)

1.2 C3模塊

Backbone的C3對(duì)網(wǎng)絡(luò)進(jìn)行局部跨層融合，SPP模塊極大地增加了感受野，head部分同樣采用多尺度輸出。因?yàn)檫@些特點(diǎn)，在小目標(biāo)檢測(cè)任務(wù)上，YOLOv5在檢測(cè)速度和精度上都能取得很不錯(cuò)的效果。

在新版yolov5中，作者將BottleneckCSP（瓶頸層）模塊轉(zhuǎn)變?yōu)榱薈3模塊，其結(jié)構(gòu)作用基本相同，均為CSP架構(gòu)，只是在修正單元的選擇上有所不同，其包含了3個(gè)標(biāo)準(zhǔn)卷積層以及多個(gè)Bottleneck模塊（數(shù)量由配置文件.yaml的n和depth_multiple參數(shù)乘積決定）。

C3相對(duì)于BottleneckCSP模塊不同的是，經(jīng)歷殘差輸出后去掉了Conv模塊，concat后的標(biāo)準(zhǔn)卷積模塊中的激活函數(shù)也由LeakyRelu變?yōu)榱薙iLU。

該模塊是對(duì)殘差特征進(jìn)行學(xué)習(xí)的主要模塊，其結(jié)構(gòu)分為兩支，一支使用了上述指定多個(gè)Bottleneck堆疊和3個(gè)標(biāo)準(zhǔn)卷積層，另一支僅經(jīng)過一個(gè)基本卷積模塊，最后將兩支進(jìn)行concat操作。圖1的YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)C3模塊如圖2所示。

圖2 C3模塊構(gòu)成

1.3 SPP模塊

SPP結(jié)構(gòu)又被稱為空間金字塔池化，能將任意大小的特征圖轉(zhuǎn)換成固定大小的特征向量。SPP先通過一個(gè)標(biāo)準(zhǔn)卷積模塊將輸入通道減半，再分別采用13x13，9x9，5x5的卷積核進(jìn)行最大池化操作（對(duì)于不同的核大小，padding是自適應(yīng)的），接著再將SPP的輸入經(jīng)過1x1的卷積核后的輸出與經(jīng)過三次不同大小卷積核最大池化之后的輸出進(jìn)行concat，實(shí)現(xiàn)信息融合，得到了極大增加感受野的效果。

而在YOLOv5中SPP的結(jié)構(gòu)如圖3所示：

2 改進(jìn)后的網(wǎng)絡(luò)模型

對(duì)YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，將Focus模塊用一個(gè)conv卷積替代主要是為了方便模型導(dǎo)出使用SPPF代替SPP層，減少了C3模塊的重復(fù)次數(shù)，并對(duì)部分模塊重新排列。改進(jìn)的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 改進(jìn)的YLOv5網(wǎng)絡(luò)結(jié)構(gòu)

2.1 SPPF結(jié)構(gòu)

SPPF（Spatial Pyramid Pooling–Fast縮寫），使用3個(gè)相同的5×5卷積核進(jìn)行最大池化操作，第二個(gè)最大池化操作是在第一個(gè)池化操作基礎(chǔ)之上，代替SPP結(jié)構(gòu)中的卷積核為9×9最大池化操作，第三個(gè)在第二個(gè)基礎(chǔ)之上，替代SPP結(jié)構(gòu)中的卷積核為13×13最大池化操作。這種結(jié)構(gòu)保證了準(zhǔn)確度相似的情況下，減少計(jì)算量，并提高檢測(cè)速度。SPPF結(jié)構(gòu)如圖5所示。

圖5 SPPF結(jié)構(gòu)

2.2 Anchor box優(yōu)化

YOLOv5網(wǎng)絡(luò)模型在識(shí)別過程中引入候選區(qū)域框（Anchor box），候選區(qū)域框?yàn)榫哂泄潭ù笮『透邔挶鹊某跏紖^(qū)域。在模型訓(xùn)練過程中，若候選區(qū)域框大小靠近事實(shí)邊緣界，則模型會(huì)更方便訓(xùn)練，預(yù)測(cè)的邊框界會(huì)更接近事實(shí)邊緣界。在初始狀態(tài)下，候選區(qū)域框大小的設(shè)置將會(huì)決定目標(biāo)識(shí)別的速度和準(zhǔn)度。本文采用K-means++算法對(duì)口罩?jǐn)?shù)據(jù)集目標(biāo)的Anchor box進(jìn)行聚類分析得到9個(gè)新的Anchor box。與原有的YOLO_anchor相結(jié)合，以mAP作為聚類的評(píng)價(jià)標(biāo)準(zhǔn)，得出適合本數(shù)據(jù)的Anchor box，其寬和高分別是（401，459）、（192，243）、（135，172）、（72，146）、（55，76）、（36，75）、（40，28）、（19，36）、（12，16）。使用此Anchor box最終得mAP結(jié)果比使用原有的YOLO_anchor高出0.7%。

2.3 損失函數(shù)

在目標(biāo)檢測(cè)中，損失函數(shù)通常由矩形框損失（lossrect）、置信度損失（lossobj）、分類損失（lossclc）三個(gè)部分組成。常見的計(jì)算矩形框損失函數(shù)有 GIOU Loss[13]、DIOULoss[14]和 CIOU Loss[15]，經(jīng)過對(duì)比實(shí)驗(yàn)，本文使用CIOU Loss來計(jì)算目標(biāo)框的定位損失，如式（1）所示。

上式中，預(yù)測(cè)的矩形框?yàn)椋▁p，yp，wp，hp），對(duì)應(yīng)的目標(biāo)矩形框?yàn)椋▁l，yl，wl，hl），IOU是預(yù)測(cè)框與目標(biāo)矩形框的重疊面積。ρ為預(yù)測(cè)框和目標(biāo)框的中心點(diǎn)距離，c為預(yù)測(cè)框和目標(biāo)框的最小包圍矩形的對(duì)角線長(zhǎng)度，v為預(yù)測(cè)框與目標(biāo)框的寬高比相似度，α為v的影響因子。可以看出CIOU Loss不僅考慮了預(yù)測(cè)框與目標(biāo)框的重疊面積，還兼顧了兩者中心點(diǎn)之間的距離和兩者的長(zhǎng)寬比，因此在口罩佩戴檢測(cè)實(shí)例中，比其他兩種定位損失更好。

針對(duì)置信度損失和分類損失，實(shí)驗(yàn)中采用交叉熵?fù)p失（BCE loss）函數(shù)進(jìn)行計(jì)算。

改進(jìn)的yolov5算法用Kmeans++聚類算法獲取九個(gè)anchor框，將輸入圖像劃分成N×N（通常為80×80、40×40、20×20）的網(wǎng)格，yolov5對(duì)每個(gè)格子預(yù)測(cè)3個(gè)不同位置和大小的矩形框。根據(jù)標(biāo)簽信息和一定規(guī)則判斷每個(gè)預(yù)測(cè)框內(nèi)是否存在目標(biāo)，如果存在則將mask矩陣中對(duì)應(yīng)位置的值設(shè)置為true，否則設(shè)置為false。實(shí)驗(yàn)中對(duì)mask為true的位置不直接賦1，而是計(jì)算對(duì)應(yīng)預(yù)測(cè)框與目標(biāo)框的CIOU，使用CIOU作為該預(yù)測(cè)框的置信度標(biāo)簽。

假設(shè)置信度標(biāo)簽為矩陣LCIOU，預(yù)測(cè)置信度為矩陣P，那么矩陣中每個(gè)數(shù)值的BCE loss的計(jì)算公式如下：

則置信度損失定義如下：

在計(jì)算分類損失中，為了減少過擬合，且增加訓(xùn)練的穩(wěn)定性，通常對(duì)獨(dú)熱碼標(biāo)簽做一個(gè)平滑操作。如下式，label為獨(dú)熱碼中的所有數(shù)值，β為平滑系數(shù)，取值范圍0～1，通常取0.1。

假設(shè)置標(biāo)簽概率為矩陣Lsmooth，預(yù)測(cè)概率為矩陣P，那么矩陣中每個(gè)數(shù)值的BCE loss的計(jì)算公式如下：

則分類損失函數(shù)值的計(jì)算公式：

總體損失為三個(gè)損失的加權(quán)和，如式（9）所示。

通常置信度損失取最大權(quán)重，矩形框損失和分類損失的權(quán)重次之，比如：a=0.4；b=0.3；c=0.3。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境介紹

目前開源的口罩佩戴檢測(cè)數(shù)據(jù)集較少，實(shí)驗(yàn)數(shù)據(jù)集一部分來源Mask Wearing Dataset及RMFD數(shù)據(jù)集，另一部分來源于攝像頭拍攝和網(wǎng)絡(luò)爬取搜集，并進(jìn)行標(biāo)注。實(shí)驗(yàn)自制數(shù)據(jù)集共包含4200張含遮擋、密集及昏暗場(chǎng)所等場(chǎng)景的圖片。

使用圖像增強(qiáng)技術(shù)，彌補(bǔ)數(shù)據(jù)量的不足。對(duì)原始圖片進(jìn)行圖像平移、翻轉(zhuǎn)、旋轉(zhuǎn)、縮放，分離3個(gè)顏色通道并添加隨機(jī)噪聲，并引入了Mosaic，and Self-Adversarial Training（SAT）圖像增強(qiáng)方法。

實(shí)驗(yàn)采用深度學(xué)習(xí)框架PyTorch訓(xùn)練模型，操作系統(tǒng)Windows 10專業(yè)版，編程工具：pycharm。硬件環(huán)境如下：Intel Xeon E5-2630處理器、Nvidia GeForce RTX 1080Ti、32GB RAM。

3.2 模型評(píng)估指標(biāo)

在目標(biāo)檢測(cè)算法測(cè)試中，常用的性能指標(biāo)有平均精度均值（mAP）、召回率（recall）、精度（precision），如式（10）。mAP即所有類別的平均精度求和除以數(shù)據(jù)集中所有類的平均精度，是目標(biāo)檢測(cè)中衡量檢測(cè)精度的重要指標(biāo)，召回率表示預(yù)測(cè)樣本中實(shí)際正樣本數(shù)與預(yù)測(cè)的樣本數(shù)的比值，精確率表示預(yù)測(cè)結(jié)果中預(yù)測(cè)為正的樣本中有多少是真正的正樣本的比率。在本次實(shí)驗(yàn)中，TP、FP和FN分別表示正確檢測(cè)框、誤檢框和漏檢框的數(shù)量，其中APi反映了單一類別的檢測(cè)效果。

對(duì)所有的訓(xùn)練集和測(cè)試集都進(jìn)行相同的預(yù)處理，對(duì)所有的圖片進(jìn)行放縮，并重新打了標(biāo)簽。

網(wǎng)絡(luò)模型訓(xùn)練階段，初始學(xué)習(xí)率設(shè)置為0.001，權(quán)重衰減設(shè)置為0.005，迭代批量大小設(shè)置為16，迭代次數(shù)設(shè)置為300次，并使用Adam優(yōu)化器計(jì)算每個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率。模型訓(xùn)練過程如圖6所示，從圖中可以看出大約在200次迭代后，模型開始逐漸收斂。

圖6 模型訓(xùn)練過程

3.3 實(shí)驗(yàn)結(jié)果對(duì)比

實(shí)驗(yàn)采用SDD、Faster R-CNN、YOLOv5和改進(jìn)型YOLOv5這四種模型對(duì)有無佩戴口罩的檢測(cè)精度、召回率、推理時(shí)間三個(gè)指標(biāo)進(jìn)行比較。其中Faster R-CNN為二階目標(biāo)檢測(cè)算法，F(xiàn)aster RCNN、YOLOv5和改進(jìn)型YOLOv5為一階目標(biāo)檢測(cè)算法。對(duì)比結(jié)果見表1。

表1 不同模型檢測(cè)結(jié)果比較

從表1可以看出，YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)在檢測(cè)時(shí)間上都要優(yōu)于其余兩種網(wǎng)絡(luò)。二階目標(biāo)檢測(cè)算法Faster R-CNN召回率優(yōu)于一階目標(biāo)檢測(cè)網(wǎng)絡(luò)，但推理時(shí)間過長(zhǎng)，不適用于實(shí)時(shí)檢測(cè)。改進(jìn)型YOLOv5的其它各項(xiàng)數(shù)值指標(biāo)都要優(yōu)于另三種目標(biāo)檢測(cè)網(wǎng)絡(luò)，提高了對(duì)頭部區(qū)域和口罩的檢測(cè)精度。圖7為遮擋、密集和小尺度等復(fù)雜場(chǎng)景的檢測(cè)結(jié)果，可以看出，本文方法不僅成功地檢測(cè)出口罩佩戴的狀態(tài)，并且對(duì)應(yīng)的置信度挺高，具有較強(qiáng)的魯棒性和擴(kuò)展性，基本能夠達(dá)到視頻圖像實(shí)時(shí)性的要求。

圖7 遮擋、密集和小尺度等復(fù)雜場(chǎng)景的檢測(cè)結(jié)果

4 結(jié)語(yǔ)

為了提升目標(biāo)檢測(cè)的可靠性和檢測(cè)速度，將SPPF結(jié)構(gòu)引入YOLOv5模型，使用自定義的數(shù)據(jù)集，采用K-means++聚類對(duì)目標(biāo)樣本進(jìn)行錨定框大小的優(yōu)化，并對(duì)損失函數(shù)做了優(yōu)化，提出了一種改進(jìn)YOLOv5的口罩佩戴檢測(cè)技術(shù)。實(shí)驗(yàn)結(jié)果表明，本文算法在保證檢測(cè)速度的同時(shí)，能夠得到更高的檢測(cè)精度，且可有效降低口罩目標(biāo)誤檢率。