基于YOLOv5的人臉口罩檢測研究與實現(xiàn)

吳昱昊 王會成 朱云強

摘? 要：文章基于YOLOv5算法，開發(fā)實現(xiàn)了人臉口罩佩戴智能監(jiān)測系統(tǒng)。系統(tǒng)可以實現(xiàn)對目標圖片、目標視頻、實時監(jiān)控畫面的人臉進行是否佩戴口罩的檢測。通過開源數(shù)據(jù)收集、網(wǎng)絡照片采集、人工拍照采集等方式自制得到了不同環(huán)境下人像的數(shù)據(jù)集。使用了PyTorch深度學習框架，使用了PyQt作為界面的開發(fā)框架，系統(tǒng)提供了高精度的實時口罩檢測功能，具有較好的應用前景。

關(guān)鍵詞：YOLOv5；CNN；口罩檢測；深度學習

中圖分類號：TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）04-0098-03

Research and Implementation of Face Mask-Wearing Detection Based on YOLOv5

WU Yuhao1， WANG Huicheng2， ZHU Yunqiang2

（1.Jiaxing Vocational & Technical College， Jiaxing? 314036， China; 2.Xinfengming Group Co.， Ltd.， Jiaxing? 314513， China））

Abstract： Based on YOLOv5 algorithm， this paper develops and achieves an intelligent detection system of face mask-wearing. The system can detect faces of mask-wearing in target pictures， videos and real-time monitoring screen. Through the collection of open-source data， python crawler， manual photo and other methods， the data sets of portraits in different environments are obtained. The deep learning framework of PyTorch is used， and PyQt is used as the development framework of the interface. The system provides high precision real-time mask-wearing detection function， and has a better application prospect.

Keywords： YOLOv5; CNN;mask-wearing detection; deep learning

0? 引? 言

疫情防控期間，口罩佩戴成為進出公共場所的必要條件。借助目標檢測技術(shù)檢測人員口罩佩戴情況，能夠提高場所出入口的管理工作效率，有效地控制病毒傳播。

目標檢測技術(shù)是指對圖像中的特定目標進行識別和定位的技術(shù)。目前，目標檢測技術(shù)的特征選取技術(shù)從傳統(tǒng)的手工設計逐漸發(fā)展到了使用深度學習提取的方法。以深度學習技術(shù)為核心的目標檢測技術(shù)，其檢測效率隨著方法的更新也不斷得到了提升。卷積神經(jīng)網(wǎng)絡（Convolution Neural Network， CNN）在深度學習中被廣泛應用，一般在目標檢測算法中扮演特征提取器的角色，多用于圖像特征提取、圖像分類。YOLO（You Only Look Once）算法由R. Joseph等于2015年首次提出，采用深層卷積神經(jīng)網(wǎng)絡，在位置檢測和對象的識別方面性能表現(xiàn)突出。結(jié)合實際應用，考慮數(shù)據(jù)規(guī)模以及口罩檢測的實時性要求，本文以YOLOv5為基礎開展了口罩佩戴檢測的研究。

1? 技術(shù)分析

1.1? 深度學習與卷積神經(jīng)網(wǎng)絡

隨著計算機視覺技術(shù)的持續(xù)發(fā)展，深度學習變得越來越重要。以深度學習技術(shù)為核心的目標檢測技術(shù)相比于利用手工特征提取方法獲取目標特征的傳統(tǒng)識別器有著特征表達能力優(yōu)、檢測準確率高、實時性強的優(yōu)點。神經(jīng)網(wǎng)絡作為一種常用的深度學習架構(gòu)，常用于圖像識別，提升工作效率。傳統(tǒng)的全連接神經(jīng)網(wǎng)絡最初被應用在手寫數(shù)字集上，用選定的神經(jīng)網(wǎng)絡和損失函數(shù)通過監(jiān)督學習的方法進行訓練，以確定網(wǎng)絡中不同神經(jīng)元的權(quán)重。一般來說，圖像因為像素量的原因數(shù)據(jù)十分龐大，對應會產(chǎn)生大量的神經(jīng)網(wǎng)絡參數(shù)，因此傳統(tǒng)的神經(jīng)網(wǎng)絡結(jié)構(gòu)在實際應用中往往需要巨大的參數(shù)空間，這對模型的速度及準確率產(chǎn)生了很大程度的影響。

由于傳統(tǒng)的神經(jīng)網(wǎng)絡存在的各種缺點，卷積神經(jīng)網(wǎng)絡（CNN）由楊立昆于1989年首次提出。該網(wǎng)絡的基本結(jié)構(gòu)包括：卷積層、池化層、全連接層。卷積層，降采樣層，全連接層。結(jié)構(gòu)的每一層有多個特征圖，每個特征圖有多個神經(jīng)元。在CNN中，卷積層和池層通常交替設置，即池層后接卷積層，池層后緊接卷積層。CNN與全連接神經(jīng)網(wǎng)絡最大的不同點在于，所有上下層神經(jīng)元在CNN中并不是都能直接相連的。CNN把“卷積核”作為中介，同一個卷積核在所有圖像內(nèi)都是共享的，從而實現(xiàn)參數(shù)共享，構(gòu)建權(quán)值共享結(jié)構(gòu)網(wǎng)絡。圖像經(jīng)過一次卷積操作后仍然能夠保留初始的位置關(guān)系。正是由于CNN限制了參數(shù)的個數(shù)并挖掘了局部結(jié)構(gòu)的這個特點，CNN能使用較少的參數(shù)，訓練出更好的模型，同時有效地避免過擬合。CNN的泛化能力明顯優(yōu)于其他方法，在良好的容錯能力之外還有優(yōu)秀的并行處理能力和自學能力。CNN是目前最流行的神經(jīng)網(wǎng)絡之一，為目標檢測中的分類與回歸任務奠定了基礎。

1.2? 目標檢測與YOLO算法

R-CNN（Region-CNN）是最早采用卷積神經(jīng)網(wǎng)絡進行目標檢測的算法。作為一種Two-stage目標檢測算法。R-CNN首先需要對被輸入的圖片采用搜索算法，生成一系列候選邊界框作為樣本。針對每個候選邊框，會有一個獨立的CNN通道，再通過卷積神經(jīng)網(wǎng)絡結(jié)合SVM預測分類候選邊界框中的樣本。因此，R-CNN也被稱為基于區(qū)域的方法。R-CNN雖然對于位置檢測與對象分類準確率相對較高，但是由于它的運算量大，檢測速度非常慢，這使得這種算法在實際生產(chǎn)中難以得到比較好的應用。

YOLO算法是在R-CNN基礎上發(fā)展起來的，one-stage目標檢測算法的典型代表。R-CNN作為Two-stage目標檢測算法包含了物體類別（分類問題）、物體位置（回歸問題），即需要先產(chǎn)生大量的先驗框，然后再去判斷先驗框里是否有檢測目標。而YOLO創(chuàng)造性地把目標檢測問題為了回歸問題，把產(chǎn)生先驗框和判斷先驗框中的目標這兩個階段合成一個。在YOLO中，圖像被縮放到為統(tǒng)一的尺寸。YOLO把整張圖作為網(wǎng)絡的輸入，只需經(jīng)過一個神經(jīng)網(wǎng)絡就能直接在輸出層回歸得到bounding box即目標的位置和box所屬的類別。在YOLO的網(wǎng)絡框架中，圖片沒有被真正的網(wǎng)格化處理，而是被作為整體看待。YOLO將單個卷積神經(jīng)網(wǎng)絡（CNN）用在整張圖片上，再將圖片分成網(wǎng)格，以此預測每個網(wǎng)格的類概和邊界框。因為YOLO把檢測作為一個回歸問題，因此不用復雜的框架，是一個非常快速的目標檢測算法。YOLOv5是YOLO較新的版本，使用Pytorch框架編寫。相比YOLOv4，YOLOv5盡管在性能上稍有遜色，但是速度快、體積小，在保證一定精度的前提下，在快速部署方面極具優(yōu)勢。

2? 口罩檢測模型

2.1? 口罩檢測數(shù)據(jù)集

數(shù)據(jù)的獲取方法主要有：手機拍攝（校園進出口）、網(wǎng)絡照片采集、網(wǎng)絡開源數(shù)據(jù)集，自制得到人臉口罩數(shù)據(jù)集。采用GitHub-huzixuan1所提供的開源代碼進行爬蟲采集（符合協(xié)議要求）。使用GitHub -AIZOOTech所提供的開源數(shù)據(jù)集作為數(shù)據(jù)補充。

在數(shù)據(jù)量的準備方面，由于YOLOv5的輸入端采用了Mosaic數(shù)據(jù)增強的方式，數(shù)據(jù)集中4張圖片可以被隨機縮放和拼接，在很大程度上豐富了現(xiàn)有數(shù)據(jù)集。另一方面，計劃使用預訓練的模型開展目標模型的訓練，因此可以認為目標模型對自制數(shù)據(jù)集的數(shù)量量要求不高。最終得到的數(shù)據(jù)集含有原始圖片共計2 000張。

在數(shù)據(jù)格式方面，為了方便統(tǒng)一不同來源的圖像數(shù)據(jù)，盡管算法設計中要使用的是YOLOv5模型，為了方便統(tǒng)一數(shù)據(jù)格式，對自制原始圖片使用labeling進行了VOC格式的標注，標注范圍為人像整個頭部含少量肩膀上部。在程序代碼中設置了數(shù)據(jù)格轉(zhuǎn)化。而VOC格式這也方便了這個數(shù)據(jù)集未來可以使用在其他模型中。

在數(shù)據(jù)預處理方面，考慮了圖片大小的調(diào)整。在大部分的目標檢測算法中，需要將原始圖片經(jīng)過縮放、填充部分黑邊統(tǒng)一到一個尺寸標準下再輸入網(wǎng)絡。這一過程會帶來一定量的信息冗余并直接增加了模型的訓練時間。YOLOv5的代碼中在輸入端的letterbox函數(shù)中做了一定的優(yōu)化修改，能夠?qū)υ紙D像自適應的添加最少的黑邊，理論上來說，輸入圖像的大小對YOLOv5的限制較小。但是，輸入圖像大小的不同會導致網(wǎng)絡寬度發(fā)生變化，對應的模型文件大小也一并發(fā)生變化。由于計劃使用預訓練的模型參數(shù)文件，因此在程序中將輸入圖像的大小設置為640×640，這個大小和YOLOv5的作者的預訓練模型在coco數(shù)據(jù)集上使用的輸入圖像大小是一樣的。

2.2? 模型構(gòu)建與訓練

由于硬件條件限制，為了縮短訓練時間，提高模型的泛化能力，此模型是在預訓練模型的基礎上進行二次訓練得到的。YOLOv5的官方代碼給出了四種網(wǎng)絡模型，從小到大分別是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x四個網(wǎng)絡。考慮到實際任務需求和硬件環(huán)境條件，使用下載得到的官方代碼YOLOv5s（權(quán)重文件）作為預訓練模型，并在此基礎上使用自制數(shù)據(jù)集對模型進行訓練。

模型訓練使用自制數(shù)據(jù)集，總樣本2 000個，分為訓練集、測試和驗證集。其中，將1 200個樣本劃分為訓練集，400個樣本劃分為測試集，400個樣本劃分為驗證集。在圖像處理工作站上進行100次迭代訓練，每一次訓練的ACC和Cost都直觀地展現(xiàn)出來，最后保存訓練模型。模型訓練結(jié)果如圖1所示。

2.3? 模型評估

圖1給出了模型經(jīng)過100輪訓練的性能變化。隨著訓練的迭代次數(shù)的增加，loss則隨著訓練輪數(shù)的增加在不斷的降低，趨于穩(wěn)定，也同時達到了期望的數(shù)值。Precision及recall隨著迭代次數(shù)增加不斷上升分別穩(wěn)定在0.8及0.79左右。觀察不同閾值下兩者的數(shù)值的波動情況，較為穩(wěn)定。可以認為模型具有比較好的精準度及穩(wěn)定性。

為了進一步分析模型的性能，將模型在400個樣本的驗證集上進行測試。模型在驗證集上表現(xiàn)較好，分析圖源及由圖2混淆矩陣分析可得，模型對人臉的檢測能力較好，但容易將戴口罩的人臉誤測為背景因素。這一定程度上是可能是存在圖片像素過低、一張圖片中戴口罩人臉過小、口罩佩戴不規(guī)范等因素造成的。

3? 系統(tǒng)實現(xiàn)

3.1? 系統(tǒng)設計

該系統(tǒng)使用訓練好的YOLOv5模型對目標進行檢測，判斷后對原圖像人臉加方框顯示是否戴口罩。具備以下功能：圖像采集、圖像處理、口罩檢測、圖像顯示。系統(tǒng)業(yè)務功能圖如圖3所示。

圖像采集：圖像可以由兩種方式采集，分別是本地上傳（圖像或視頻）、攝像頭實時采集。

圖像處理：對于視頻畫面，使用cv2自帶的VideoCapture讀取攝像頭信息或本地視頻文件，按照默認25毫秒獲取視頻流圖像。

口罩檢測：對YOLOv5模型進行接口封裝，使其提供模型推理能力。構(gòu)建函數(shù)提供目標檢測能力。

圖像顯示：將口罩識別結(jié)果顯示在系統(tǒng)的可視化界面上。考慮系統(tǒng)使用效率，在界面初始化時加載好檢測模型，并創(chuàng)建臨時目錄用以保存中間處理結(jié)果。

界面設計：通過添加tab頁將圖片檢測和視頻檢測分為兩個頁面。圖像檢測頁面同時顯示原始圖像及檢測結(jié)果，視頻檢測頁面僅顯示檢測結(jié)果。使用盒子布局，嵌套水平布局和垂直布局。

3.2? 實施結(jié)果

使用PyQt5構(gòu)建人臉口罩智能分析監(jiān)測系統(tǒng)的GUI界面，可以實現(xiàn)模型檢測結(jié)果的可視化，用戶可以通過相關(guān)按鈕調(diào)用模型檢測目標圖片、目標視頻、攝像頭視頻，實時看到檢測結(jié)果，極大程度提高了用戶體驗。系統(tǒng)運行效果如圖4、圖5所示。

4? 結(jié)? 論

本文基于YOLOv5卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)的物體識別算法對圖片、視頻信息進行分析，能夠?qū)θ四樑宕骺谡诌M行實時檢測，并同時具備較高的檢測效率。在后續(xù)的研究過程中，可以側(cè)重于與相關(guān)硬件結(jié)合，推廣到門禁系統(tǒng)、生產(chǎn)安防等工作中的智能檢測中。

參考文獻：

[1] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once：Unified，Real-Time Object Detection [C]//IEEE Conference on Computer Vision and Pattern Recognition. USA：IEEE，2016：779-778.

[2] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡研究綜述 [J].計算機學報，2017，40（6）：1229-1251.

[3] 張珂，馮曉晗，郭玉榮，等.圖像分類的深度卷積神經(jīng)網(wǎng)絡模型綜述 [J].中國圖象圖形學報，2021，26（10）：2305-2325.

[4] 曹城碩，袁杰.基于YOLO-Mask算法的口罩佩戴檢測方法 [J].激光與光電子學進展，2021，58（8）：211-218.

[5] 曾成，蔣瑜，張尹人.基于改進YOLOv3的口罩佩戴檢測方法 [J].計算機工程與設計，2021，42（5）：1455-1462.

[6] 王福建，張俊，盧國權(quán)，等.基于YOLO的車輛信息檢測和跟蹤系統(tǒng) [J].工業(yè)控制計算機，2018，31（7）：89-91.

[7] 張瑞國.基于卷積神經(jīng)網(wǎng)絡的區(qū)域人臉檢測研究 [J].網(wǎng)絡安全技術(shù)與應用，2021（9）：55-56.

作者簡介：吳昱昊（1996—），女，漢族，浙江上虞人，助教，碩士研究生，研究方向：深度學習、社會網(wǎng)絡分析。

收稿日期：2022-10-10

基金項目：嘉興職業(yè)技術(shù)學院2022校立科研項目（jzyy202249）