基于YOLOv5的人臉檢測及關鍵點定位的研究和實現

摘? 要：人臉檢測的研究對與日常生活很好的實用價值，如人臉體溫檢測，視頻監控等。實驗通過YOLOv5方法對用戶進行訓練，并選用YOLOv5系統中網絡深度最大和寬帶最少的YOLOv5s模型，基于重參數化結構，提升了檢測的準確率，且其具有速度快，體積小的優點。在人臉檢測出后基于face_recongnition庫進行關鍵點定位。通過實驗結果可以看出，檢測較為準確，具有良好的應用價值。

關鍵詞：YOLOv5；人臉檢測；深度學習；人臉關鍵點定位

中圖分類號：TP391.4；TP18? 文獻標識碼：A? 文章編號：2096-4706（2023）23-0069-04

Research and Implementation of Face Detection and Key Point Localization

Based on YOLOv5

ZHANG Yanli

（North China University of Technology， Beijing? 100144， China）

Abstract： The research on face detection has great practical value for daily life， such as face temperature detection， video surveillance and so on. The experiment trains users through the YOLOv5 method， and selects the YOLOv5s model with the highest network depth and the lowest bandwidth in the YOLOv5 system. Based on the re-parameterization structure， it improves the detection accuracy， and it has the advantages of fast speed and small size. After the face detection， it carries out key point localization based on face_recongnition library. From the experimental results， it can be seen that the detection is relatively accurate and has good application value.

Keywords： YOLOv5; face detection; Deep Learning; face key point localization

0? 引? 言

隨著深度學習的發展，用計算機處理圖像，輔助人類視覺進行檢測和識別得到了廣泛應用，如人臉檢測和人臉關鍵點定位技術。人臉的檢測和關鍵點定位在生活中經常于人臉的分析處理，如人臉識別、臉部體溫測量、表情識別等，同時在視頻監控、人機交互等方面有廣泛的應用前景。

目前，人臉檢測已有的算法有Adaboost算法，RCNN算法等。Adaboost算法主要由強弱分類器級聯而成，將特征圖像用于各弱分類器的訓練，進行多次迭代，最后將得到的分類器結合起來，得到強分類器[1]，這種算法對于人臉檢測的誤檢率較高。傳統的HOG特征+SVM分類檢測器，通過計算和統計圖像局部區域的梯度直方圖來構成特征，將特征送入SVM中訓練得到分類器，但該方法很難檢測有遮擋物的人臉，而且其本身不具有尺度不變性。而YOLOv5與Adaboost和傳統方法相比具有體積小、速度快、精度高等優點，且在生態成熟的PyTorch中實現，部署實現簡單[2]，而且對有部分遮擋物的人臉檢測準確率較高。所以采用YOLOv5算法實現人臉檢測。關鍵點定位部分用face_recognition庫，該庫使用非常便捷，且關鍵點定位點比較準確。

1? 人臉檢測及關鍵點定位算法

1.1? 總體框架

實現人臉檢測和人臉關鍵點定位的過程：首先用訓練出的YOLOv5模型來進行人臉檢測，定位出人臉框的位置、統計出圖像中總的人臉個數，再用線條出來將每個人臉框選出來。之后再定位人臉關鍵點，關鍵點定位用face_recognition庫中的檢測器定位。對于一張圖片檢測，直接用訓練好的模型檢測，輸出檢測后的結果即可，而對于視頻或實時檢測，需要一幀一幀的檢測并顯示出來，直至視頻結束。

1.2? 基于YOLOv5的人臉檢測算法實現

YOLOv5是一種單階段目標檢測算法，人臉檢測部分采用YOLOv5s的算法，其網絡結構主要分為四個部分，分別為輸入端、Backbone、Neck、head。其網絡構架如圖1所示。

1）輸入端。采用Mosaic數據增強技術，自適應初始錨框計算[3]、圖片縮放等技術等。且在輸入圖片后用orgimg=cv2.cvtColor（orgimg，cv2.COLOR_BGR2RGB）語句將圖片由RGB格式轉化為BGR格式。Mosaic數據增強將圖片進行裁剪，之后與向上采樣的圖結合作為訓練數據[4]，能更好地檢測小目標人臉。采用自適應錨框計算，在選定錨框時采用自適應初始錨框計算，能在訓練時，自主計算出每個訓練集中的最佳錨框值，小目標分配到anchors較小，大目標分配到anchors較大。同時也能實現在小特征圖上檢測大目標，在大特征圖上檢測小目標[5]，能提高檢測的準確率。

同時YOLOv5還采用自適應圖片縮放技術，將圖像的長寬按照一定比例縮放，對于收縮后不滿足條件的一邊再進行填充，可以很大程度上減少黑邊的占比，并減少了計算量，提高了模型推理速度。

2）Backbone。用conv替代原本的focus，擁有了更好的導出性。同時在網絡結構中重復用C3和Conv模塊來提取圖片的特征信息。Conv模塊是卷積+BN+激活函數的組合，激活函數在這里使用Hardwish。C3模塊替換了原來版本的BottleneckCSP模塊，改進的地方是經歷過殘差輸出后的Conv模塊刪去了，還有將concat后卷積中激活函數變成了Hardswish：

以上改進減少了計算量，提升了訓練速度，同時也提升了神經網絡的準確性。整個C3模塊的作用是對殘差特征進行學習。

Backbone模塊的最后是SPP空間金字塔池化，利用一個標準卷積模塊將輸入通道減半，然后分別做kernel-size為5，9，13的最大池化[6]，經過三個不同卷積核的最大池化下采樣之后，輸出通道數是一樣的，便于后續操作。該部分的作用時將更多不同分辨率的特征進行融合，在送入網絡neck之前能夠得到更多的信息。

3）Neck中的C3和Conv結構和Backbone中的相同。與上一層相比較，多了Concat和Upsample結構，concat將提取出來的特征進行融合，Upsample進行上采樣，將提取出的feature map進行放大，來增加圖片的分辨率。同時Neck中整體的網絡結構采用用了FPN和PANet結構。FPN通過自頂向下的結構，將深層的語義信息傳遞到淺層，將高層特征與底層特征進行融合，能提高對小目標檢測的準確率[7]。

4）Head的主體是三個檢測層，分別對應Neck中得到的3種不同尺寸的特征圖，并且給每種特征圖都預設了3個不同寬高比的anchor，用來預測和回歸目標。同時還采用三種損失函數分別計算分類、邊界框和置信度損失[8]。所使用的損失函數為CIOU_Loss：

其中，，IOU表示預測框和真實框的重疊程度，Distance_2表示預測框中心點和真實框中心點的歐式距離，Distance_C表示最小外接矩形的對角線距離。

CIOU_Loss彌補了IOU為0時無法得到預測框和真實框之間的距離的缺點，并通過NMS非極大值抑制比來提高網絡預測的準確度[9]。

對于邊框預測的計算，可以通過先驗框計算出：

其中Cx、Cy表示feature map中grid cell的左上角坐標。

其中pw、ph表示預設的anchor box映射到feature map中的寬和高。

1.3? 基于face_recongnition的關鍵點定位

識別出人臉后進行關鍵點檢測，在dlib基礎上使用face_recognition庫實現人臉關鍵點識別，該模型能定位出的68個關鍵點。face_recognition采用的訓練數據集是Labeled Faces in the wild，采用13 000多張人臉作為訓練數據集訓練出來的，測試的成功率高達99.38%。

將人臉關鍵點定位并繪出的代碼如下：

face_landmarks_list = face_recognition.face_landmarks （img）#img為人臉檢測后的圖像

for word， face_landmarks in enumerate （face_landmarks_list）： # 繪制面部輪廓點

for key， marks in face_landmarks.items（）：

for i in range （len（marks））：

point = marks[i]

cv2.circle（img， （point[0]， point[1]）， 2， （255， 125， 0）， -1）#點位的標出使用藍色

2? 人臉檢測和關鍵點定位實現

2.1? 實驗環境

實驗基于Windows操作系統，軟件環境Python 3.8，框架為PyTorch1.10.1，Cuda版本為10.2，并利用PyCharm遠程連接恒源云上的恒源云NVIDIA GeForce RTX 3090（24 GB） GPU主機進行訓練，之后將訓練好的結果下載，在本地電腦上進行結果測試。

2.2? 數據集標注及其訓練

YOLOv5項目本身的訓練模型能檢測到80中類別的物品，但沒有人臉這一類。想要檢測出人臉，需要重新標注圖片并在源碼和權重上重新進行訓練。選用數據集圖片和用Lablimg工具對收集到的一些圖片進行人臉標注的圖片作為數據集，共15 980張圖片，其包含不同場景為背景的、不同膚色的、面部有裝飾物如帽子、墨鏡等各種日常生活圖片。同時將數據集分為訓練集、測試集、驗證集三類，來對YOLOv5進行訓練[10]。

在訓練時epochs設為300，batch-size設為25，輸入圖片的尺寸為640×640[11]，訓練采用的權重文件為YOLOV5s.pt。

2.3? 訓練結果及分析

目標檢測大多采用平均精度mAP來對訓練效果進行評判，mAP越接近于1，表明訓練出的模型較好，檢測結果越好。

相比于YOLOv3，YOLOv4，訓練時間大大縮短；訓練出的模型大小為14.7 MB，體積較小，便于應用到生活中；且mAP也有所提高，不同模型的精度對比如表1所示。

從表1可以看出，YOLOv5網絡訓練出的模型mAP更高，檢測地更為準確。

3? 實驗結果分析

用訓練出的模型last.pt進行結果檢測和分析：

1）對輸入的圖片進行檢測，檢測結果較為準確，均能框選出人臉并定位出關鍵點，如圖2所示。

2）在人臉上有眼鏡、帽子等裝飾物遮擋時，例如圖3有墨鏡遮擋時，能得到理想的檢測結果。

3）圖片中目標清晰時，能準確檢測出，但小目標人臉不清晰的時候，檢測結果可能就不太理想。在離鏡頭較進的人臉均能被檢測出并標注出關鍵點，在離鏡頭較遠、分辨率不高時，只能勉強檢測出人臉，關鍵點并不能定位出來，檢測后的圖像如圖4所示。

（4）對于用攝像頭等設備進行實時檢測，檢測的速度為30秒每幀。使用攝像頭設備采集的圖像為640×480，實時檢測如圖5所示。在光線昏暗和有少量遮擋物時仍能檢測出來，且檢測結果較為準確。

4? 結? 論

實驗基于YOLOv5對人臉進行識別，將大量圖片送入模型中，從圖像中提取豐富的特征信息進行訓練，再用訓練好的進行檢測，之后用face_recongnition對人臉上的關鍵點定位。通過四種情況的實驗結果測試和分析可以看出，訓練出的YOLOv5s模型對于高清圖像的小目標人臉、有部分遮擋物的人臉都能檢測出來，在光線不好的情況下，仍能正常檢測并定位出關鍵點，且權重文件的體積小，速度快。應用到生活時，適用于對與一些不太需要精度和檢測小目標并對檢測模型的體積要求小時，如人臉體溫測量，表情識別等；而需要精度和檢測小目標，還需進一步改進，可以嘗試YOLOv5l、m、n等更高精度的模型，但對應有模型體積較大等缺點。

參考文獻：

[1] 秦彩杰，管強.一種基于F-Score的特征選擇方法 [J].宜賓學院學報，2018，18（6）：4-8.

[2] 周逸博，馬毓濤，趙艷茹.基于YOLOv5s和Android的蘋果樹皮病害識別系統設計 [J].廣東農業科學，2022，49（10）：155-163.

[3] 徐征宇，朱宗曉，周康，等.基于深度學習目標檢測的可行駛區域分割 [J].現代信息科技，2020，4（23）：106-108.

[4] 郭智超，徐君明，劉愛東.基于嵌入式平臺與優化YOLOv3的航拍目標檢測方法 [J].兵工自動化，2022，41（3）：10-15+20.

[5] 陸峰，劉華海，黃長纓，等.基于深度學習的目標檢測技術綜述 [J].計算機系統應用，2021，30（3）：1-13.

[6] 邱天衡，王玲，王鵬，等.基于改進YOLOv5的目標檢測算法研究 [J].計算機工程與應用，2022，58（13）：63-73.

[7] 張智堅，曹雪虹，焦良葆，等.基于改進YoloX的輸電通道工程車輛檢測識別 [J].計算機測量與控制，2022，30（9）：67-73.

[8] 蘇兆婧，余隋懷，初建杰，等.面向云服務平臺的產品感性評價及標注模型 [J].計算機集成制造系統，2021，27（3）：868-877.

[9] 邱天衡，王玲，王鵬，等.基于改進YOLOv5的目標檢測算法研究 [J].計算機工程與應用，2022，58（13）：63-73.

[10] 唐勇，巫思敏.YOLOv3在安全帽佩戴檢測中的應用 [J].現代信息科技，2021，5（23）：88-91+95.

[11] 朱高興，于瓅.基于YOLOv5-CA算法的野生動物目標檢測研究 [J].信息技術與信息化，2022（6）：32-35.

作者簡介：張言利（2003—），女，漢族，河南駐馬店人，本科在讀，研究方向：深度學習和計算機視覺。