基于YOLOv3的安全帽佩戴檢測方法研究

王 珩

(上海工業自動化儀表研究院有限公司，上海 200233)

0 引言

近年來，隨著工業4.0概念的提出和深度學習等高新技術的發展，場景目標物體檢測逐漸成為計算機視覺領域的研究熱點[1-2]。傳統視頻監控系統對于工廠生產過程中設備或人為的異常情況，只能通過即時的人為監視或人工巡檢，以及事后通過歷史數據，查找當時事件發生狀況。而智能檢測系統能夠在無人值守監控的情況下，隨時隨地使用一套固定的邏輯，及時記錄不遵循規范的現場人員并通知相關人員[3]。因此，研究如何從監控中提取有用信息，并對感興趣的信息進行處理，具有重要的實際意義。

對于安全帽識別任務，目前大多數學者是基于傳統方法。其中，劉曉慧等[4]利用膚色信息定位，再借助支持向量機(support vector machine,SVM)，通過交叉驗證選定合適的核函數，最終實現安全帽佩戴狀態的識別；劉云波等[5]通過連續圖像檢測運動目標，根據顏色特征判斷運動目標是否佩戴安全帽。上述研究已經取得了一些成果。但由于頭盔顏色形狀差異，以及相機角度、距離、光線等外界因素變化，這些安全帽識別算法的魯棒性較差，易受外界環境干擾。

綜上所述，對于安全帽識別任務，目前欠缺一種高魯棒性的分類算法。隨著深度學習技術的不斷發展[6]，提出了多種基于深度學習的目標檢測[7-8]和目標跟蹤算法[9]，為研究者提供嶄新的思路。本研究將基于深度學習地神經網絡識別方案，通過對工廠區域的視頻圖像機型處理，進而識別工人安全帽的佩戴狀態。

1 YOLO網絡結構模型

YOLO網絡是一個以目標檢測為目的而設計的網絡。由于YOLO本身端到端的特性，它的計算速度比大多數深度網絡快，具有良好的實時性；此外，該網絡可以在具有良好魯棒性的前提下保持較高的準確率。基于以上兩大優勢，它被認為可以滿足大部分工業檢測場景準確性和實時性需求，具有良好的工業應用前景，因而在最近幾年被廣泛研究。YOLOv3網絡是YOLO網絡作者根據初代YOLO網絡，經過數次改良的產物，具有更好的性能。這也是本文選用YOLOv3進行一系列研究的原因。

Darknet 53結構單元如圖1所示。

圖1 Darknet 53結構單元 Fig.1 Darknet53 structure units

YOLO網絡僅使用卷積層，屬于全卷積網絡。這在減少了參數變量的同時，加快了網絡的運行速度。相比于其他神經網絡，YOLO系列神經網絡通過合理的設計，成功地將目標檢測問題轉化為回歸問題，因而直接通過網絡產生物體的位置和所屬類別信息。而其他主流網絡[10]，大多數需要對已經過神經網絡處理輸出的圖像進行再處理。

YOLOv3主體卷積網絡是以Darknet 53[11]結構為基礎。由圖1可知，Darknet 53結構由53層卷積層搭建而成。為了防止梯度消失以及梯度爆炸現象，Darknet-53網路之間由加入了殘差單元，這樣可以讓網絡進行層數更深的訓練。由于殘差單元過多會導致其他不良的結果，因此Darknet-53選擇加入五個殘差單元(Resnetunit)[12]。每個殘差單元的搭建如圖1(a)所示，上層原始輸入不僅僅會通過兩個DBL單元輸入到更下層，還會跳過DBL單元直接到下層。換而言之，下層會收到原始上層數據以及處理過的上層數據。通過這種方式，構建了一個殘差單元。DBL 單元結構包含卷積層、批歸一化(batch normalization)層和leaky-relu激活函數層，共計3層結構。

YOLOv3相比Darknet 53架構，作出了一些改進。YOLOv3整體架構如圖2所示。

圖2 YOLOv3 整體架構示意圖 Fig.2 YOLOv3 overall structure

YOLOv3加入了更多的卷積層，用于提取物體的深層特征。YOLOv3共有75個卷積層，包括跳躍連接和上采樣層。此外，它以2步長的卷積層替代了傳統的最大池化層。卷積與池化層相比，有了更多變化的可能。YOLOv3網絡對輸入圖片總共進行了5 次降采樣，并分別在最后3次降采樣中對目標進行預測。最后3 次降采樣的輸出，可以理解為分別包含了3 個尺度目標檢測的特征圖。當尺度越大時，其提取的特征圖就越小。這些大小不同的特征圖也有各自的作用：小特征圖提供了深層次語義信息，大特征圖則提供了目標位置信息。此外，YOLOv3網絡中事先準備了通路，使得小特征圖可以經過上采樣和大特征圖融合，從而使大特征圖中含有小特征圖中的特征信息。即使模型設定的檢測目標較大，圖中小特征的丟失也較少。因此，YOLOv3網絡對于大小各異的目標均有不錯的定位效果。

不同尺度的特征圖通過YOLOv3最底層的探測層，輸出為一張包含多尺度信息的最終特征圖。最終特征圖中，每一個尺寸下網格單元中包含了[B×(5+C)]的數據。其中，B為每個單元中預測框的個數，用于預測某一類特定物體，每個預測框有5個數據(即x、y、w、h、S+C)。其中：(x,y)為預測框的中心相對于單元格的偏移，(w,h)為預測框相對與對應錨點的寬高偏移，S為置信值。

S=Pobject×U

(1)

式中:Pobject為預測框中物體的概率，1為存在，0為不存在；U為預測框與真實框的交并比(intersection over union,IOU)；C為C個類別的條件概率Pclass|object。

一般每個YOLO網絡單元中預測框個數B=3。最后，對這些預測框使用回歸算法，并通過非極大值抑制(non-maximum suppression,NMS)合理化輸出判斷結果，完成目標檢測任務。

此外，YOLOv3算法使用了錨點框，以提高檢測的準確性。因此，本次安全帽識別任務中也應用了此方法。這部分內容學習方法和前兩段的圖像特征學習有一定的區別，因此放在最后進行說明。為了合理確定初始的錨點框的初始尺寸，本文使用Kmeans聚類方法，以訓練樣本中已標注的邊界框尺寸作為樣本，確定錨點框尺寸。選擇k個聚類中心(k為9)，以式(2)作為距離函數進行聚類。其中,Ubbox，kmeans表示邊界框和聚類尺寸的交并比[13]。

dbbox,kmeans=1-Ubbox,kmeans

(2)

2 YOLO的遷移學習

如果將每一個網絡從頭到尾進行訓練，直到其能應用于實際工程任務，那么有兩個條件是必要的。一是大量的訓練數據集，二是有不進入、反向傳播的驗證集。前者是訓練網絡性能，得到更深層、有效的圖像特征；后者是為了防止過擬合現象，避免出現訓練集精度變高而實際任務精度變低的情況。

為了將YOLOv3網絡應用于安全帽識別任務，第一步就是得到上述兩類數據。本研究通過調用廠區工人作業的現場監控視頻，得到原始圖像；然后，以人工標注的方式，建立安全帽佩戴識別檢測數據集。然而，由于人工標注信息消耗時間較大，加之原始有效圖像較少，因而有類標的數據集共有465張圖片。因此，即使不將數據集分為訓練集和數據集而是全部應用于訓練，所需要的訓練數據集也是遠遠不夠的。不僅如此，YOLOv3是全卷積網絡。用于特征提取部分的卷積層更需要大量的樣本訓練，才能提取到更易于分類的深層特征。可以預見，如果直接用此數據集訓練YOLO網絡，必然很難得到具有泛化性的結果。

針對以上問題，本文采用遷移學習[14]的方法訓練卷積神經網絡。由于YOLOv3已經Image-Net上試驗過千分類任務，因此YOLOv3網絡的每個節點，實際上均已經過參數訓練。因此，可以將ImageNet[15]的分類數據集作為源域。首先，在YOLOv3的每個參數點載入這些參數。這是因為使用ImageNet數據集訓練完分類網絡后，卷積核的權值經過訓練，已經具備了可以提取泛化特征的能力。然后，使用模式識別的微調的方式，凍結網絡層的絕大部分，只對最后幾層(尤其是最后用于將特征向量轉化成概率輸出softmax[16]層)啟用反向傳播，進行節點參數的數據更新。這是為了讓最后幾層的深度卷積層提取特定任務下的深層特征，從而使得YOLOv3可以應用于本次任務。對于本研究而言，所希望提取的特征信息就是安全帽以及其相關像素點的計算機視覺特征。在使用了遷移學習后，就可以將數據集的一部分分割到驗證集之中，以防止過擬合現象的發生。在使用遷移學習后，將網絡性能訓練到滿足要求已經不再需要大量的訓練集。在本次任務中，訓練集有360個樣本集，用于訓練回歸預測部分的卷積核參數；測試集有105個樣本，不進入反向傳播而直接輸入網絡計算結果，用于客觀評價網絡的實際性能。

3 試驗結果及分析3.1 試驗方案設計

在試驗之前的準備數據集階段，使用lableImg工具將數據集標定為三類，即A類、B類、C類。A類表示人體上半身，B類正確佩戴安全帽的頭像，C類是沒有佩戴安全帽的頭像。將標定好的數據集在服務器上，使用上述方式對YOLOv3網絡進行訓練，最后得到該網絡的模型參數。

試驗階段，每隔時間N秒從視頻圖像中取待測幀圖像，對待測圖像預處理，轉換待測圖像數據格式以及調整圖像尺寸；將預處理好的圖像載入已經訓練好的YOLO模型中，模型輸出A類、B類、C類。A類記作An，B類記作Bn，C類記作Cn。其中：n為檢測到各個類別的個數，n=1，2，…，N。

算法流程如圖3所示。

圖3 算法流程圖 Fig.3 Algorithm flowchart

3.2 試驗平臺

本試驗分模型訓練階段和檢測階段。模型訓練階段對硬件環境要求很高，使用了GTX1080Ti的GPU服務器進行運算。檢測階段對硬件環境也有一定要求：使用了GTX1050的GPU臺式機，搭建了用于試驗的環境，包括Ubuntu16、CUDA、python、OpenCV、gcc 等常用環境，YOLOv3使用了Darknet-53 框架。使用YOLOv3官網上提供的權重參數作為網絡訓練的初始化參數，對已標定的安全帽佩戴檢測訓練數據集中的圖片進行網絡參數微調，從而使整個網絡檢測達到最好效果。

3.3 試驗數據集

對深度學習而言，試驗數據集是該算法能否有效的重要條件。然而，安全帽檢測的數據集目前在公開數據集中不存在。故本文使用工廠監控視頻自制了安全帽的數據集，主要包括以下步驟。

①數據收集：數據主要來源于廠區工人作業的現場監控視頻，以及沒有佩戴安全帽的頭部圖像。其中以廠區現場監控視頻為主。

②數據預處理：廠區使用的是高清視頻攝像頭，因此數據預處理需要使用Opencv視頻開發庫把視頻文件轉換成圖像的PNG格式。轉化的圖像作為圖像數據集。圖像統一尺寸為(640×480)像素。

③數據標定：使用labelImg數據標定工具對安全帽佩戴檢測數據庫的圖片進行標記。該工具需要手工標記出對圖片的自定義目標，最后可根據輸入的標記信息生成相關的配置文件。

3.4 YOLO模型訓練

試驗使用360個樣本數據作為反向傳播遷移學習的訓練數據。數據分辨率和自制數據集分辨率相同，均為(640×480)像素，檢測的類別包括A類、B類、C類。將標定好的數據集在服務器上使用YOLOv3網絡進行訓練，最后得到該網絡的模型參數。使用360訓練樣本訓練YOLO模型。將105個樣本圖像輸入訓練好的模型，進行對場景類別和目標位置的預測。當YOLO神經網絡預測的目標邊界框與手工標定的邊界框交并比u大于等于0.5時，則任務預測成功。本試驗采用準確率、召回率作為評價標準。

訓練效果如下。本試驗共進行了2 500訓練，每次喂入網絡圖片數量BATCH_SIZE為8。隨著訓練輪數的增加，預測類別和真實類別、預測尺寸和真實尺寸的損失值都在逐漸減小。但是由于訓練樣本不大，導致訓練集和測試集最后出現過擬合。隨著以后增大訓練樣本，該問題可以得到解決。

3.5 結果分析

在實際測試時，算法可以檢測出目標未佩戴安全帽或者佩戴其他帽子的情況，準確率在95%以上。同時，在實際測試中，基于YOLOv3安全帽檢測算法對多目標檢測也有效果。試驗結果表明，本檢測方法能夠在保持較高檢測速率的同時，基本滿足實時檢測要求。

4 結論

本文使用YOLOv3網絡對是否正確佩戴安全帽的檢測方法進行了研究。配合使用廠區監控視頻作為數據集進行了安全帽佩戴的檢測試驗，使用了YOLOv3網絡中多尺度特征檢測、目標框尺寸聚類以及對輸出類進行交并比檢測等方法，在保證較高檢測準確率的同時，仍能夠有較快的檢測速度。下一步工作是增大數據集的圖片數量，以及每個標定類別增加更多的圖片和樣式，從而增加檢測準確率。