基于YOLO和極限學習機的駕駛員安全帶檢測模型研究

田 坤 李 冠 趙衛東

(山東科技大學計算機科學與工程學院 山東 青島 266590)

0 引 言

汽車事故調查表明，如果系安全帶，在發生正面撞車時，可使死亡率減少57%，側面撞車時可減少44%，翻車時可減少80%。因此駕駛員安全帶檢測逐漸成為智慧交通領域的一個研究熱點。基于計算機視覺的檢測方法由于其信息獲取簡單、對人和車輛影響較小及非接觸性等特點，成為最有前景和價值的檢測方法。

目前，國內外研究人員在安全帶檢測方面做了大量的研究。由于檢測工具和應用環境的不同，檢測方法也不盡相同。Guo等[1]提出的基于圖像處理的安全帶檢測方法。首先通過邊緣檢測和霍夫直線變化方法對圖像進行預處理，定位駕駛員區域，然后通過基于邊緣檢測和Hough變換的方法對安全帶進行檢測。然而該方法容易受到光照、車輛顏色的影響，對圖片質量和拍攝角度要求也較高，并且缺乏魯棒性，因此很難普及推廣。Chen等[2]提出的基于Adabooast的安全帶檢測方法。首先對車窗區域進行一個粗定位，找到多個車窗候選區，然后再對駕駛員區域進行粗定位，找到多個駕駛員候選區，接著對安全帶進行檢測，找到多個安全帶檢測區域，最后通過高斯混合模型處理后得到安全帶的最終檢測結果。然而該方法對圖像質量要求較高，并且檢測精度達不到推廣的地步。付春芬[3]提出的基于深度學習的安全帶檢測方法研究，首先運用幀差法定位交通視頻中的車輛，然后利用邊緣檢測和積分投影定位駕駛員車窗區域，最后訓練卷積神經網絡模型檢測安全帶。然而該方法訓練速度較慢，并且容易受到光照和遮擋因素的影響。謝錦等[4]提出的基于圖像不變特征深度學習的交通標志分類。首先基于慢特征分析的深度學習框架自動學習得到每個階段的特征映射矩陣，然后將第一階段和第二階段特征聯合輸出作為交通標志的特征，最后使用支持向量機進行交通標志分類。運用該方法在對安全帶進行檢測分類時，能有效地進行特征提取，并且泛化能力較強，但檢測速度達不到實時檢測的要求。楊凱杰等[5]提出的基于深度學習的安全帶檢測方法。該方法包括兩個檢測器D1、D2和一個分類器C1，首先將高清圖片輸入檢測器D1，定位汽車的擋風玻璃區域，然后再用檢測器D2定位到主駕駛區域，最后將主駕駛區域圖片送入二元分類器C1判斷是否系安全帶。但是該方法時效性不高，處理速度較慢。施輝等[6]提出改進的YOLO V3的安全帽佩戴檢測方法。首先采用圖像金字塔結構獲取不同尺度的特征圖，用于位置和類別預測，然后對數據集目標框進行聚類，確定目標框參數，最后訓練迭代過程中改變輸入圖像尺寸，增加模型對尺度的適應性。該方法能夠滿足實時性檢測的要求，但是YOLO算法在提升檢測速度的同時也損失了部分的準確率。

本文將YOLO網絡和極限學習機結合起來應用到道路監控視頻中的汽車駕駛員安全帶檢測。首先將視頻中的汽車圖片提取出來輸入到YOLO網絡中，利用YOLO網絡的深層次特征提取、高精度檢測分類特性對主駕駛區域進行目標提取；然后將提取的主駕駛區域特征傳遞給極限學習機，利用極限學習機訓練速度快、泛化能力強的優點，訓練成一個二元分類器；最后對駕駛員是否佩戴安全帶進行準確分類。實驗時通過Nvidia 1060顯卡進行加速，處理速度可以達到198 幀/s,基本可以實現對道路監控視頻中駕駛員安全帶的實時檢測。

1 算法研究

1.1 YOLO算法

YOLO算法[7]是一個基于單個神經網絡的目標檢測系統，以回歸的方式對目標進行檢測，輸入圖像后，直接在圖像的多個位置上回歸出目標的位置以及其分類類別。YOLO算法的創新之處在于采用了端到端的網絡結構設計，其最大優勢就是能夠實現實時檢測。YOLO的目標檢測網絡由24個卷積層和2個全連接層組成。其中卷積層的功能是提取圖像特征，全連接層的功能是預測圖像位置和類別置信概率。YOLO分類網絡結構采用的是GoogLeNet[8]，它將輸入圖像分成S×S個格子，如果某個物體的中心位置的坐標落入到其中一個格子內，那么這個格子就負責檢測出該物體。YOLO網絡的輸出結果為一個張量，計算公式如下：

S×S×(5×B+C)

(1)

式中：S×S為劃分網格數目；B為每個網格預測的物體邊界框數目；C為類別個數。每個網格要預測B個邊界框還要預測C個類別。

在最新的YOLO V3網絡[9]中使用了一個53層的卷積網絡，包含52層卷積層和1個全連接層，加入了多個連續的3×3和1×1的卷積，命名為Darknet-53。Joseph Redmon的實驗表明，在平衡分類準確率和效率時，Darknet-53模型比ResNet-101、 ResNet-152[10]和Darknet-19[11]表現得更加優秀。一方面，Darknet-53網絡采用全卷積結構，YOLO V3前向傳播過程中，張量的尺寸變換是通過改變卷積核的步長來實現的。另一方面，Darknet-53網絡引入了residual結構,得益于ResNet的residual結構，訓練深層網絡的難度大大減小。因此Darknet-53網絡做到53層，精度提升比較明顯。YOLO V3網絡結構如圖1所示。

圖1 YOLO V3網絡結構

1.2 極限學習機算法

極限學習機(Extreme Learning Machine,ELM)是由新加坡南洋理工大學的黃廣斌教授提出的一種針對單隱層前饋神經網絡的新算法[12-14]。ELM可以對初始輸入權重和偏置輸入任意的參數，并得到相應的輸出權重。假設有N個任意的樣本(Xi,ti)，其中Xi=[xi1,xi2,…,xin]T∈Rn，ti=[ti1,ti2,…,tim]T∈Rm。對于一個有K個隱層節點的單隱層神經網絡可以表示為：

(2)

式中：g(x)為激活函數；Wi=[wi1,wi2,…,win]T為輸入權重參數；βi為輸出權重參數；bi是第i個隱層單元的偏置參數；Wi·Xj表示Wi和Xj的內積值。

在單隱層神經網絡中，最小化輸出誤差值是其學習的目標，其公式為：

(3)

Hβ=T

(4)

式中：H是隱層節點的輸出；β為輸出權重；T為期望輸出。H、β、T分別為：

(5)

(6)

(7)

式中：i=1,2，…,L,這等價于最小化損失函數如下：

(8)

為了訓練單隱層神經網絡，可以將其轉化為求解一個線性系統Hβ=T的問題，輸出權重可以被確定為：

(9)

2 基于YOLO和極限學習機的安全帶檢測模型

YOLO模型在物體檢測方面有很大的優勢，主要表現在以下幾個方面：YOLO目標檢測效率很高，因為檢測過程非常簡單，只需要將圖像輸入神經網絡就可以獲得檢測結果；YOLO能夠很好地避免背景錯誤，產生false positives,由于在目標檢測時能很好地利用上下文信息，所以在背景上很難預測出錯誤的物體信息；YOLO可以學到物體的泛化特征，從而遷移到其他領域。YOLO雖然在物體檢測方面速度很快，但在分類準確率方面達不到較高的水準。

極限學習機可以直接用于多物體分類，需要手動設置的參數只有隱含層結點個數。其優點表現在以下幾個方面：在訓練樣本前，只需要設置隱藏層神經元的個數，在執行算法時不需要人工調整參數；相比傳統訓練算法，迭代次數少，收斂速度快，減少了訓練時間；唯一最優解大大保證了網絡的泛化性能。極限學習機在處理多物體分類時是很好的分類算法，但前提是有好的分類特征。

為了適應和提高在道路監控視頻中駕駛員安全帶檢測的準確率和速度，本文將YOLO網絡和極限學習機算法相結合，充分發揮兩者的優點，應用于實時的目標檢測分類。因此提出了基于YOLO和極限學習機相結合的安全帶檢測模型，如圖2所示。

圖2 基于YOLO和極限學習機的安全帶檢測模型

基于YOLO和極限學習機相結合的安全帶檢測模型主要包含三個部分：

(1) 定位主駕駛區域部分：采用YOLO V3特征提取的主要網絡結構Darknet-53。這些卷積層是從各個主流網絡結構選取性能比較好的卷積層進行整合得到。對訓練樣本的主駕駛區域進行特征學習，得到YOLO網絡輸出特征層的參數。

(2) 特征轉換部分：將YOLO V3網絡提取到的主駕駛區域特征進行特征轉換，然后傳遞給極限學習機。

(3) 安全帶分類部分：將轉換的特征層參數輸入到極限學習機進行訓練，訓練成一個準確率很高的安全帶檢測分類器，最后極限學習機對分類結果進行輸出。

該模型還對駕駛員安全帶數據集的目標框進行聚類，確定anchor參數，主要原因是在YOLO算法中引入了Faster R-CNN[15]中的anchor boxes[16]的方法，使用anchor boxes作為先驗框對圖像中的目標進行檢測。本文采用的YOLO V3算法的初始候選框的anchor參數，最初是根據COCO數據集進行聚類確定的，聚類結果為9。由于COCO數據集中類別很多，而本文實驗數據集種類相對較少，因此初始候選框不再適用于汽車主駕駛區域的檢測。在主駕駛區域檢測中，主駕駛區域的長寬比不會因為環境背景等發生大的改變，所以需要重新對數據集進行聚類分析來選擇最優的anchor參數。

設置先驗框的主要目的是提高預測框與ground truth之間的交并比。IOU是產生候選框(candidate bound)與原標記框(ground truth bound)的交疊率[17]，即它們的交集與并集的比值。傳統的K-means聚類算法常用曼哈頓距離、歐氏距離等方式對兩點間的距離進行計算。然而使用歐氏距離函數會讓大的框比小的框產生更多的錯誤，考慮到主駕駛區域檢測數據集中駕駛員尺寸問題，本文采用的聚類中的距離函數如下：

d(box,centroid)=1-IOU(box,centroid)

(10)

式中：centroid代表簇的中心；box代表樣本聚類結果；IOU(box,centroid)代表簇中心框和聚類框的交并比。交并比IOU表示預測框的準確程度，其公式為：

(11)

式中：bbgt表示真實框，bbdt表示預測框。

本文選擇 416×416 作為模型輸入尺寸，對主駕駛區域檢測數據集進行聚類分析，選取k=[1，9]。通過計算不同k值下的IOU值，選取k的最優值。IOU與k的關系如圖 3所示。根據圖中的折線可知，在k=5之后，曲線逐漸變得平緩。考慮到網絡的計算量，最終采用k=5的聚類結果。

圖3 IOU-k折線圖

3 實 驗

3.1 數據集的采集

本文訓練模型所用圖片來自于道路交通視頻監控所拍攝的圖像，一共選取了6 000張圖片。數據集分為訓練集和測試集，訓練集包含正負樣本，其中正樣本2 733張，負樣本2 267張；測試集包含正樣本861張，負樣本639張。為了提高訓練模型的效率，需要對數據集進行人工標注。部分樣本示例如圖4所示。

(a) 正樣本(圖中系安全帶)

(b) 負樣本(圖中未系安全帶)圖4 部分樣本示意圖

實驗使用Core i7- 8750H的處理器，8 GB的內存，NVIDIA GeForce GTX 1060的顯卡，CUDA9.1,CUDNN7.1的GPU加速庫，Windows 10操作系統，Darknet深度學習框架。

3.2 主駕駛區域檢測

(1) 數據預處理。本文通過使用LableImg工具標記訓練數據集的每張圖片中的汽車駕駛員區域。當對圖片標注完成時，軟件會在原圖目錄中生成與原圖對應的XML文件，該文件記錄了原圖的路徑、標記框的相對位置、標記框中物體的類別等信息。

為了更好地驗證模型的效果，本文對檢測結果進行定量分析，我們使用檢出率(DR)、漏檢率(MAR)以及平均時間開銷作為目標檢測的評價指標[18-19]：

(12)

(13)

DR反映了在所有的檢測目標中，正確檢測出主駕駛區域所占的比例，而MAR反映了在所有的檢測目標中，主駕駛區域漏檢數量所占的比例。

(2) 主駕駛區域檢測分析。目前，汽車主駕駛區域檢測常用的方法主要有文獻[3]中的Faster RCNN、SSD和YOLO V3三種。為了驗證本文采用的YOLO V3算法對主駕駛區域檢測有較好的效果，對三種方法進行主駕駛區域檢測時間開銷對比實驗，實驗結果如圖5所示。從主駕駛區域檢測的時間開銷對比圖中可以看出，YOLO V3方法在對主駕駛區域檢測速度上具有明顯優勢，能夠為駕駛員安全帶的實時檢測提供有力支持。本文利用YOLO V3對主駕駛區域檢測實驗結果：檢出率為97.6%，漏檢率為1.7%。主駕駛區域的檢測示例如圖6所示。

圖5 主駕駛區域檢測的時間開銷對比

圖6 主駕駛區域檢測示例

3.3 安全帶檢測

1) 極限學習機算法求解過程：

輸入：訓練主駕駛區域樣本和對應的期望輸出。

輸出：經過訓練好的駕駛員安全帶分類模型。

(1) 對主駕駛區域樣本進行初始化訓練；

(2) 根據樣本的特征數確定隱含層神經元的個數，對輸入層與隱含層的連接權值w和隱含層神經元的閾值b隨機賦值；

(3) 選擇sigmoid函數作為隱含層神經元的激活函數，從而計算隱含層輸出矩陣H；

原始圖像大小為416×416像素，經過YOLO V3對主駕駛區域定位后，分別對檢測到的每幅主駕駛區域圖像下采樣至24×21形成504維特征向量。ELM分類器中隱藏層單元數為200，激活函數為sigmoid函數g(x)=1/(1+exp(-x))。

2) 安全帶檢測分析:

根據訓練樣本得到ELM分類器，使用ELM分類器對測試主駕駛員圖像進行分類，得到識別率accuracy為0.945 1。安全帶檢測示例如圖7所示。

圖7 安全帶檢測示例

為了驗證本文提出的基于YOLO和極限學習機相結合的駕駛員安全帶檢測模型的有效性，本文與YOLO V3方法、文獻[3]的雙網絡安全帶檢測方法和文獻[6]中改進的YOLO V3方法做了對照實驗。四種安全帶檢測方法均采用實驗數據集作為輸入，同時對安全帶檢測的評價采用檢出率和檢測速度兩個指標，實驗對比結果如表1所示。

表1 四種方法檢測結果對比

從表1可以看出，本文所提出的基于YOLO和極限學習機相結合的駕駛員安全帶檢測模型檢測方法檢出率為94.51%，檢測速度為198幀/s，都遠高于其他三種方法的檢出率和檢測速度。

4 結 語

本文提出了將YOLO網絡和極限學習機相結合的駕駛員安全帶檢測模型，采用深度學習多層次網絡訓練和模型級聯的方式。利用YOLO網絡快速定位且實時性高的優點，快速定位主駕駛區域，并且保證輸出區域最優。同時利用極限學習機訓練速度快、泛化能力強的優點來作為一個二元分類器，提高了安全帶區域分類的準確性和系統的魯棒性。相比于傳統的卷積神經網絡對圖像的處理方法，本文在檢測速度上大大提升，能基本滿足道路監控視頻中駕駛員安全帶實時檢測的需要，并且準確率較高。