駕駛員手機使用檢測模型：優化Yolov5n算法

王鑫鵬，王曉強，林 浩，李雷孝，李科岑，陶乙豪

1.內蒙古工業大學信息工程學院，呼和浩特010080

2.天津理工大學計算機科學與工程學院，天津300384

3.內蒙古工業大學數據科學與應用學院，呼和浩特010080

近年來，智能手機給人們生活帶來了極大的便利，若駕駛員在駕駛過程中使用手機，將會危及自己乃至他人的生命，給交通安全帶來隱患。然而，目前針對該行為的監督依舊存在不足：特定路段中的抓拍系統只能對固定范圍內的違章行為進行監控，僅能在一定程度上約束駕駛員的手機使用行為，而駕駛過程中使用手機的行為是不確定且頻繁的，在未被監控的路段僅靠駕駛員的自覺性很難保證行車的安全性。因此，為避免駕駛員在駕駛途中使用手機，減少因注意力分散而導致的交通事故，提出一種實時性、輕量化、適用于車輛內部的目標檢測模型，這將規范駕駛員的行車行為。

對駕駛員手機使用檢測算法的發展進程進行分析，得知現有的檢測方法主要存在如下缺點與不足：（1）圖像處理技術易受背景、光照以及駕駛員特征多樣性與不確定性的影響，不能在不同場景下達到良好的識別效果[1-2]；（2）傳統機器學習方式由于復雜的檢測、處理流程以及在處理大數據樣本時大量的迭代計算而導致檢測速度過慢，使得算法很難達到實時性[3-5]；（3）一些自建卷積神經網絡因網絡結構設計簡單、所提取到的目標特征信息不足而影響檢測精度[6-8]；（4）深度學習的典型目標檢測算法雖然不需要人為劃分處理過程，端到端的算法設計簡化了檢測操作以及得到了硬件加速的計算支持，但由于深層次的數據操作導致算法模型的計算量仍然較大，不能很好地進行車內的實時性檢測[9-11]；（5）基于深度學習的檢測模型在優化后實時性有所提升，但優化程度往往取決于在何種算法上（優化的基礎）進行何種優化（優化的程度），當前所優化后的目標檢測算法仍然不夠理想，在一些計算效率較低的嵌入式設備或者移動設備上運行仍然略顯不足[12]。

針對上述缺點，本文提出了一種兼具準確性、實時性及輕量化的駕駛員手機使用檢測模型。該模型將Focal-EIoU Loss 與FocalL1 Loss 相結合，加快框回歸損失收斂的同時也提高了框回歸的準確性；其次，在優化過程中會對輕量化檢測算法Yolov5n 進行Slimming剪枝，進一步減少該算法的參數量、計算量及不必要的通道數，確定Slimming 剪枝在輕量化設計中的優越性。本文具體工作如下：（1）通過將Focal-EIoU Loss與FocalL1 Loss相結合，驗證了結合后的損失函數能夠在高質量樣本較多的數據集中發揮重要作用；（2）實驗對比了多種輕量化改進方法，進而說明Slimming 剪枝的有效性；（3）提出一種更加適用于嵌入式設備或移動設備的實時檢測模型，并通過消融實驗來說明每個優化步驟所發揮的作用；（4）利用本文提出的優化方案在公共數據集Pascal VOC 2012上進行實驗，驗證該優化方案的通用性。

1 優化Yolov5n算法

由于Yolov5 算法能夠有效地對目標進行檢測與識別，因此該系列算法受到眾多研究學者的熱愛。Yolov5n算法屬于Yolov5 系列算法中最為輕量化的目標檢測模型，相比Yolov5系列的其他算法，其在保持一定檢測精度的前提下極大地減少了模型參數量與計算量。因此在Yolov5n 算法上進行改進將會更有利于實現駕駛員手機使用行為的高實時性、高準確性檢測。本文對于Yolov5n算法的優化主要包括三方面：數據增強、框回歸損失函數、Slimming 剪枝算法。優化后的算法流程如圖1 所示，虛線部分表示優化后的操作。其中，由于剪枝算法會破壞模型原有的權重信息，同時為了提高模型的訓練及剪枝效率，本文在進行稀疏訓練時將利用原始訓練集對剪枝操作進行指導，而在之后的模型微調中則會通過數據增強后的訓練集來讓模型學習到更加豐富的圖像特征。

圖1 算法流程圖Fig.1 Algorithm flowchart

1.1 數據增強

數據對于模型的表現有很大的影響，利用數據增強方法對數據集進行擴充，減少模型過擬合的同時增加了原有數據圖像的豐富性，使經過訓練后的模型能更好地適應復雜的檢測環境。

Yolov5n 算法本身內置了一些數據增強方法，如模糊處理、灰度化等，但這些方法是對每張圖像同時進行增強處理，雖然這種操作增加了圖片的豐富性，但卻不能顯著增加圖片數據量。由于駕駛員使用手機的行為圖像較為缺少，因此，本文將會單獨采用一些增強方法分別對每張圖像進行處理，圖像每經過一次處理原數據量則增加一倍，同時該操作也解決了數據集圖像較為單一的問題。

本文采用的手機使用數據集為Driver Behavior Dataset[13]中的部分類別，即：打電話行為和編輯信息行為。該數據集結合了State Farm 數據集與其他相關數據集，兩種不同拍攝角度的數據采集可使訓練后的模型泛化性更強。本文利用數據增強庫Albumentations中的8 種數據增強方法分別對數據進行擴充，擴充方法如圖2 所示。其中，本文通過Hue SaturationValue 方法來人為改變原圖片Hue（色調）、Saturation（飽和度）、Value（明度）的范圍，相應增加或減少原圖片的明亮，進而有效地模擬光照環境，使模型在光照環境下能有更好的檢測精度。

圖2 數據增強方法Fig.2 Data augmentation methods

1.2 框回歸損失函數

本文所使用的框回歸損失Focal-EIoU Loss（s）結合了Focal-EIoU Loss與FocalL1 Loss[14]，使得結合后的損失函數能夠提供更加快速的損失收斂與預測框的定位。

1.2.1 CIoU Loss

有效的損失函數可以提高模型的收斂速度與檢測精度。傳統的Yolov5n 算法使用的CIoU 損失導致預測框的長寬不能同時進行同方向調整，從而使得損失收斂變慢、框定位不夠精確。CIoU損失的計算公式如式（1）所示：

v關于邊長w和h的梯度如式（2）所示：

式中，IoU為預測框與目標框的交并比，IoU范圍在[0，1]之間；ρ()?代表預測框和目標框中心點距離，c代表預測框和目標框最小外接矩形的對角線距離；α代表平衡參數，不參與梯度計算；v用來衡量預測框和真實框的寬和高之間的比例一致性；gt代表目標框；由式（2）可知w和h的梯度值具有相反的符號，這在訓練的過程中會出現如下問題：當w和h其中一個值增大時，另一個必然減小，不能保持同增同減，這會導致損失函數收斂過慢以及框定位的不精確。推導如下：

由上述梯度更新公式（其中αt為t輪迭代的學習率）可知，在進行梯度更新時，w、h參數的更新方式將如下所示：

將公式（2）代入上述更新方式，可得：t

由于w、h會相加或相減同一數值，故在進行參數更新時，w、h參數必有一個增大，一個減小。

1.2.2 Focal-EIoU Loss（s）

對于CIoULoss 存在的問題，EIoU 損失直接舍棄了長寬比的懲罰項，而是利用w和h的預測結果對損失的收斂進行指導，計算公式如式（3）所示：

其中，Cw和Ch分別是預測框和目標框最小外接矩形的寬和高。從中可以看出，EIoU 將損失函數分成了三個部分：IoU損失LIoU、距離損失Ldis、邊長損失Lasp，而基于邊長的懲罰將有利于模型中損失函數的快速收斂及精度的提升。

另一方面，為進一步增加高質量樣本在訓練時的重要程度，在借鑒了解決類別不平衡問題的Focal Loss之后，文獻[14]相繼提出了用于解決回歸不平衡問題的FocalL1 Loss 與Focal-EIoU Loss。FocalL1 Loss 函數圖像及梯度曲線如圖3 所示，公式如式（4）所示，Focal-EIoU Loss的定義公式如式（5）所示。

圖3 FocalL1 Loss函數圖像及梯度曲線Fig.3 FocalL1 Loss function image and gradient curve

式（4）中，β可控制曲線的弧度，不論β為何值時α都可控制函數的梯度在[0，1]之間，α=eβ，C=(2αlnβ+α)/4；式（5）中γ為可控制抑制程度的參數。

FocalL1 Loss函數的主要設計理念如下：當框回歸誤差較小（高質量樣本）時，梯度更新的幅度應該迅速增加，而在框回歸誤差較大時（低質量樣本），梯度更新的幅度應該逐漸減小。這種理念增加了高質量樣本在模型訓練時的作用，提高損失函數收斂速度的同時也增加了定位精度。為了結合EIoU Loss 與Lf(x)的優點，使EIoU Loss關注于高質量樣本，把EIoU Loss作為Lf(x)的x值代入公式（4）中顯得更為合適，即當EIoU Loss的損失值減小時，其將加快梯度的更新（關注于高質量樣本）。但當EIoU Loss趨于0時，預測框的梯度更新將會逐漸減小，這反而抑制了高質量樣本對模型訓練的影響[14]。為解決該問題而提出了Focal-EIoU Loss 損失，該損失利用IoU 值對EIoU Loss 進行加權，使得高質量樣本（框回歸損失較小）得到的權重更大，在模型訓練時將會更加關注高質量樣本。

FocalL1 Loss 與Focal-EIoU Loss 在框回歸的過程中都將關注于高質量樣本，但Focal-EIoU Loss 基于加權的做法在高質量樣本較多時就會顯得不那么高效，而FocalL1 Loss 不會受到高質量樣本較多而導致回歸效率降低的影響，當高質量樣本較多時，FocalL1 Loss 的梯度更新甚至會加快。因此本文將結合FocalL1 Loss與Focal-EIoU Loss來提高損失函數的收斂速度與框定位精度，結合后的回歸損失函數稱為：Focal-EIoU Loss（s），公式如式（6）所示。

雖然當EIoU Loss 趨于0 時，FocalL1 Loss 與EIoU Loss系列相結合會抑制高質量樣本對模型訓練的影響，但實驗表明，這種抑制作用對本文所用數據集的影響是微弱的。

1.3 Slimming剪枝算法

減少Yolov5n模型的參數量和計算量可以通過多種方法實現，例如優化骨干網絡、模型壓縮等。考慮到模型實時性，僅僅關注參數量與計算量是不夠的，還要關注模型在優化后的推理速度，有些優化方案雖然減少了參數量與計算量，但模型的推理速度也相應增長，這將導致模型的實時性變差。因此本文在對比了多種優化方案后選擇使用Slimming剪枝算法[15]對模型進行壓縮。

Slimming 剪枝算法利用BN（batch normalization）層的γ參數來衡量當前通道的重要程度，并使用L1 損失來稀疏化γ值。BN層作為一種能加速網絡收斂及提高網絡性能的標準方法，被廣泛應用到現代神經網絡中，其基本公式如式（7）所示：

其中，zin和zout分別是BN層的輸入和輸出，μB表示本批次該層輸入的均值，σB表示本批次該層輸入的方差。BN 層會對卷積后的輸出特征乘上γ因子（縮放因子）來調整其分布，如果γ因子很小，那么這個通道的輸出值也會很小，進而就代表著該通道對于后續網絡的貢獻就很小，在剪枝時就會刪減這些不重要的通道，保留較為重要的通道，從而實現模型的壓縮。

Slimming剪枝算法的定義公式如下：

其中，(x,y)是訓練的輸入和目標，W為網絡中的可訓練參數，前一項代表卷積神經網絡中的訓練損失函數，g(?)是縮放因子上的懲罰項，λ是兩項的平衡因子。在現實研究中，L1 正則化(g(s)=| |s) 被廣泛地用于稀疏化。該剪枝算法包含三個步驟：稀疏正則化、剪枝、微調，其中稀疏正則化就是在模型訓練時利用L1 損失來標記通道的重要程度，剪枝則是根據通道的重要程度進行修剪，而修剪不重要的通道可能會造成模型短暫的性能降低，因此在剪枝后還需要進行模型的微調。

為了提高模型的訓練效率，使模型在微調后能有更好的檢測效果，本文在進行模型稀疏正則化時僅利用原始訓練集對模型進行稀疏訓練，而在微調階段時才利用數據增強后的訓練集對模型進行微調。如果使用數據增強后的訓練集進行稀疏訓練，雖然這種做法增加了模型最初的檢測精度，但模型經過剪枝后又會使檢測精度大幅度降低，影響了模型的訓練效率，而使用原始訓練集進行稀疏訓練不僅能有效識別不重要的通道數，還降低了稀疏訓練的時間。在微調時使用數據增強后的訓練集可以使模型微調到更加優秀的檢測精度，有利于模型整體性能的提升。

2 實驗結果分析

為了滿足實際檢測需求，本文使用“手持通話”“編輯手機”兩種類別數據對模型進行訓練、驗證及測試。去除掉圖片間的重復信息后，數據集的具體信息如表1所示，其中手機使用數據集在進行數據增強后，訓練集的整體數量由3 268 張擴展到29 582 張，驗證集的整體數量由482 張擴展到4 056 張，測試集由411 張擴展到3811張。

表1 數據集信息Table 1 Dataset information

為保持數據的隨機性，在進行數據集的劃分時訓練集、驗證集、測試集的比例基本保持在8∶1∶1。此外，為了保持數據增強后的數據集也具有隨機性，本文在對數據進行數據增強之后才進行訓練集、驗證集及測試集的劃分，而不是在原始訓練集、驗證集及測試集的基礎上進行數據的增強。在進行模型訓練時超參數皆為默認，實驗環境如表2所示。

表2 GPU服務器配置Table 2 GPU server configuration

2.1 框回歸損失函數對比實驗

本實驗的目的是通過對比LEIoU、LFocal-EIoU、Lf(LEIoU)、Lf(LFocal-EIoU)這四種損失函數，進而驗證Lf(LFocal-EIoU)在類別數量相對較少，識別目標相對較大，高質量樣本相對較多的數據集中能表現出更高的有效性。本文在手機使用數據集（原始）及Pascal VOC 2012 數據集的基礎上，通過更改Yolov5n 的框回歸損失函數來進行上述四種損失函數的對比試驗，結果如圖4所示，其中Lf(x)中的β值與γ值取實驗結果最優的值：β值為0.8，γ值為0.5[14]。

圖4 框回歸損失函數在數據集上的對比Fig.4 Comparison of box regression loss functions on datasets

由圖4可知，Lf(LFocal-EIoU)相比LEIoU、LFocal-EIoU以及Lf(LEIoU)不論是在收斂速度還是回歸精度上都能使模型達到更高的檢測性能。其次，Lf(x)相比LFocal-EIoU會在高質量樣本較多（與目標框重疊較多）的數據集中發揮更重要的作用，即在原數據集上（該數據集目標種類少、識別目標大），LEIoU到LFocal-EIoU所實現的精度提升并不大，但LEIoU到Lf(LEIoU)的提升卻是巨大的。產生這種現象的原因可能在于：LFocal-EIoU是利用IoU 的權重來關注高質量樣本，但當高質量樣本在數據集中出現較多或者樣本的整體質量得到提升時，這種加權的做法就會顯得不那么高效，而Lf(x)不會受到高質量樣本較多而導致回歸效率降低的影響，當高質量樣本較多時，Lf(x)的梯度更新甚至會加快。另一方面，當LEIoU趨于0時，雖然Lf(x)與LEIoU系列相結合的損失函數會抑制高質量樣本對模型訓練的指導，但這種影響還是要低于高質量樣本對于LFocal-EIoU的影響。因此，Lf(LEIoU)及Lf(LFocal-EIoU)能夠在本文甚至Pascal VOC 2012 這種類別數量較少，識別目標較大，高質量樣本較多的數據集中表現出較高的回歸精度與收斂速度，但隨著類別數目逐漸增大，識別目標逐漸減小以及高質量樣本的逐漸降低，例如在COCO 數據集中，LFocal-EIoU這種基于IoU權重的方式所發揮的作用隨之增加，進而在性能上超過Lf(LEIoU)[14]。

2.2 輕量化對比實驗

該實驗驗證了Slimming 算法能更加有效地增加Yolov5n模型的輕量化和實時性水平。本實驗中利用常見的Ghost Conv[16]、MobileNet v3-small[17]、ShuffleNet v2[18]三種算法來優化Yolov5n 的骨干網絡并與Slimming 算法進行對比實驗。其中，利用算法對每張圖片的推理時間Time 來衡量算法的實時性，Time 取10 次中的平均值；“Ghost Conv-C3”表示利用Ghost Conv來替代Yolov5n中的Conv 模塊以及C3 模塊中的Conv 模塊，“Ghost C3”表示利用Ghost Conv 來替代C3 模塊中的Conv 模塊。利用驗證集進行驗證時，經過實驗對比，選取conf-thres=0.01,iou-thres=0.37，同時batch-size=1。

由表3 可知，在保持模型輕量化的基礎上，與其他輕量化算法相比Slimming能有效地降低模型的推理速度，進而提高模型原有的實時性。上述四種算法減少參數量與計算量的同時也降低了模型的檢測精度，但檢測精度可通過其他方式提高，例如本文的數據增強方法、框回歸損失函數等。Ghost Conv、MobileNet v3-small、ShuffleNet v2都增加了模型的推理時間，這也說明這些方法不利于模型的實時性檢測，原因在于：Ghost Conv、ShuffleNet v2都使用了分組卷積，雖然分組卷積能夠降低計算的復雜度（FLOP），但這也帶來了更多的內存訪問消耗（memory access cost，MAC），從而降低了推理速度，相關實驗表明分組數越大MAC也就越大；另一方面，MobileNet v3-small 中使用SE-Net 進一步增加了模型的復雜化，這種多路徑的結構對具有強大并行計算能力的設備不夠友好，推理速度也會有所降低。因此，為減少分組卷積的使用以及精簡網絡結構，利用Slimming對Yolov5n算法進行剪枝可有效提高模型的輕量化和實時性。

表3 骨干網絡優化方法Table 3 Backbone network optimization methods

2.3 消融實驗

本實驗的目的是利用上述Focal-EIoULoss（s）、Slimming 剪枝以及數據增強方法對Yolov5n 算法進行消融實驗，進而對比出各優化步驟對于模型性能的提升，實驗結果如表4 所示。其中，所有模型中的剪枝操作僅使用一次，為了能使模型在微調時充分學習到增強數據的有效特征，微調操作均采用較大的epochs 值60；模型B、C均使用原始數據進行微調；為了突出微調操作的重要性，模型C、F 在進行微調時會使用Focal-EIoU Loss（s），而在之前的稀疏學習時使用原損失函數CIoU Loss，同時模型D、F的增強數據也只會在微調操作中使用。Times 表示模型處理每張圖片所用的時間，即模型預處理時間、模型推理時間以及NMS（non maximum suppression）處理時間三者之和，Times 取10 次實驗的平均值。在利用驗證集進行以下模型的驗證時，經過實驗對比，選取conf-thres=0.01,iou-thres=0.37,同時batch-size=64。

表4 Yolov5n消融實驗Table 4 Yolov5n ablation experiment

由表4 可知，對Yolov5n 模型進行剪枝可以使其減少44.4%的參數量以及45.2%的計算量，但這也使得模型精度有所降低；Focal-EIoU Loss（s）及數據增強都提高了模型的檢測精度，進而增加了模型剪枝后的檢測效率。通過對比，數據增強非常有利于模型精度的提升：由模型C、F 可知，使用數據增強后模型F 的mAP@0.5：0.95 值提高了5.8 個百分點，所以在進行算法優化時使用數據增強操作是必要的。除此之外，對比模型B、D以及模型C、F可知，Slimming可以在一定程度上減少模型的檢測速度，數據增強操作會增加模型的檢測速度。最后，經過上述三種方法的改進可使優化后的Yolov5n 算法（F 模型，Model-F）在手機使用數據集上的mAP 值提高0.2 個百分點，mAP@0.5：0.95 提高2.4 個百分點，在batch-size=64 的條件下，模型處理圖片的時間由2.89 ms縮小到2.30 ms（346 FPS 增加到434 FPS）。Model-F 模型相比其他模型能同時兼具更優的檢測精度、計算量、參數量以及較為優秀的檢測速度，完全可以進一步實現在移動設備及嵌入式設備上的實時性檢測。Model-F模型的檢測圖例如圖5所示。

圖5 Model-F模型的檢測示例Fig.5 Model-F model detection example

2.4 模型通用性實驗

為驗證本文提出優化方法的有效性，利用Yolov5n及優化后的算法Model-F 分別在Road Signs Dataset數據集[19]和Pascal VOC 2012 數據集上進行了對比實驗，結果如表5 所示。其中，Road Signs Dataset 包含4種類別信息以及真實場景下拍攝的交通標志圖片，部分圖片識別目標較小，識別難度要高于本文所采用的手機使用數據集；Pascal VOC 2012數據集多為真實場景下的數據，包含多種類信息的同時具有良好的圖片質量和完整的標簽，多用作模型性能的評估。

表5 Yolov5n與Model-F的對比實驗Table 5 Comparison test of Yolov5n and Model-F

通過對比表4 和表5 可知，針對手機使用數據集、Road Signs Dataset、Pascal VOC 2012，Model-F模型的檢測精度（mAP）相比原始算法分別提升了0.2、7.5、12.3個百分點；由于駕駛員手機使用的數據集識別目標較大、類別總數較少，Yolov5n算法已經能達到較高的檢測精度，所以Model-F模型在該數據集上的精度提升是有限的，而隨著識別目標減小、類別數量增多，Model-F 模型在精度上的提升也越大，這進一步說明了該模型改進方法的有效性；Slimming 根據通道的重要程度進行剪枝，因此Model-F 模型在上述三種數據集中所得到的FLOPs 以及Param 不盡相同；在Road Signs Dataset 數據集上，Model-F 的實時性可達411 FPS，相比原算法提升了94 FPS，在Pascal VOC 2012數據集上，Model-F的實時性可達431 FPS，相比原算法提升了90 FPS。通過在Road Signs Dataset、Pascal VOC 2012兩種數據集上的對比結果可知，本文提出的方法具有良好的通用性。

3 結語

針對駕駛員手機使用檢測實時性不足的問題，結合Slimming 剪枝算法、Focal-EIoU Loss（s）以及數據增強技術，提出了一種兼具輕量化、高精度、實時性的Yolov5n檢測模型。經過優化后的Yolov5n模型（Model-F模型）在檢測手機使用數據集、Road Signs Dataset 數據集、Pascal VOC 2012 數據集時都能夠獲得性能上的顯著提升，這說明Model-F模型在駕駛員手機使用場景中具有較好的適用性，同時也說明了本文所提出的改進方法具有較好的通用性。由實驗可知，Model-F 模型的檢測速度可達430 FPS，有利于模型進一步在移動設備及嵌入式設備上的部署及實時性檢測。

另一方面，本文通過與其他多種框回歸損失函數進行對比，驗證了Focal-EIoU Loss（s）能夠在本文數據集以及Pascal VOC 2012這種識別目標較大、高質量樣本較多的數據集中表現出較高的回歸精度與收斂速度。其次，在應用Slimming剪枝技術的過程中，本文對比了常見的網絡結構更改方法（Ghost Conv、MobileNet v3-small、ShuffleNet v2），發現這些方法雖然都能有效減少模型的計算量，但也相應地增加了模型的推理時間，不利于模型的實時性，這也表明這種結構的改進并不能一定增加模型的實時性，而應用Slimming 剪枝卻能增加一定的實時性，這種對比發現將會對其他算法的改進研究提供一定的思路。

現如今對于駕駛員手機使用的檢測模型已經能夠達到較為準確的精度，但實時性往往并不理想，未來進一步提高模型在移動設備或嵌入式設備上的實時性檢測，這一研究將會備受關注。