基于YOLO的安全帽檢測(cè)方法①

林 俊,黨偉超,潘理虎,2,白尚旺,張 睿

1(太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024)

2(中國(guó)科學(xué)院 地理科學(xué)與資源研究所,北京 100101)

圖像視頻中的場(chǎng)景目標(biāo)物體檢測(cè)已經(jīng)成為當(dāng)前人工智能、計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn)[1,2].而生產(chǎn)安全問(wèn)題一直是一個(gè)社會(huì)關(guān)注度極高的問(wèn)題,每年近百萬(wàn)起安全事故給社會(huì)和家庭帶來(lái)巨大的壓力.根據(jù)相關(guān)報(bào)告顯示,95%的安全事故是由于工人的違規(guī)違章造成的.安全帽作為作業(yè)工人最基本的個(gè)體防護(hù)裝備,對(duì)工作人員的生命安全具有重要意義.但是,部分操作人員安全意識(shí)缺乏,不佩戴安全帽行為時(shí)有發(fā)生.安全帽檢測(cè)已經(jīng)成為構(gòu)建生產(chǎn)安全視頻監(jiān)控的一項(xiàng)重要技術(shù),在煤礦、變電站、建筑工地等實(shí)際場(chǎng)景中需求廣泛.

目標(biāo)檢測(cè)是指找出輸入圖像中的目標(biāo)物體,包含物體分類(lèi)和物體定位兩個(gè)子任務(wù),判斷物體的類(lèi)別和位置.傳統(tǒng)的目標(biāo)檢測(cè)方法如幀差法[3]、光流法[4]、背景差分法[5]、viola-Jones 檢測(cè)器[6]、HOG 檢測(cè)器[7]、可變性部件模型(Deformable Part based Model,DMP)[8]等.這些方法在檢測(cè)時(shí)主要分為三個(gè)步驟：第一步獲取前景目標(biāo)信息或者采用滑動(dòng)窗口對(duì)圖像中的每一個(gè)尺度和像素進(jìn)行遍歷,第二步進(jìn)行特征提取,第三步利用提取到的特征建立數(shù)學(xué)模型或者利用分類(lèi)器(如SVM[9]、AdaBoost[10])進(jìn)行分類(lèi)得到目標(biāo)檢測(cè)結(jié)果.傳統(tǒng)的檢測(cè)方法在特定的場(chǎng)景下可以取得良好效果,但在開(kāi)放環(huán)境下,如角度變換、光照不足、天氣變化等,其準(zhǔn)確性難以得到保證,且泛化能力差.除此之外,基于傳統(tǒng)的手工特征設(shè)計(jì)依賴(lài)大量的先驗(yàn)知識(shí),主觀性強(qiáng),分三步走的檢測(cè)過(guò)程繁瑣、計(jì)算開(kāi)銷(xiāo)大,在一些要求實(shí)時(shí)檢測(cè)的場(chǎng)景,往往具有挑戰(zhàn)性.

近年來(lái)人工智能快速發(fā)展,計(jì)算機(jī)視覺(jué)作為人工智能的一個(gè)重要研究方向,也迎來(lái)了第三次熱潮[11].目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)研究熱點(diǎn),大量的基于卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)秀目標(biāo)檢測(cè)算法取得了巨大的成功[12],激勵(lì)著越來(lái)越多的學(xué)者開(kāi)始致力于深度學(xué)習(xí)目標(biāo)檢測(cè)算法的研究.YOLO[13](You Only Look Once)是由Joseph Redmon 等人最早在2016年CVPR 上提出的基于卷積神經(jīng)網(wǎng)絡(luò)、快速、高效、開(kāi)放的目標(biāo)檢測(cè)算法,截止2018年,已有3 個(gè)改進(jìn)的版本：YOLO,YOLO9000[14],和YOLOv3[15].YOLO9000 在YOLO 的基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn),加入了批標(biāo)準(zhǔn)化層(Batch Normalization,BN)和類(lèi)Anchor 機(jī)制,在保證實(shí)時(shí)性的前提下,準(zhǔn)確率有了較大的提升,可以檢測(cè)9000 類(lèi)目標(biāo).YOLOv3 在YOLO和YOLO9000 的基礎(chǔ)上進(jìn)行改進(jìn),采用特征融合和多尺度預(yù)測(cè),在檢測(cè)速度和檢測(cè)精度上都達(dá)到了最先進(jìn)的水平.

本文首先根據(jù)是否佩戴安全帽單類(lèi)檢測(cè),修改分類(lèi)器,將輸出修改為18 維度的張量.之后采用YOLOv3在ImageNet 上的預(yù)訓(xùn)練模型,在此基礎(chǔ)對(duì)實(shí)際場(chǎng)景下采集到的2010 張數(shù)據(jù)樣本進(jìn)行標(biāo)注并訓(xùn)練,根據(jù)損失函數(shù)曲線和IOU 曲線對(duì)模型進(jìn)行優(yōu)化,得到最優(yōu)的安全帽檢測(cè)模型.基于YOLOv3 的安全帽檢測(cè)方法能夠自主學(xué)習(xí)目標(biāo)特征,減少手工特征設(shè)計(jì)人為因素干擾,具有較高的準(zhǔn)確率,對(duì)復(fù)雜場(chǎng)景下的不同顏色、不同角度的安全帽檢測(cè)展現(xiàn)出很好的泛化能力和健壯性.

1 安全帽檢測(cè)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩類(lèi)：一類(lèi)是以RCNN[16-18]系列算法為代表的、“兩步走”的基于候選區(qū)域的目標(biāo)檢測(cè)算法,一類(lèi)是以YOLO、SSD[19]為代表的、“一步走”的基于回歸的目標(biāo)檢測(cè)算法.基于候選區(qū)域的目標(biāo)檢測(cè)算法從理論上來(lái)講比基于回歸的目標(biāo)檢測(cè)算法精準(zhǔn)度更高,以Faster-RCNN 為代表,基于候選區(qū)域的目標(biāo)檢測(cè)算法由卷積層(convolution layers)、區(qū)域候選網(wǎng)絡(luò)(Region Proposal Networks,RPN)、感興趣區(qū)域池化層(ROI Pooling)、分類(lèi)層(Classification)四部分組成.卷積層由一組基礎(chǔ)的卷積層、激活層和池化層組成,用來(lái)提取特征,產(chǎn)生后續(xù)所需要的特征圖；區(qū)域候選網(wǎng)絡(luò)主要用于生成區(qū)域候選框；感興趣區(qū)域池化層負(fù)責(zé)收集特征圖和區(qū)域候選框,將信息綜合起來(lái)進(jìn)行后續(xù)類(lèi)別的判斷；最后一層分類(lèi)層,根據(jù)區(qū)域候選網(wǎng)絡(luò)綜合的信息進(jìn)行目標(biāo)類(lèi)別的判定,同時(shí)修正候選框的位置.總的來(lái)說(shuō),Faster-RCNN 首先采用RPN 網(wǎng)絡(luò)產(chǎn)生候選框,之后再對(duì)候選框進(jìn)行位置的修定和目標(biāo)的分類(lèi).由于其復(fù)雜的網(wǎng)絡(luò)構(gòu)成,檢測(cè)速度相對(duì)來(lái)說(shuō)比較慢一點(diǎn).基于回歸的目標(biāo)檢測(cè)算法真正意義上實(shí)現(xiàn)了端到端的訓(xùn)練,以YOLO為代表,基于回歸的目標(biāo)檢測(cè)算法一次性完成目標(biāo)的分類(lèi)與定位,整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)只由卷積層組成,輸入的圖像只經(jīng)過(guò)一次網(wǎng)絡(luò),所以基于回歸的目標(biāo)檢測(cè)算法更快.改進(jìn)版的YOLOv3,不論在速度上還是在精度上都到達(dá)了最先進(jìn)的水平.

由于YOLOv3 在目標(biāo)檢測(cè)上取得優(yōu)異成績(jī),將YOLOv3 算法應(yīng)用于安全帽檢測(cè).基于ImageNet 上的預(yù)訓(xùn)練模型,修改分類(lèi)器,用采集到的2010 張樣本數(shù)據(jù)訓(xùn)練安全帽檢測(cè)器(Helmet Detector).利用訓(xùn)練得到的安全帽檢測(cè)器對(duì)包含2000 張圖片的測(cè)試集進(jìn)行測(cè)試,圖1展示了安全帽檢測(cè)器結(jié)構(gòu).

1.1 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3 以darknet-53 作為基礎(chǔ)網(wǎng)絡(luò),采用多尺度預(yù)測(cè)(類(lèi)FPN[20]) 的方法,分別在大小為13×13、26×26、52×52 的特征圖上進(jìn)行預(yù)測(cè).多尺度預(yù)測(cè)和特征融合提高了小目標(biāo)的識(shí)別能力,從而提升整個(gè)網(wǎng)絡(luò)的性能.圖2顯示了YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu).

YOLOv3 整個(gè)網(wǎng)絡(luò)只由一些卷積層(convolution layers)、激活層(leaky relu)、批標(biāo)準(zhǔn)化層(Batch Normalization,BN)構(gòu)成.對(duì)于一張指定的輸入圖像,首先通過(guò)darknet-53 基礎(chǔ)網(wǎng)絡(luò)進(jìn)行特征的提取和張量的相加,之后在得到的不同尺度的特征圖上繼續(xù)進(jìn)行卷積操作,通過(guò)上采樣層與前一層得到的特征圖進(jìn)行張量的拼接,再經(jīng)過(guò)一系列卷積操作之后,在不同特征圖上進(jìn)行目標(biāo)檢測(cè)和位置回歸,最后通過(guò)YOLO 檢測(cè)層(YOLO Detection)進(jìn)行坐標(biāo)和類(lèi)別結(jié)果的輸出.

圖1 安全帽檢測(cè)器結(jié)構(gòu)

圖2 YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 分類(lèi)器設(shè)置

YOLOv3 算法在COCO 數(shù)據(jù)集上檢測(cè)80 種物體類(lèi)別.本應(yīng)用場(chǎng)景中,只需要檢測(cè)沒(méi)有佩戴安全帽一類(lèi),可以將安全帽檢測(cè)轉(zhuǎn)化為一個(gè)單分類(lèi)問(wèn)題,減少網(wǎng)絡(luò)計(jì)算開(kāi)銷(xiāo).

YOLOv3 輸出3 個(gè)不同尺度的特征圖：y1、y2、y3,如圖2所示.不同的特征圖對(duì)應(yīng)不同的尺度,分別為13×13、26×26、52×52,深度均為255.在YOLOv3中,采用類(lèi)Anchor 機(jī)制,通過(guò)維度聚類(lèi)的方法確定模版框(anchor box prior),模版框的個(gè)數(shù)k=9,k為超參數(shù),在實(shí)驗(yàn)的基礎(chǔ)上得出.9 個(gè)模版框由3 個(gè)輸出張量平分,每個(gè)輸出張量中的每個(gè)網(wǎng)格會(huì)輸出3 個(gè)預(yù)測(cè)框,所以針對(duì)有80 種類(lèi)別的COCO 數(shù)據(jù)集來(lái)說(shuō),輸出張量的維度為3×(5+80)=255,其中3 代表每個(gè)網(wǎng)格預(yù)測(cè)的3 個(gè)模版框,5 代表每個(gè)預(yù)測(cè)框的坐標(biāo)信息(x,y,w,h),以及置信度(confidence,c).

根據(jù)實(shí)際場(chǎng)景,修改分類(lèi)器,改變網(wǎng)絡(luò)最后一層的輸出維度.只檢測(cè)不戴安全帽一類(lèi),輸出維度變?yōu)?×(5+1)=18.這樣可以在不影響實(shí)際需求的前提下,減少網(wǎng)絡(luò)運(yùn)算量,提高檢測(cè)精度和速度.

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集制作

實(shí)驗(yàn)數(shù)據(jù)集來(lái)源于建筑工地3 號(hào)通道口視頻監(jiān)控.為了使訓(xùn)練數(shù)據(jù)集具有較高的質(zhì)量、模型具有多場(chǎng)景檢測(cè)能力,采集到的監(jiān)控中工作人員佩戴安全帽樣本來(lái)自后方、前方、左側(cè)方、右側(cè)方等不同的檢測(cè)角度,不僅僅局限為某一特定方向.而且這些數(shù)據(jù)來(lái)源于一天中的不同時(shí)間階段,具有不同的光照條件.在這樣的數(shù)據(jù)集上進(jìn)行模型訓(xùn)練更具有代表性.制作數(shù)據(jù)集時(shí),首先將獲取到的不同時(shí)間段的視頻監(jiān)控按1 幀/秒進(jìn)行截圖,獲取訓(xùn)練數(shù)據(jù)樣本后再進(jìn)行篩選,過(guò)濾掉沒(méi)有目標(biāo)的樣本,同時(shí)兼顧不同角度的樣本的數(shù)量,使各個(gè)角度的樣本數(shù)量基本達(dá)到均衡.根據(jù)Pascal VOC和COCO數(shù)據(jù)集的圖像標(biāo)注標(biāo)準(zhǔn),將獲取到的樣本使用yolomark 進(jìn)行標(biāo)注,產(chǎn)生訓(xùn)練所需要的xml 文件.訓(xùn)練樣本示例和標(biāo)注后的訓(xùn)練樣本示例如圖3和圖4所示.本實(shí)驗(yàn)訓(xùn)練集包括2010 張戴安全帽和不戴安全帽樣本,1500 張驗(yàn)證數(shù)據(jù)集,以及2000 張測(cè)試集.訓(xùn)練樣本、驗(yàn)證樣本和測(cè)試樣本都不重復(fù).如表1所示.

圖3 訓(xùn)練樣本示例

圖4 標(biāo)注后的訓(xùn)練樣本示例

表1 數(shù)據(jù)集

2.2 模型訓(xùn)練細(xì)節(jié)

制作好訓(xùn)練集,采用darknet53.conv.74 預(yù)訓(xùn)練權(quán)重和yolov3-cov.cfg 配置文件,在此基礎(chǔ)上利用標(biāo)注好的訓(xùn)練集進(jìn)行YOLOv3 模型的訓(xùn)練.在訓(xùn)練過(guò)程中,保存日志文件和權(quán)重文件.從日志文件中提取loss值和IOU 值做圖,根據(jù)損失函數(shù)和IOU 的變化曲線圖進(jìn)行優(yōu)化調(diào)參并確定最優(yōu)權(quán)重.在測(cè)試時(shí),采用loss值最小的迭代次數(shù)產(chǎn)生的權(quán)重作為檢測(cè)的最終權(quán)重文件.

3 實(shí)驗(yàn)結(jié)果分析

3.1 Loss和迭代次數(shù)實(shí)驗(yàn)結(jié)果分析

Loss值是整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的損失函數(shù)部分,它的值越小越好,期望值為0.本實(shí)驗(yàn)中將網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行微調(diào),在學(xué)習(xí)率(learning rate)為0.001,steps=8000,12 000,scales=0.1,0.1 下迭代20 000 次.由圖5可以看出：在前200 次迭代中,損失函數(shù)值較大,在迭代到大約600 次的時(shí)候損失函數(shù)值驟然下降,從700 到8000 輪迭代過(guò)程中,損失函數(shù)值繼續(xù)較快速下降.在進(jìn)行到8000 次的時(shí)候,學(xué)習(xí)率降低為之前的0.1,損失值緩慢下降.在12 000 次的時(shí)又將學(xué)習(xí)率降低為上一次的0.1,學(xué)習(xí)速度變慢,損失函數(shù)小幅度減小,16 000 次以后,損失函數(shù)值幾乎趨于平穩(wěn),不再減少.

圖5 平均loss

3.2 Avg IOU 實(shí)驗(yàn)結(jié)果分析

Avg IOU (Intersection Over Union)指的是在當(dāng)前迭代次數(shù)中,產(chǎn)生的候選框與原標(biāo)記框之間交集與并集的比值,該值越大越好,期望值為1.本實(shí)驗(yàn)從訓(xùn)練日志文件中提取IOU 值信息,采用滑動(dòng)平均算法對(duì)80 000條數(shù)據(jù)進(jìn)行平均,使得曲線更加平滑,觀察變化趨勢(shì).圖6可以看出,從第1 輪到50 000 輪,隨著迭代次數(shù)的增加,平均IOU 值總體呈上升趨勢(shì),從50 000 輪以后,波動(dòng)逐漸趨于平緩.

圖6 平均IOU

3.3 目標(biāo)檢測(cè)準(zhǔn)確度分析

對(duì)loss曲線分析,模型采用迭代17 000 次時(shí)的權(quán)重文件作為檢測(cè)模型的最終權(quán)重,將2000 張測(cè)試集用訓(xùn)練好的模型進(jìn)行測(cè)試驗(yàn)證.分析實(shí)驗(yàn)結(jié)果,得出檢測(cè)準(zhǔn)確率.如表2所示.

表2 安全帽檢測(cè)器檢測(cè)結(jié)果分析

實(shí)驗(yàn)在無(wú)GPU 的環(huán)境下,平均檢測(cè)速度達(dá)到了35 fps,滿足實(shí)時(shí)性的要求.同時(shí),本實(shí)驗(yàn)在較少訓(xùn)練樣本下到達(dá)了98.7%的準(zhǔn)確率,顯示了安全帽檢測(cè)方法的優(yōu)越性.圖7展示了安全帽檢測(cè)模型結(jié)果示例.

4 結(jié)論與展望

詳細(xì)闡述了基于YOLO 的安全帽檢測(cè)方法,包括分類(lèi)器設(shè)置、訓(xùn)練以及模型優(yōu)化.實(shí)驗(yàn)結(jié)果表明,基于YOLO 的安全帽檢測(cè)方法不論在測(cè)試精度上還是在檢測(cè)速度上都取得了良好的效果.在2000 張測(cè)試集上進(jìn)行評(píng)估,達(dá)到了98.7%的準(zhǔn)確率；在無(wú)GPU 的環(huán)境下,平均檢測(cè)速度達(dá)到了35 fps.但是基于YOLO 的安全帽檢測(cè)模型在重疊目標(biāo)上會(huì)出現(xiàn)漏檢現(xiàn)象,下一步可針對(duì)重疊場(chǎng)景、密集目標(biāo)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)加子網(wǎng)絡(luò)進(jìn)行重疊目標(biāo)的判斷,也可以增加訓(xùn)練樣本的多樣性、提高訓(xùn)練樣本質(zhì)量,在未來(lái)需要深入探究.

圖7 安全帽檢測(cè)器結(jié)果示例