基于改進(jìn)YOLOv3的符號(hào)型交通標(biāo)志牌識(shí)別算法

王保柱，李佳南，遠(yuǎn)松靈，李玉倩

(1.河北科技大學(xué) 信息科學(xué)與工程學(xué)院；2.石家莊市京華電子實(shí)業(yè)有限公司，河北 石家莊 050000)

目前，符號(hào)型標(biāo)志牌的識(shí)別方法可分為兩種：①機(jī)器學(xué)習(xí)方法，主要通過提取交通標(biāo)志牌的顏色、形狀等顯著特征，然后應(yīng)用訓(xùn)練好的分類器進(jìn)行目標(biāo)分類、識(shí)別。此方法需要大量的手工計(jì)算，且不能適用于大規(guī)模數(shù)據(jù)集；②深度學(xué)習(xí)的方法，主要利用卷積神經(jīng)網(wǎng)絡(luò)的框架，不需要人工定義特征，網(wǎng)絡(luò)通過不斷的學(xué)習(xí)訓(xùn)練完成目標(biāo)識(shí)別。基于此，文獻(xiàn)[1]采用GIST描述符作為特征提取，并結(jié)合SVM、k-NN和ELM等分類模型進(jìn)行分類，其主要目的是降低模型的計(jì)算量。YOLO (You Only Look Once)是一種基于單狀態(tài)的對(duì)象檢測(cè)[2，3]算法。近年來，單級(jí)探測(cè)器在多尺度檢測(cè)方面取得了新的進(jìn)展，對(duì)小目標(biāo)的檢測(cè)問題得到了廣泛的解決。

根據(jù)上述討論，筆者提出基于YOLOv3的符號(hào)型交通標(biāo)志牌識(shí)別算法。重點(diǎn)在模型架構(gòu)方面進(jìn)行了改進(jìn)。筆者對(duì)YOLOv3模型中結(jié)構(gòu)較復(fù)雜的征提取層Darknet-53替換成一種輕量級(jí)網(wǎng)絡(luò)MobileNetv3，基于此，既保證了算法的識(shí)別準(zhǔn)確率，又減輕了網(wǎng)絡(luò)架構(gòu)和計(jì)算量。

1 相關(guān)工作

1.1 YOLOv3識(shí)別算法

YOLOv3是一個(gè)全卷積的網(wǎng)絡(luò)。整個(gè)架構(gòu)可以分為3個(gè)主要部分：一個(gè)是命名為Darknet-53特征提取器、一個(gè)檢測(cè)器和一個(gè)分類器。①圖像輸入網(wǎng)絡(luò)，會(huì)通過Darknet-53特征提取器，形成不同的尺度來提取圖像特征；②將屬性映射提交到檢測(cè)器，以獲得有關(guān)邊界框位置的信息；③由分類器決定所得到的信息屬于哪一類。該網(wǎng)絡(luò)模型中多數(shù)為卷積層，后面還包含殘差層[4]、上采樣層和跳躍連接。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv3網(wǎng)絡(luò)

YOLOv3算法的顯著優(yōu)點(diǎn)是網(wǎng)絡(luò)只需要完成一次前向傳播，就能夠得到單一圖像中的多目標(biāo)檢測(cè)結(jié)果。模型能夠?qū)斎雸D像的全部場(chǎng)景和目標(biāo)進(jìn)行分析，同時(shí)生成多個(gè)特征進(jìn)行預(yù)測(cè)。此方法相對(duì)于滑動(dòng)窗口需要對(duì)單一圖像進(jìn)行多次迭代的方法更高效。

1.2 MobileNetv3網(wǎng)絡(luò)

隨著深度學(xué)習(xí)被廣泛應(yīng)用于移動(dòng)終端，輕量級(jí)的移動(dòng)網(wǎng)絡(luò)不斷提升。MobileNetv1[5]借鑒了傳統(tǒng)的VGG體系結(jié)構(gòu)，并增加了深度可分離卷積。在此基礎(chǔ)上，引入了MobileNetv2[6，7]，該網(wǎng)絡(luò)具有線性瓶頸的倒殘差結(jié)構(gòu)。2019年MobileNetv3得到進(jìn)一步開發(fā)，借助NAS和NetAdapt網(wǎng)絡(luò)搜索進(jìn)行網(wǎng)絡(luò)優(yōu)化，使用hard-swish非線性激活函數(shù)代替ReLU，有效改善網(wǎng)絡(luò)效率和相對(duì)精度。MobileNetv3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 MobileNetv3網(wǎng)絡(luò)結(jié)構(gòu)

1.2.1 深度可分離卷積。深度可分離卷積與傳統(tǒng)卷積每層只需要計(jì)算一次不同，深度可分離卷積的計(jì)算包含兩個(gè)步驟：①深度卷積對(duì)每個(gè)輸入通道應(yīng)用一個(gè)卷積濾波器進(jìn)行濾波；②對(duì)所有通道應(yīng)用逐點(diǎn)卷積來合并深度卷積的輸出。此做法能夠減少計(jì)算成本和提高計(jì)算效率。

1.2.2 瓶頸層。MobileNetv2提出了線性瓶頸來降低輸入的維數(shù)，以減少在高維空間提取特征丟失信息的情況。線性瓶頸是一個(gè)帶濾波器的卷積層，與線性激活函數(shù)相結(jié)合。

1.2.3 倒殘差。瓶頸層的開始還包含一個(gè)擴(kuò)展層，MobileNetv2在瓶頸之間使用快捷的直接連接的方法有效防止梯度損失和爆炸。

1.2.4 網(wǎng)絡(luò)架構(gòu)搜索。MobileNetv3應(yīng)用網(wǎng)絡(luò)架構(gòu)搜索以選擇最優(yōu)的體系結(jié)構(gòu)，這是一種選擇神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的搜索空間，通過強(qiáng)化學(xué)習(xí)在搜索空間中有效搜索，以達(dá)到最佳結(jié)構(gòu)模型。

1.2.5 激活函數(shù)。為了獲得更高的精度，引入了新的激活函數(shù)swish來代替ReLU函數(shù)。這個(gè)函數(shù)被定義為：

swishx=x·σ(x)

但是，swish中的sigmoid函數(shù)在移動(dòng)端會(huì)消耗大量的計(jì)算成本，因此MobileNetv3使用ReLU6函數(shù)來近似swish中的sigmoid函數(shù)，稱為swish的硬版本(hard-swish)定義為：

1.3 改進(jìn)后YOLOv3識(shí)別算法

由于YOLOv3中的特征提取器Darknet-53，結(jié)構(gòu)較復(fù)雜，計(jì)算成本大。因此，筆者采用輕量級(jí)的MobileNetv3替換YOLOv3的特征提取層，并將兩種網(wǎng)絡(luò)模型相融合。改進(jìn)后的算法結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)后YOLOv3算法結(jié)構(gòu)

改進(jìn)后的網(wǎng)絡(luò)首先使用MobileNetv3提取圖像特征，特征提取后繼續(xù)應(yīng)用類似特征金字塔(FPN)的多尺度檢測(cè)方法，結(jié)合殘差網(wǎng)絡(luò)將圖片轉(zhuǎn)化成三個(gè)不同尺寸的特征，將提取的特征用于進(jìn)一步檢測(cè)每個(gè)網(wǎng)格單元中的目標(biāo)。

2 交通標(biāo)志牌識(shí)別算法實(shí)現(xiàn)

2.1 數(shù)據(jù)集

為了使算法更具實(shí)際應(yīng)用價(jià)值，參考公開的GTSRB、GTSDB數(shù)據(jù)集的基準(zhǔn)，采集我國(guó)的交通標(biāo)志牌圖像，作為本文的數(shù)據(jù)集。在數(shù)據(jù)集創(chuàng)建的過程中，首先通過車載相機(jī)拍攝標(biāo)志牌圖像，然后使用LabelImg工具對(duì)圖像進(jìn)行標(biāo)注分類。

2.2 實(shí)驗(yàn)過程

改進(jìn)后的算法在本文創(chuàng)建的交通標(biāo)志牌數(shù)據(jù)集的950張圖像上進(jìn)行訓(xùn)練。訓(xùn)練過程中，數(shù)據(jù)集被劃分為訓(xùn)練集70%，測(cè)試集20%，驗(yàn)證集10%。設(shè)置網(wǎng)絡(luò)進(jìn)行500 epoch的訓(xùn)練，batch sizes大小為23。使用Adam優(yōu)化器并設(shè)置初始學(xué)習(xí)率為0.001。為了避免過擬合，自適應(yīng)地調(diào)整學(xué)習(xí)率。

2.3 實(shí)驗(yàn)結(jié)果與分析

網(wǎng)絡(luò)訓(xùn)練過程中，通過不斷迭代獲得改進(jìn)后YOLOv3算法的最優(yōu)模型。識(shí)別結(jié)果如圖4所示。

(a)小目標(biāo)識(shí)別結(jié)果

(b)大目標(biāo)識(shí)別結(jié)果

結(jié)果顯示，符號(hào)型交通標(biāo)志牌可被正確地識(shí)別。為了進(jìn)一步評(píng)價(jià)文中改進(jìn)的YOLOv3算法的識(shí)別性能，應(yīng)用同一數(shù)據(jù)集對(duì)傳統(tǒng)的YOLOv3算法進(jìn)行測(cè)試，進(jìn)而對(duì)比兩種模型的各項(xiàng)指標(biāo)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 算法改進(jìn)前后的試驗(yàn)結(jié)果對(duì)比

表1中的數(shù)據(jù)清楚表明，改進(jìn)前后的網(wǎng)絡(luò)模型都能夠很好的識(shí)別符號(hào)型交通標(biāo)志牌。改進(jìn)后算法的識(shí)別精度增加了1.19%，增長(zhǎng)幅度不大，但是模型的大小明顯得到壓縮，從原始的234MB降至35MB，所占內(nèi)存僅有35MB，使算法能更好地應(yīng)用于移動(dòng)設(shè)備。基于此，網(wǎng)絡(luò)的識(shí)別速度也從120.35ms減少至40.52ms，大大提高了網(wǎng)絡(luò)的運(yùn)行效率。

3 結(jié)束語

①筆者基于YOLOv3算法模型進(jìn)行符號(hào)型交通標(biāo)志牌的識(shí)別，并對(duì)網(wǎng)絡(luò)架構(gòu)進(jìn)行了優(yōu)化，該算法的識(shí)別結(jié)果在保證準(zhǔn)確率的必要前提下，識(shí)別速度顯著提高。 ②將原有YOLOv3算法特征提取層Darknet-53替換為一個(gè)輕量級(jí)的MobileNetv3網(wǎng)絡(luò)，通過改變YOLOv3的模型架構(gòu)，以大大減少算法計(jì)算成本，優(yōu)化識(shí)別效率。通過實(shí)驗(yàn)證明，此算法可以廣泛應(yīng)用于汽車移動(dòng)端實(shí)時(shí)性檢測(cè)和移動(dòng)終端嵌入，具有較強(qiáng)的魯棒性。③由于技術(shù)知識(shí)有限，數(shù)據(jù)集的采集條件多為良好的環(huán)境，接下來，會(huì)進(jìn)一步增強(qiáng)數(shù)據(jù)樣本的復(fù)雜性和實(shí)用性。