基于殘差網(wǎng)絡(luò)的智能交通標(biāo)志識(shí)別算法

王佳琪， 李 哲， 高睿杰， 謝冰潔， 谷殿月， 于慧伶

(東北林業(yè)大學(xué) 信息與計(jì)算機(jī)工程學(xué)院， 哈爾濱 150040)

0 引 言

隨著人民生活水平的日益提高，機(jī)動(dòng)車作為一種舒適便捷的交通工具，逐漸成為人民生活中不可或缺的產(chǎn)品。據(jù)調(diào)查，美國(guó)公路上每年發(fā)生約600萬(wàn)起交通事故,其中的94%是由人的操作和是失誤引起的[1]。發(fā)展無(wú)人駕駛汽車可以減少或防止交通事故的目的。自動(dòng)駕駛技術(shù)研究已有近百年的歷史，隨著計(jì)算機(jī)技術(shù)以及人工智能的迅速發(fā)展，自動(dòng)駕駛技術(shù)的研究與開(kāi)發(fā)也進(jìn)入了一個(gè)高速發(fā)展的階段，其中交通標(biāo)志識(shí)別技術(shù)是無(wú)人駕駛汽車感知靜態(tài)交通環(huán)境的關(guān)鍵內(nèi)容，世界各大院校及研究機(jī)構(gòu)在交通標(biāo)志識(shí)別領(lǐng)域均有不同程度的研究[2]。目前主流的方法有基于模板匹配、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法。

模板匹配方法是將預(yù)先已知的小模版在大圖像中找到與模板最匹配(相似)的目標(biāo)，確定其坐標(biāo)位置。馮春貴等人提出了一種改進(jìn)的模板匹配方法，對(duì)限速標(biāo)志進(jìn)行識(shí)別[3]，與傳統(tǒng)模板相比較，識(shí)別率由80.95%提高到95.24%?；谀０迤ヅ浞椒ǖ淖R(shí)別結(jié)果易受到圖像遮擋、變形、破壞等影響，不能同時(shí)兼顧計(jì)算量和魯棒性的要求。隨后基于機(jī)器學(xué)習(xí)的交通標(biāo)志識(shí)別成為了一種更為流行的方法。該算法主要采用“人工提取特征+機(jī)器學(xué)習(xí)”的模式，先提取能夠描述交通標(biāo)志信息的特征，隨后結(jié)合機(jī)器學(xué)習(xí)算法完成識(shí)別。常用的機(jī)器學(xué)習(xí)分類器有支持向量機(jī)(SVM)、BP神經(jīng)網(wǎng)絡(luò)和最近鄰算法(KNN)。胡曉光等人提出使用SIFT方法提取標(biāo)志的局部特征，使用SVM訓(xùn)練得到分類模型，在采集測(cè)試影像集上的識(shí)別率為93%[4]。深度學(xué)習(xí)具有十分強(qiáng)大的特征學(xué)習(xí)能力，深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)不需要設(shè)計(jì)手工特征，輸入的圖像可以通過(guò)監(jiān)督學(xué)習(xí)來(lái)自動(dòng)完成特征提取和分類。Sermanet等人提出的多尺度CNN應(yīng)用于交通標(biāo)志的識(shí)別，達(dá)到99.17%的準(zhǔn)確率[5]。基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別方法相比于傳統(tǒng)人工設(shè)計(jì)特征方法更有優(yōu)勢(shì)，準(zhǔn)確率更高。但是計(jì)算效率較低，對(duì)硬件要求較高。

采用以上各方法，目前已經(jīng)基本可以實(shí)現(xiàn)對(duì)各類交通標(biāo)志的準(zhǔn)確識(shí)別。準(zhǔn)確率不斷提升的同時(shí)也提高了對(duì)硬件的要求，提升了生產(chǎn)成本，給智能交通標(biāo)志識(shí)別系統(tǒng)的普及造成了一定的困擾。本文提出的基于殘差神經(jīng)網(wǎng)絡(luò)的智能交通標(biāo)志識(shí)別算法，在Mxnet框架下引入殘差神經(jīng)網(wǎng)絡(luò)模型，支持多機(jī)多節(jié)點(diǎn)、多GPU的計(jì)算，在保證了識(shí)別率的前提下，加快了識(shí)別速度，同時(shí)提高了算法的可移植性，使得智能交通標(biāo)志識(shí)別系統(tǒng)可以在多種用戶端使用，具有較大的應(yīng)用前景。

1 數(shù)據(jù)

本研究采用中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集(CCTSDB)中的58類交通標(biāo)志，如圖1所示，合計(jì)6 164幅圖像作為實(shí)驗(yàn)數(shù)據(jù)。CCTSDB數(shù)據(jù)庫(kù)中的交通標(biāo)志圖像全部從自然場(chǎng)景中采集得到，能夠真實(shí)反映出實(shí)際道路條件下的交通標(biāo)志外貌。同時(shí)，數(shù)據(jù)集中也包含了大量不利條件下的交通標(biāo)志圖像，比如低分辨率、部分標(biāo)志遮擋、不同光照強(qiáng)度、運(yùn)動(dòng)模糊、視角傾斜等，能較全面的反應(yīng)現(xiàn)實(shí)駕車情況，增加識(shí)別系統(tǒng)的魯棒性。

圖1 中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集

2 數(shù)據(jù)預(yù)處理

由于每張交通標(biāo)志圖片的數(shù)據(jù)量較大，所以在實(shí)驗(yàn)之前，需要對(duì)所有的圖片預(yù)處理，提取圖片中的有效信息，如圖2所示。

首先，讀入圖片，進(jìn)行尺寸變換。由于數(shù)據(jù)集中的每張圖片存在尺寸差異，在保證圖片清晰的前提下，使用opencv中的立方插值方法將每張圖片的尺寸變換為64×64像素大小，同時(shí)將其灰度化處理；其次，對(duì)變換后的圖片高斯濾波。本文設(shè)置高斯濾波器模板大小為5×5，偏差sigma參數(shù)值為1.5。以去除圖片中高光點(diǎn)對(duì)邊緣提取的影響；最后，將濾波后的圖片進(jìn)行非微分邊緣檢測(cè)算子Canny邊緣提取，設(shè)置閾值大小為30。Canny方法不容易受噪聲干擾，可以檢測(cè)到真正的弱邊緣。設(shè)置高閾值為30，低閾值為70，高閾值將提取輪廓的物體與背景區(qū)分開(kāi)來(lái)，低閾值平滑邊緣的輪廓。高閾值可能使邊緣輪廓不連續(xù)或者不夠平滑，通過(guò)低閾值來(lái)平滑輪廓線，使不連續(xù)的部分連接起來(lái)，讓邊緣輪廓更加明顯。由于圖片存在除邊緣外的無(wú)效像素信息，為避免對(duì)實(shí)驗(yàn)的干擾，需要進(jìn)一步裁剪，最終僅保留圖片需要識(shí)別的48×48的像素信息，減少了無(wú)關(guān)因素對(duì)實(shí)驗(yàn)的影響。

圖2 交通標(biāo)志預(yù)處理

3 實(shí)驗(yàn)過(guò)程

3.1 實(shí)驗(yàn)方法

在本研究中，采用ResNet模型。該模型可以解決“退化”問(wèn)題，一般的神經(jīng)網(wǎng)絡(luò)模型在學(xué)習(xí)時(shí)，梯度彌散/爆炸成為訓(xùn)練深層次的網(wǎng)絡(luò)的障礙，導(dǎo)致網(wǎng)絡(luò)無(wú)法收斂。而該神經(jīng)網(wǎng)絡(luò)模型不同于一般模型，引入了殘差模塊，如圖3所示。在輸入和輸出之間建立了一個(gè)直接連接，新增的層僅需要在原來(lái)的輸入層上學(xué)習(xí)新的特征，即學(xué)習(xí)殘差。

圖3 殘差模塊圖

通常殘差模塊的結(jié)構(gòu)有二種，一種具有二層3×3的卷積層，另一種有3層卷積層，分別為1×1、3×3、1×1，本文選擇ResNet18模型中的殘差模塊為二層卷積的結(jié)構(gòu)作為基礎(chǔ)。該模型的殘差模塊第一層(weight layer)為3×3卷積層，加入Batch Normalization層，經(jīng)過(guò)Relu激活函數(shù)后還存在一層3×3卷積層，其次一層為Batch Normalization層，最后一層為相加層。ResNet18包含17個(gè)卷積層和一個(gè)全連接層。該模型首先是將預(yù)處理好的圖像進(jìn)行7×7、步數(shù)為2的卷積，之后通過(guò)同樣步數(shù)，3×3的池化層，將池化后的結(jié)果依次帶入到4個(gè)殘差模塊(ResBlock)中，最后加入一層全連接層，輸出一個(gè)1×1的矩陣，通過(guò)Softmax運(yùn)算即可以進(jìn)行圖像的分類，模型中的每一層參數(shù)值大小見(jiàn)表1。通過(guò)引入殘差模型可以在不降低準(zhǔn)確率的情況下快速的學(xué)習(xí)并分類。

表1 ResNet各層參數(shù)值

3.2 實(shí)驗(yàn)結(jié)果與分析

分類模型的評(píng)價(jià)需要關(guān)注分類后的結(jié)果的影響，本實(shí)驗(yàn)將正確劃分的類別和沒(méi)有被正確劃分的類別計(jì)為評(píng)價(jià)指標(biāo)中的二類。

(1)Truepositives(TP)：被正確地劃分為正例的個(gè)數(shù)，即實(shí)際為正例且被分類器劃分為正例的實(shí)例數(shù)；

(2)Falsepositives(FP)：被錯(cuò)誤地劃分為正例的個(gè)數(shù)，即實(shí)際為負(fù)例但被分類器劃分為正例的實(shí)例數(shù)；

(3)Falsenegatives(FN)：被錯(cuò)誤地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為正例但被分類器劃分為負(fù)例的實(shí)例數(shù)；

(4)Truenegatives(TN): 被正確地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為負(fù)例且被分類器劃分為負(fù)例的實(shí)例數(shù)。

本文選取靈敏度和正確率作為殘差神經(jīng)網(wǎng)絡(luò)分類器的評(píng)價(jià)指標(biāo)，檢查分類器是否能夠大概率識(shí)別所有的正例。

通常判斷分類模型的好壞需要關(guān)注分類后的結(jié)果的影響，本實(shí)驗(yàn)將正確劃分的類別和沒(méi)有被正確劃分的類別計(jì)為評(píng)價(jià)指標(biāo)中的二類。

(1)Truepositives(TP): 被正確地劃分為正例的個(gè)數(shù)，即實(shí)際為正例且被分類器劃分為正例的實(shí)例數(shù)(樣本數(shù))；

(2)Falsepositives(FP): 被錯(cuò)誤地劃分為正例的個(gè)數(shù)，即實(shí)際為負(fù)例但被分類器劃分為正例的實(shí)例數(shù)；

(3)Falsenegatives(FN):被錯(cuò)誤地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為正例但被分類器劃分為負(fù)例的實(shí)例數(shù)；

(4)Truenegatives(TN): 被正確地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為負(fù)例且被分類器劃分為負(fù)例的實(shí)例數(shù)。

本文選取靈敏度和正確率作為殘差神經(jīng)網(wǎng)絡(luò)分類器好壞的評(píng)價(jià)指標(biāo)，檢查分類器是否能夠大概率識(shí)別所有的正例。

靈敏度(sensitive)表示所有正例中被分對(duì)的比例，衡量了分類器對(duì)正例的識(shí)別能力，式(1)：

sensitive=TP/(FP+TP).

(1)

正確率(accuracy)越高，分類器越好，式(2)：

accuracy=(TP+TN)/(FP+TP+FN+TN).

(2)

在CCTSDB中，針對(duì)每一個(gè)不同的交通標(biāo)志，通過(guò)本文的殘差神經(jīng)網(wǎng)絡(luò)分類器識(shí)別后，得到的TP為2778，F(xiàn)P為223，F(xiàn)N為278，TN為2 885，經(jīng)過(guò)計(jì)算，最終得到的靈敏度為92.57%，正確率為91.87%.

4 結(jié)束語(yǔ)

本文首先對(duì)圖像高斯平滑和Canny銳化，提取邊緣輪廓，得到更利于分辨的圖像；其次，將預(yù)處理后的圖像帶入到神經(jīng)網(wǎng)絡(luò)框架MxNet中的ResNet18的模型中，該神經(jīng)網(wǎng)絡(luò)框架可以多GPU快速處理，并有較好的移植性；得到的交通識(shí)別分類結(jié)果準(zhǔn)確率為91.87%，與SVM方法比較錯(cuò)誤率降低了10.36%，見(jiàn)表2。本文的交通標(biāo)志圖像智能識(shí)別方法可以快速的識(shí)別交通標(biāo)志。該識(shí)別模型的較高可移植性在無(wú)人駕駛技術(shù)上有較高實(shí)際應(yīng)用價(jià)值。在保證識(shí)別率的前提下，加快了識(shí)別速度，提高了算法的可移植性，使得智能交通標(biāo)志識(shí)別系統(tǒng)可以在多種用戶端使用，具有較好的應(yīng)用前景。

表2 各算法識(shí)別率對(duì)比圖