基于多尺度卷積神經網絡的交通標志識別方法

樊星 趙祥模 劉占文 沈超 徐江

摘 ?要： 為解決交通標志目標易受復雜環境影響且呈現多尺度分布，造成識別精度低的問題，構建一種多尺度卷積神經網絡模型。針對不同尺寸輸入設計相應的網絡結構，提取目標特征，實現對不同尺寸目標的識別，再加權融合各子網絡結果得到最終識別結果，實現多尺度目標識別。經實驗驗證分析，提出算法模型在小尺寸目標、較小尺寸目標、中尺寸目標、大尺寸目標上識別率分別達到99.12%，99.24%，99.41%，99.35%，保障了多尺度輸入目標識別的魯棒性，綜合識別率可以達到99.31%，驗證了算法在平衡實時性及準確率的基礎上，具有一定的實用價值。

關鍵詞： 智能交通; 深度學習; 交通標志識別; 多尺度目標識別; 神經網絡; 加權融合

中圖分類號： TN911.73?34; TP391.41 ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）15?0134?05

Traffic sign recognition method based on multi?scale convolutional neural network

FAN Xing， ZHAO Xiangmo， LIU Zhanwen， SHEN Chao， XU Jiang

（School of Information Engineering， Changan University， Xian 710064， China）

Abstract： In order to solve the problem that the traffic sign is susceptible to the complex environment and presents multi?scale distribution， resulting in low recognition accuracy， a multi?scale convolutional neural network model is constructed. The corresponding network structure is designed for different size sign input to extract the target features and achieve target recognition of signs with different sizes. In the method， the weighted fusion of the results provided by each sub?network is carried out to obtain the final recognition results， and achieve multi?scale target recognition. The experimental verification and analysis results indicate that the proposed algorithm model can achieve the recognition rates of 99.12%， 99.24%， 99.41% and 99.35% on four size targets respectively， which can ensure the recognition robustness of multi?scale input targets， and its comprehensive recognition rate can reach 99.31%. It is verified that the algorithm has a certain practical value on the basis of real?time balance and accuracy.

Keywords： intelligent transportation; deep learning; traffic sign recognition; multi?scale object recognition; neural network; weighted fusion

0 ?引 ?言

智能交通系統（ITS）與自動駕駛技術都需要在復雜交通場景中對影響駕駛行為的相關目標進行正確、實時地捕捉與理解，而交通標志作為傳遞指示引導或警示信息的道路基礎設施，對其進行正確識別是保證智能車輛規范行駛與道路交通安全的前提。交通標志識別主要包括特征提取與識別兩個步驟，其中傳統的交通標志特征提取主要有基于Hu不變矩[1]、基于仿射不變Zernike矩[2]、基于改進Zernike矩[3]的方法，識別分類主要有基于神經網絡[4]、基于模板匹配 [5]、基于支持向量機[6?7]等方法，這些方法都通過傳統的特征對交通標志進行特征提取以實現識別。然而，現實交通環境中交通標志往往易受復雜環境干擾，如復雜多變的光照條件、背景環境干擾、交通標志遮擋、交通標志位置傾斜，這些環境因素導致對其進行手工特征設計與提取難度極大，進而使交通標志識別難度大大增加。

近年來，深度學習模型[8]已在計算機視覺領域受到廣泛關注，卷積神經網絡作為深度學習經典模型之一，對目標識別有著良好的效果。近年來，出現了RCNN[9]，Fast?rcnn，Faster?rcnn[10]，FPN，Yolo，ResNet[11]等區域卷積神經網絡方法，在目標檢測與識別領域取得了不俗的成績，將卷積神經網絡應用于交通標志識別成為研究的熱點。在實際交通環境中，為方便行人和司機注意，交通標志通常被設計成特定的比例大小。在車輛行進過程中，由于車輛與交通位置距離的多變性，采集的交通標志大小不一。如何設計一種魯棒的網絡實現不同尺度下目標的識別是研究的難點之一。因此，本文提出一種多尺度卷積神經網絡模型，融合多尺度下提取目標特征加強對多尺度目標物體識別的精度與魯棒性，以實現對交通標志的高精度識別。

1 ?多尺度卷積神經網絡架構設計

目標識別中最為核心的技術就是特征提取，傳統的手工特征不足以對室外復雜環境下檢測到的交通標志進行識別。卷積神經網絡方法雖然可以靈活提取到交通標志的特征，然而傳統卷積神經網絡進行目標識別時需要輸入固定大小的圖像，在實際環境中待檢測目標的大小卻是多樣化的，如圖1所示。

圖1 ?多尺度目標示例

對于這些目標，需要經過裁剪、縮放等一系列的操作才能輸入到網絡中，如圖2所示，這種裁剪縮放操作很大程度降低了目標識別精度。從原理上看，在卷積神經網絡的實現中并不需要輸入固定大小的圖像，因此，本文設計一種改進的卷積神經網絡實現多尺度交通標志識別。

圖2 ?圖像裁剪縮放操作

1.1 ?網絡總體結構設計

傳統卷積神經網絡往往層級結構固定，然而多尺度的輸入圖像經過相同數量層級的網絡，提取到的特征質量存在較大差異性，如圖3所示，使得網絡不能針對每種尺度的圖像都提取到較為有用的特征，故單一層級結構的網絡對于不同尺度輸入圖像的識別率差別大，只能在某一尺度上進行高質量的有效識別。為了對圖像的輸入不做具體的限制，同時改善使用傳統卷積神經網絡對交通標志進行特征提取存在的差異性，設計網絡整體結構為不同層級子網絡并聯而成。

圖3 ?不同尺度目標特征差異圖

針對不同的輸入尺寸，采用相應的識別子網絡結構。目標尺寸較大時，其蘊含的特征信息更為豐富，需要提取的特征量也更大，對應的識別網絡深度更深，層級更多?？商崛〉奶卣麟S著輸入目標尺寸的減小而減少，識別采用網絡的層數也應隨之發生變化。道路場景中可利用交通標志尺寸通常為15×15到250×250，若針對每一尺寸輸入設計子網絡結構，計算復雜度過高，識別效率遠不能滿足實時性要求。將交通標志按尺寸大小分為?。?5×15～42×42）、較?。?3×43～84×84）、中（85×85～168×168）、大（169×169～250×250）四類。針對每一類設計子網絡，并聯得到由4個子網絡組成的識別網絡，既可以實現對不同尺度輸入目標的特征提取，提高識別精度，又保證識別效率。

1.2 ?各子網絡結構層設計

卷積神經網絡通常由輸入層、卷積層、池化層、全連接層、輸出層組成，其結構如圖4所示。

圖4 ?卷積神經網絡模型結構

卷積層是網絡的核心內容，從本質上來講，卷積核的作用等同于一個濾波器，每一個卷積核得到原圖的一種圖像特征，即稱為卷積特征圖。在經過本層的卷積操作后，將繼續向后續的卷積層傳遞。池化層又稱為下采樣層，它是網絡模型中最基礎的操作之一。

由于卷積層之后的特征圖參數量較大，網絡訓練過程較長，不利于實際操作，因此，利用池化層對特征數量進行采樣提取，用于后續操作。目前最常用的下采樣方式主要包括最大值采樣（max pooling）和均值采樣（mean pooling），最大值采樣即選取鄰域中的最大值作為輸出值，均值采樣則選擇鄰域內所有值的均值作為輸出值。全連接操作也是卷積的特殊表現形式，但是其卷積核是[1×1]大小，全連接層后的輸出常用于結果分類。

當卷積網絡中所有卷積層采用[F×F]的卷積核，且卷積步長為[S1]，池化步長為[S2]時，大小為[H×H]的輸入圖像采用SAME卷積方式經過[n1]次卷積，[n2]次池化，得到輸出圖像大小為：

本文所有子網絡中卷積層采用核大小為[3×3]的濾波器，卷積步長為1，池化步長為2，根據最終特征圖大小一般不小于[7×7]的原則，對各子網絡中的卷積層、池化層的層數及分布進行設計。

子網絡1中設計5層卷積結構，前兩層卷積結構都由2層卷積層與1層池化層組成，后三層卷積結構都由3層卷積層與1層池化層組成，池化方式為最大池化。每一層卷積層的輸出都要用ReLu激活函數[12]進行激活，以增加卷積神經網絡模型的非線性。ReLu函數定義為[y=0， ? ?x<0x， ? ?x>0]，相較于Sigmoid激活函數與tanh激活函數，ReLu函數在SGD中能夠更快速的收斂，同時由于其不涉及指數操作，計算量更小，不會像Sigmoid進入飽和區后造成信息丟失現象，其輸出部分為0的特性也緩解了過擬合問題。

子網絡2中設計4層卷積結構，前兩層卷積結構中包含2層卷積層，后兩層卷積結構中包含3層卷積層，每層卷積層結構與子網絡1中相同。相似地，子網絡3中設計3層卷積結構，前兩層卷積結構中包含2層卷積層，后一層卷積結構中包含3層卷積層;子網絡4中設計兩層包含2層卷積層的卷積結構。為了使4個子網絡結構輸出的維度相同，分別在子網絡3與子網絡4上增加1個、2個1×1的卷積核。

同時使用驗證精度（Validation Accuracy）和過擬合比率（Overfitting Ratio）兩個標準對提出算法的識別效果進行評判。驗證精度定義為：

圖8 ?驗證精度結果

可以看出，傳統的特征識別方法和卷積神經網絡識別法在四類尺寸目標上驗證精度不如本文提出的網絡架構，且不同類間浮動較大，同時目標越小，特征提取難度越大，類內驗證精度也不穩定，說明面對多尺度輸入目標識別效果不魯棒。本文網絡結構不僅在四類尺寸輸入目標中都取得了最優識別結果，且識別精度差異較小，說明面對多尺度輸入不僅識別精度高且魯棒性好。

3 ?結 ?語

復雜交通場景中的交通標志檢測與識別是實現智能交通系統（ITS）與自動駕駛技術的關鍵與基礎。針對智能車真實交通環境中采集的交通標志圖片通常受到環境因素影響，識別難度高，且通常呈現多尺度分布的問題，本文提出一種基于多尺度卷積神經網絡的交通標志識別方法，通過設計多尺度卷積神經網絡架構實現對不同尺寸輸入目標的魯棒識別。通過實驗驗證本文算法的有效性與科學性，與其他算法識別結果的對比表明，本文算法保障了多尺度輸入目標識別的魯棒性，提高了交通標志的識別準確率，在平衡實時性及準確率的基礎上，具有一定的實用價值，可以滿足智能駕駛中對交通標志的檢測要求，為智能駕駛的決策與控制提供了重要依據。

參考文獻

[1] SONG Wenjie， FU Mengyin， YANG Yi. An efficient traffic signs recognition method for autonomous vehicle [J]. Robot， 2015， 37（1）： 102?111.

[2] Mao Jianxu， Liu Min. Traffic sign recognition using ICA?based affine invariant Zernike moment [J]. Journal of electronic measurement & instrument， 2013， 27（7）： 617?623.

[3] WANG Yan， MU Chunyang， MA Xing. Traffic sign recognition based on Zernike invariant moment and SVM [J]. Journal of highway and transportation research and development， 2015， 32（12）： 128?132.

[4] NGUWI Y Y， KOUZANI A Z. Detection and classification of road signs in natural environments [J]. Neural computing & applications， 2008， 17（3）： 265?289.

[5] PRATIKAKIS I， GATOS B， NTIROGIANNIS K. ICDAR 2013 document image binarization contest （DIBCO 2013） [C]// International Conference on Document Analysis and Recognition. [S.l.]： IEEE， 2013： 1506?1510.

[6] CHANG Faliang， HUANG Cui， LIU Chengyun， et al. Traffic sign detection based on Gaussian color model and SVM [J]. Chinese journal of scientific instrument， 2014， 35（1）： 43?49.

[7] MALDONADO BASCON S， LAFUENTE ARROYO H， GIL JIMENEZ P， et al. Road?sign detection and recognition based on support vector machines [J]. IEEE transactions on intelligent transportation systems， 2007， 8（2）： 264?278.

[8] CIRE?AN D， MEIER U， MASCI J， et al. Multi?column deep neural network for traffic sign classification [J]. Neural networks， 2012， 32： 333?338.

[9] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich Feature hierarchies for accurate object detection and semantic segmentation [C]// Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2014： 580?587.

[10] REN S， HE K， GIRSHICK R， et al. Faster rcnn： towards real?time object detection with region proposal networks [C]// International Conference on Neural Information Processing Systems. [S.l.]： MIT Press， 2015： 91?99.

[11] HE Kaiming， ZHANG Xiangyu， REN Shaoqing ， et al. Deep residual learning for image recognition [C]// Proceedings of Conference on Computer Vision and Pattern Recognition. [S.l.： s.n.]， 2015： 770?778.

[12] EVERINGHAM M， GOOL L V， WILLIAMS C K I， et al. The pascal visual object classes （VOC） challenge [J]. International journal of computer vision， 2010， 88（2）： 303?338.

[13] RUTA Andrzej， LI Yongmin， LIU Xiaohui. Real?time traffic sign recognition from video by class?specific discriminative features [J]. Pattern recognition， 2010， 43（1）：416?430.

[14] CIRE?AN D， MEIER U， MASCI J， et al. Multi?column deep neural network for traffic sign classification [J]. Neural network， 2012， 32（1）： 333?338.

[15] AGHDAM H H， HERAVI E J，PUIG D. Toward an optimal convolutional neural network for traffic sign recognition [C]// Proceedings of Eighth International Conference on Machine Vision. [S.l.]： International Society for Optics and Photonics， 2015， 9875： 151?156.

[16] LUO H， YANG Y， TONG B， et al. Traffic sign recognition using a multi?task convolutional neural network [J]. IEEE transactions on intelligent transportation systems， 2017， 99： 1?12.