基于深度學習的交通標志識別研究綜述

安徽理工大學電氣與信息工程學院 張 狀

交通標志識別是智能交通系統的一個重要研究方向，也是未來無人駕駛發展的關鍵一環。特別是針對存在外部因素影響的情況下，比如光照、遮擋等，一個準確性高、魯棒性強的交通標志識別系統急需出現，可以有效的減少交通事故的發生，保障人身安全和社會財產。本文介紹了交通標志識別技術的發展背景，交通標志相關數據集的介紹，和利用深度學習關于交通標志識別的技術研究，最后總結了交通標志識別技術的前景和發展趨勢。

現如今社會經濟發展蓬勃，以汽車為代表的制造業蒸蒸日上，自動駕駛、無人駕駛也逐步出現并且進入商業應用，交通標志識別對行車安全至關重要，因此必須解決交通標志的識別問題。在智能交通系統中交通標志識別系統發揮著無可替代的作用，其可以在駕駛員安全行駛中起到保障作用，減少事故發生率。交通標志識別系統主要由兩個核心技術構成，分別是交通標志的檢測和交通標志的識別。交通標志的檢測包含獲取原始圖像、對原始圖像做預處理和閾值分割；交通標志的識別又分為對交通標志的特征提取和標志的分類兩種。交通標志識別系統首先是檢測，然后是識別，兩者相輔相成才能得到準確的識別效果。

1 交通標志識別研究現狀

1.1 傳統的交通標志識別方法研究現狀

國內外近些年都在大力發展無人駕駛技術，標志著傳統汽車行業新的研究方向，無人駕駛技術上的關鍵環節交通標志識別技術便成了各國學者爭先恐后的研究對象。在各國研究人員的努力下，圖像的分類與識別已經有了階躍性發展，識別方式也由傳統圖像識別向深度學習識別轉變，并且在一些領域已經得到了證實與應用。傳統的交通標志識別算法主要分為對原始圖像進行特征提取和機器學習兩種。算法步驟是首先找到原始圖像中自己感興趣的區域，并對圖像進行預處理，通過算法提取區域的相關特征，之后利用這些特征通過計算機訓練來得到分類器，最后用分類器來對交通標志圖像進行匹配從而達到識別的目的。

1.2 基于卷積神經網絡的交通標志識別方法

卷積神經網絡是深度學習中的非常經典的一個網絡結構，主要由卷積層、采樣層與全連接層構成，非常適合解決圖像處理問題。通過不斷地提取原始圖像特征，降低維度較大的特征，經過全連接層輸出自己想要的結果，圖1所示為卷積神經網絡示意圖。利用卷積神經網絡來進行交通標志識別也取得了豐碩的成果。在2011年國際神經網絡聯合大會上，Schmidhuber等用卷積神經網絡識別交通標志效果，標志識別準確度高達98.31%，而人眼識別交通標志的準確率為98.84%，令人們感到震驚。

圖1 卷積神經網絡示意圖

2 交通標志數據集介紹

約束交通標志識別技術發展的一個重要因素就是缺少相關的數據集，因為缺少必要的數據集，很多研究成果無疾而終，當然也有很多成果是研究人員在自己所創造的數據集中完成的，并且取得了不錯的效果。僅有的幾個數據集包括德國的GTSRB數據集、瑞典的STS數據集等。GTSRB數據集的圖像樣本包括了43種交通標志類別，大約有5萬多張樣本，囊括了大部分的交通標志圖像。樣本中有著不同光照亮度、不同旋轉角度以及傾斜遮擋的照片，非常貼近實際，識別難度也相當高，圖2顯示的GTSRB數據集中的圖像。在2015年，中國公布了第一個屬于國內的交通標志數據集，這就是由清華大學與騰訊公司聯合研發的Tsinghua-Tencent 100K數據集。該數據集總共由超過10萬幅圖像組成，其中涉及到交通標志的大約有1萬幅左右，并且圖像都很清晰且貼合日常實際。

圖2 GTSRB數據集中的交通標志樣例

3 基于深度學習的交通標志識別方法

3.1 基于改進的LeNet-5網絡的交通標志識別

LeNet-5網絡是一個7層的神經網絡，網絡模型較為簡單，對交通標志這種多類別的圖像分類識別，準確率不高，因此研究者通過增加網絡的深度來提高準確率。汪貴平等人（汪貴平，盛廣峰，黃鶴，等.基于改進 Le Net-5 網絡的交通標志識別方法）在傳統LeNet-5卷積神經網絡的基礎上引入Inception卷積模塊組，改變卷積核的大小和數目，并且增加網絡的深度，引入批量歸一化算法來防止隨著網絡層次加深而引起的過擬合和梯度消失等問題。改進的LeNet-5網絡在BelgiumTSC交通標志數據集上的識別率達到了98.51%。張猛等人（張猛，錢育蓉，杜嬌，范迎迎.基于改進的LeNet-5卷積神經網絡交通標志的識別）對原有的LeNet-5網絡結構進行改進，通過改變卷積核大小、增加卷積核個數、添加Dropout層可以有效地增加信息來源，減少重要特征的丟失，并且減少了過度擬合，能夠更好地識別交通標志。

3.2 基于膠囊神經網絡的交通標志識別

膠囊神經網絡于2017年10月份在機器學習的頂級會議‘神經信息處理系統大會（NIPS）’由Hinton教授提出來的。它由卷積神經網絡發展而來，但在結構上與卷積神經網絡有所不同，主要是膠囊神經網絡在卷積層后面加入了兩個新層來代替卷積神經網絡中的采樣層，其網絡結構如圖3所示。

程換新等人（程換新，郭占廣，劉文翰，張志浩.基于膠囊神經網絡的交通標志識別研究）引用膠囊神經網絡來進行交通標志識別，在GTSRB數據集上進行訓練，并提出由輸入層、卷積層、基礎膠囊層、數字膠囊層、全連接層、輸出層組成的交通信號識別模型，得到收斂于98.51%的準確度，并證明了使用膠囊神經網絡的方法可以改善識別率低，訓練速度慢的問題。但膠囊神經網絡仍處于起步階段，存在一定的穩定問題，還有很大的提升空間。

3.3 基于YOLOv3的交通標志識別

YOLOv3算法在交通標志識別中把目標檢測的幾個部分整合到一個深度神經網絡中，采用一個獨立的CNN模型實現端到端的目標檢測。首先要做預處理，將輸入圖片尺寸進行歸一化處理，然后把處理過后的圖片放進CNN網絡，最后通過卷積池化等操作預測結果得到想要的檢測的目標。白士磊等人（白士磊，殷柯欣，朱建啟.輕量級YOLOv3的交通標志檢測算法）在算法上對YOLOv3進行優化以提升對小目標檢測的性能，改進后的YOLOv3使用4個比例來檢測不同大小的目標，并使用8倍下采樣的特征圖來檢測小目標。同時通過規整的通道剪枝策略，在訓練期間通過對網絡BN層Gamma系數施加L1正則約束，使得模型朝著結構性稀疏的方向調整參數，改進后的YOLOv3在交通標志識別方面準確率提升顯著。張鐘文等人（張鐘文，高宇，王靜，曹登平.基于YOLOv3的深度學習交通標志識別系統）則首先對原始的TT100K進行數據擴充，來增加樣本的多樣性，同時修改目標類型數量，使用ADAM優化器對神經網絡的權重進行優化，達到識別精確率為80%，顯然交通標志識別的準確率還有很大的改善空間。

結語：交通標志識別技術是智能交通系統中不可或缺的部分，扮演著十分重要的角色，在未來無人駕駛和智能駕駛有著非常廣闊的研究前景和應用價值。交通標示識別技術的發展日新月異，已經不局限使用傳統方法還是深度學習，更多地是兩者混合使用，可以體現出每種算法的優點。目前交通標志檢測算法在數據集上已經碩果累累，在深度學習中也得到巨大發展，加之有著很好的前景，已經有越來越多的學者開始進行研究，不過只有在現實生活中得到安全高效的運用才是交通標志識別技術的根本性突破。對交通標志識別技術的研究將大大推動無人駕駛技術、汽車輔助系統的發展，必將成為惠及群眾的重要科技手段。

圖3 膠囊神經網絡網絡結構