基于卷積神經網絡的道路標識識別方法

胡慶文 陳湘

摘要：道路指示標識準確檢測識別是智能交通領域實現車輛自動導航和安全駕駛一個關鍵問題。本文提出一種基于卷積神經網絡檢測識別道路指示標識的方法，首先將所采集的道路指示標識圖像進行幾何歸一化與灰度化，再進行濾波等圖像預處理，采用分塊二值化及腐蝕膨脹處理方法得到理想的二值化圖像，然后采用卷積神經網絡方法識別圖像。本文建立了道路指示標識圖像數據庫，并進行訓練和測試，取得了較好的效果。實驗結果表明，與傳統機器學習方法相比，本文提出的方法，能更好地識別道路指示標識。

關鍵詞：道路標識；卷積神經網絡；分塊二值化；圖像識別

1.國內外研究現狀

在智能交通領域，道路指示標識準確并快速的檢測與識別是實現車輛自動導航和安全駕駛的首要問題。隨著路面交通的不斷發展，交通壓力也在急劇增加，交通系統的智能化也在逐步成為重要的研究方向。作為交通系統智能化的核心部分，準確檢測識別出交通道路指示標識，成為智能交通的重要研究方向。

圖像檢測的中心任務是對圖像進行識別和對圖像進行特征提取，即是將物體形狀，位置，圖像邊界，陰影輪廓等重要圖像邊緣產生的視覺信息讓計算機分析理解，圖像的邊緣負載的信息，能讓圖像處理過程中達到識別作用。在對圖像進行檢測和邊緣提取的研究中，出現了許多的邊緣檢測識別方法，有各自的局限性。傳統的邊緣檢測對噪聲敏感，實際效果運用有時不能達到預期目標。故而近年來較主流研究方向是尋找更普遍適用的邊緣檢測方法。瑞典的Gareth Loy實驗室和澳大利亞的Nick Barnes的自動化研究所合作構建了利用圖形形狀和交通標志圖像對稱性來確定交通標志圖形質心位置的交通標志識別系統達到了極高的識別準確率。在我國，由于國內道路設施和道路交通研究的起步晚于國外，使得國內在道路交通系統的智能化方面也相對于國外研究相比有一定的差距，而其中有代表性的是一種基于數學形態學的交通標志自動識別方法[1]，針對一些警告標志采用數學形態及形態學骨架函數為特征做模板匹配，再對交通標識進行分類識別，取得了比較好的識別效果；常規的采用SVM、PCA主成分分析法，取得了較好的效果，但是對于不同角度形態的指示標志圖像，效果較差。本文采用的方法是先采集所需圖像，再對圖像進行尺寸歸一化、進行灰度處理再濾波，去除雜散邊緣和雙邊緣，然后采用邊緣特征的閾值選取方法實現圖像二值化，二值化后的圖像再經過腐蝕膨脹，分塊狀區域處理，尋找當中最大連通域，結合抗干擾能力強的Hough變換校正和歸化，最后采用卷積神經網絡方法識別圖像，反饋出錯誤率。本文針對常見的六類指示標識進行處理。

2.道路指示標識的圖像處理

2.1道路指示標識檢測

本文針對的道路指示標識主要為城市道路路面交通方向標志，圖像獲取傳感器為安裝在汽車正前方的攝像機。由于道路周圍環境的復雜性，特別是在陽光以及路面損壞的狀態下，極大地干擾了道理指示標識的定位，因此，如何從影像中減少干擾信息是成功定位道路指示標識的一個必須面對的問題。通過觀察大量的圖片發現，道路指示標識一般出現在所采集的圖像的正中間的位置，其附近一般不會出現和道路指示標識混淆的其他特征的物件。隨著道路指示標識的逐漸靠近，其形狀越來越大，其位置也逐漸慢慢地向正前方移動。因此，在圖像采集后，通過顏色對比判斷疑似道路標志物，再進行圖像的裁剪，僅僅采用如圖1所示位置的圖像。通過如此的處理方式，不僅大大減少了影像中干擾交通標志的信息，同樣也大大減少了后續環節處理的計算量。

2.2道路指示標識圖像灰度化

由于安裝在汽車正前方的攝像機采集圖像分辨率可能不同，所以需要進行幾何尺寸的歸一化。道路指示標識采集之后，因為道路標志檢測識別對于顏色要求不高，為了減少圖像計算數據量，將三維彩色圖像轉化為二維灰度圖像，即進行灰度處理。在圖像灰度化時，加權平均法是目前最常用的方法，其灰度化結果更為合理，更符合實際應用的需要，所采用灰度化公式如（1）所示。道路標志圖像及灰度化之后的圖像如圖2 所示。

（1）

2.3圖像中值濾波去噪

圖像在采集時，由于車輛行駛中受外界各種因素干擾，例如由于電子干擾、光照以及噪聲影響，會產生一些噪聲或模糊。需要采用濾波器進行去噪。目前常見的兩種濾波是鄰域濾波與中值濾波，本文經過試驗對比，發現中值濾波的優點是可以很好的過濾掉椒鹽噪聲，并且更加的適合道路指示標識圖像的處理。道路標志圖像及中值濾波之后的圖像如圖3所示。

2.4圖像分塊二值化以及腐蝕膨脹找最大連通域

Otsu（大津展之）于1978年提出的最大類間方差法[2，3]是引起較多關注的一種閾值選取方法，它是在判決分析或最小二乘原理的基礎上推導出來的，可以獲取二值化之后的圖像。但是由于道路標志圖像受光照影響較大，當強光照時，如果一部分道路標志圖像在樹蔭下，二值化效果誤差較大，本文采用分塊二值化的方式，將圖像均勻分成4塊，每塊圖像采用最大類間方差法進行二值化，再將分塊二值化之后的結果匯總，可以得到不受光照和樹蔭干擾的更加準確的二值化圖像，如圖4（a）所示。

在經過圖像二值化與濾波后得到的圖像還存在一些噪聲點，說明普通的濾波方法不能完全的去除噪聲點，所以本文采用先腐蝕后膨脹的方式[4]，然后尋找圖像中的最大連通域[5]，從而得到準確的道路指示標志的二值化圖像，如圖4（b）所示。將處理后的圖像重新建立圖像庫，以便后續卷積神經網絡進行圖像識別。

3. 基于卷積神經網絡的道路標識識別

卷積神經網絡（Convolutional Neural Networks， CNN）是一個受生物視覺啟發、以最簡化預處理操作為目的的多層感知器的變形，本質是一個前向反饋神經網絡，卷積神經網絡與多層感知器的最大區別是網絡前幾層由卷積層和池化層交替級聯組成，模擬視覺皮層中用于高層次特征提取的簡單細胞和復雜細胞交替級聯結構， 2012年Yann等將CNN用于手寫數字識別，并取得了該問題的霸主地位。近年來，神經網絡在多個領域均表現出突出的效果和潛力，在圖像處理領域，以卷積神經網絡（convolutionalneural network，簡稱CNN）為代表的深度學習模型已經突破了人類自身的識別能力[6，7]。并且在語音識別、人臉識別、通用物體識別、運動分析、自然語言處理甚至腦電波分析方面均有突破。

二維離散數據卷積公式：

（2）

卷積神經網絡是受視覺神經機制啟發而設計的一種多層感知器（Multi-Layer Perceptron，MLP）。與傳統神經網絡一樣，它運用反向傳播（Back Propagation，BP）[8]算法對網絡進行訓練[9]。卷積神經網絡與普通神經網絡的區別在于，卷積神經網絡包含了一個由卷積層和子采樣層構成的特征抽取器。如果將神經網絡看作是一種訓練生成分類器的算法，那么卷積神經網絡可以概括為提取特征和訓練生成分類器的算法。

卷積神經網絡的三個基本概念是：局部感知[10]、權值共享[11]，以及時間或空間降采樣。一般認為人對外界的認知是由局部到全局的，而圖像的空間聯系也是局部的像素聯系較為緊密，而距離較遠的像素相關性則較弱。因而，每個神經元其實沒有必要對全局圖像進行感知，只需要對局部進行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。網絡部分連通的思想，也是受啟發于生物學里面的視覺系統結構。視覺皮層的神經元就是局部接受信息的（即這些神經元只響應某些特定區域的刺激）。

（3）

在卷積神經網絡的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特征平面（featureMap），每個特征平面由一些矩形排列的的神經元組成，同一特征平面的神經元共享權值，這里共享的權值就是卷積核。卷積核以隨機小數矩陣的形式初始化，在網絡的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網絡各層之間的連接，同時又降低了過擬合的風險。

在通過卷積獲得了特征之后，下一步采用這些特征去做分類。使用提取到的特征去訓練分類器會使計算量過大，且容易出現擬合現象，再進行池化處理。

本文采用上一節處理后獲取的標準二值化圖像，將圖像輸入到深層CNN進行訓練，能大大提高圖像檢測識別準確率，過程包括以下步驟：

（1） JIANCE數據集：原始輸入數據集共6類。4800張訓練圖像，120張測試圖像，每張圖像大小為56*56。

（2）網絡層級結構概述：5層神經網絡。

（3）輸入層： 輸入數據為原始訓練圖像。

（4）一層卷積：5個5*5的卷積核，步長為1。

（5）一層池化：卷積核大小為2*2，步長為2。

（6）二層卷積：12個5*5的卷積核，步長為1。

（7）二層池化：卷積核大小為2*2，步長為2。

（8）輸出層：輸出為12維向量。

主要的Matlab代碼流程：

（1）獲取訓練數據和測試數據：

（2）定義網絡層級結構；

（3）初始設置網絡參數（權重W，偏置b）cnnsetup（cnn， train_x， train_y）

（4）訓練超參數opts定義（學習率，batchsize，epoch）

（5）網絡訓練之前向運算cnnff（net， batch_x）

（6）網絡訓練之反向傳播cnnbp（net， batch_y）

（7）網絡訓練之參數更新cnnapplygrads（net， opts）

（8）重復（5）（6）（7），直至滿足epoch

（9）網絡測試cnntest（cnn， test_x， test_y）

（10） 得到錯誤率

4.實驗及結果分析

應用層主要面向于有車載攝像頭的汽車，通過攝像頭捕捉道路標志，將得到的信息逐幀分析，將其中較為清晰的圖像交給程序進行識別。

本實驗主要結合手寫字體識別主要代碼，參考其數據庫布局與標簽分類形式。手寫字體識別運用的神經網絡識別模型是卷積神經網絡，數據庫使用數據形式為mat格式下的JIANCE數據集。本文模仿mnist數據集用采集得到的圖像庫建立一個新的JIANCE數據集。

實驗的第一步就是需要將jpg格式的圖像轉化為JIANCE數據集，其中JIANCE數據集由四個部分組成，分別是一個訓練圖片集，一個訓練標簽集，一個測試圖片集，一個測試標簽集。標簽格式為x（y）（x為圖像種類數目，y為每類圖像的數目）。實驗采用的轉換方法是先將所要用到的圖像統一切割成56*56像素大小，再通過c語言程序，將預先做好標簽的圖片進行處理，獲得4個主要的txt文件后，再用matlab將文件轉化為mat格式。Mat格式下的JIANCE數據集就是在隨后的訓練測試中所要使用的數據庫。數據庫包含4920張圖片，種類為6類（每類820張），本實驗使用其中的4800張（每類800張）用來訓練，剩余的120張（每類20張）進行測試。

結果分析：

實驗數據的最終記錄結果見下文表格1。本文采用5層結構的神經網絡，將道路標識共6類樣本進行輸入，經過網絡訓練與檢測后，每類標識的檢測準確率最高達到83.67%，實驗結果較為理想。從訓練樣本中提取特征，利用原始數據提供的信息進行路標分類與識別，實驗結果表明，對于圖片模糊，噪聲污染面大以及對比度小于正常值的場景，也同樣可以有效地識別出道路標識。

從表1中可以看出，本實驗采用20次訓練次數。神經網絡隨著訓練次數迭代量的增長，通過優化訓練樣本的誤差，不斷修復誤差，大幅度提升了多標簽功能識別圖像能力，對比于傳統SVM[12]算法，本文所采用的CNN算法能更加準確識別道路指示標識。

表1 方向檢測交叉驗證準確率

5.結論

本文針對城市道路交通路面方向指示標識，提出了一種深度學習檢測方法。本文利用卷積神經網絡實現了對道路標識線的識別，該算法簡單，很大程度上降低了對路面標識匹配系統的容量，與傳統方法相比，道路標識線識別精度明顯提高，而且得到的圖像邊緣接近于理想邊緣，明顯提高了道路標識線檢測準確率。實驗還表明，其抗干擾能力強，能克服一定路面陰影、光照等的影響。

參考文獻

[1] 蔣剛毅，鄭義，郁梅.基于數學形態學的交通標志自動識別[J].汕頭大學學報（自然科學版），1998，（1）：90-96.

[2] Otsu N. A threshold selection method from gray-level histogram. IEEE Trans， 1979； SMC-9； 62-66.

[3] 石為人，方莉，陳舒涵.基于改進Otsu和Niblack的圖像二值化方法[J].世界科技研究與發展，2013，（3）：395-398.

[4] 李曉飛，馬大瑋，粘永健， 等.圖像腐蝕和膨脹的算法研究[J].影像技術，2005，（1）：37-39.

[5] Rumelhart D， Hinton G， Williams R. Learning representations by backpropagatingerrors[J].Nature， 1986， 323（6088）： 533-536.

[6] 陳先昌.基于卷積神經網絡的深度學習算法與應用研究[D].杭州：浙江工商大學2014.

[7] LeCun Y， Boser L， Denker J， et al.Backpropagation applied to handwritten zip code recognition[J].Neural Computation， 1989， 1（4）： 541-551.

[8] 黃志斌，陳鍛生. 支持向量機在車牌字符識別中的應用[J]. 計算機工程，2003，（5）.

[9] 孫曄，吳銳文.基于卷積神經網絡的車標識別[J].現代計算機（普及版），2015，（4）：84-87.