基于CUDA的交通限速牌識別

王超 陳慶奎

摘要：智能識別交通限速牌對智能駕駛車輛速度調節和安全行駛有著重要意義。為有效解決交通限速牌識別問題，提出一種基于統一計算架構（ComputerUnifiedDeviceArchitecture，CUDA）的實時交通限速牌識別算法。利用HSV顏色空間提取ROI（RegionOfInterest）區域，結合霍夫圓算法準確定位交通限速牌位置，設計一種基于卷積神經網絡（ConvolutionalNeuralNetwork，CNN）的算法模型對定位區域進行數字識別。使用NVIDIAGTX680顯卡對算法進行加速，可達30ms/幀的處理速率，基本滿足了實時性要求。實驗證明，基于CUDA的交通限速牌識別算法具有良好的適應性和準確性。

關鍵詞：智能駕駛；交通限速牌；統一計算架構；HSV顏色空間；霍夫圓算法；卷積神經網絡

DOI：10.11907/rjdk.173171

中圖分類號：TP301

文獻標識碼：A文章編號：1672-7800（2018）007-0044-05

Abstract：Intheintelligentdrivingsystem，theintelligentidentificationofspeedlimittrafficsignhasveryimportantsignificanceforthevehiclespeedadjustmentanddrivertrafficsafety.Toeffectivelysolvetheproblemofspeedlimittrafficsignrecognitioninrealscenarios，areal-timespeedlimittrafficsignalgorithmbasedoncomputerunifieddevicearchitecture（CUDA）isproposed.WeuseHSVcolorspacetoextractregionofinterest（ROI）areaandaccuratelylocatethepositionofspeedlimittrafficsignusingHoughcirclealgorithm；andthenanalgorithmmodelbasedonconvolutionalneuralnetwork（CNN）isdesignedtorecognizenumbersinthepositioningarea.NVIDIAGeForceGTX680GPU（GraphicProcessingUnit）isusedtoacceleratethealgorithmonComputeUnifiedDeviceArchitecture（CUDA）platformandachievetheprocessingspeedof30msperframewhichbasicallymeetsthereal-timeprocessingdemand.ExperimentsshowthattheCUDA-basedspeedlimittrafficsignrecognitionalgorithmhasgoodadaptabilityandaccuracy.

KeyWords：intelligentdriving；speedlimittrafficsign；computerunifieddevicearchitecture；HSVcolorspace；Houghcirclealgorithm；convolutionalneuralnetwork

0引言

車輛智能化控制系統的不斷發展，在一定程度上使駕駛員的控制、視覺和感官功能更加完善，能極大保障駕駛員的行車安全。駕駛員由于種種因素可能未及時發現交通限速標志，此時，交通限速牌識別系統對駕駛員安全有著重大意義[1-2]。

本文在HSV顏色空間過濾出紅色區域，結合霍夫圓檢測算法[3-4]進行交通限速牌區域定位，排除無關背景干擾，大大提高了后續處理的準確性。針對傳統數字識別算法適應性差、準確率不高等缺點，本文設計一套基于CNN[5-6]的數字識別模型，能夠準確有效地對限速牌區域數字進行識別。

1相關工作

車輛限速牌識別是智能駕駛系統的研究重點。交通限速牌識別主流方法分為交通限速牌區域定位和交通限速牌數字識別。由于行車過程中背景較為復雜，有效實時地對交通限速牌定位是保證后續識別的前提，很多學者對此進行了研究。成健等[7]闡述了一種基于自適應粒子群優化算法的交通限速標志識別，該方法比經典的粒子群優化算法有著更高的收斂性，但是速度有待提高。AgudoD等[8]提出了一種基于灰度圖像霍夫圓定位交通限速牌識別算法，但對不同場景適應性不好。GomesSL等[9]利用Haar特征檢測交通限速牌區域，然后使用SVM算法進行數字識別。GimJW等[10]提出了基于SpatialPyramid特征和BoostRF算法的一種交通限速牌識別方法。

上述方法在檢測交通限速牌方面或多或少存在實時性較差、算法對于不同場景的檢測效果參差不齊、抗干擾能力不強等缺點。本文提出一種基于CUDA的交通限速牌識別算法。該算法利用HSV空間和霍夫圓檢測算法定位交通限速牌區域，排除干擾，使用CNN算法進行數字識別。實驗證明，該算法在不同場景下都有著較好的準確性，能夠滿足智能駕駛中交通限速牌的準確實時識別。

2算法介紹

交通限速牌作用是提醒駕駛員調整車輛速度，保障行車安全。交通限速牌的圖像特征較為固定，一般為紅色圓圈包圍黑色數字，黑色數字為行車速度。

車輛行駛速度一般較快，提取交通限速牌區域實時性要求較高，因此使用CUDA對HSV顏色空間過濾，使用霍夫圓檢測算法進行加速。實驗證明本文提出的算法在速度和精度上都滿足了智能駕駛系統要求。

2.1HSV顏色空間過濾

HSV顏色空間在特定場景的目標識別方面發揮著重要作用[11-12]。HSV模型是一種將RGB彩色模型中的點在圓柱坐標系中的表示方法。HSV顏色空間有3個分量，分別是色相（Hue）、飽和度（Saturation）、明度（Value）。HSV空間色相的變化范圍為0～360，而飽和度和明度的變化范圍都是0～1。HSV顏色空間與人類感覺顏色的方式十分相似，HSV中使用的顏色可通過人類的感知來定義，能通過色相、飽和度和明度區分不同顏色，而RGB和CMYK卻不能。交通限速牌外圍是紅色圓型區域，將RGB顏色空間轉換成HSV顏色空間，然后過濾出紅色區域，排除無關區域干擾，可方便后續處理和檢測。HSV和RGB顏色空間轉換公式如下：

R、G、B分別代表RGB顏色空間的紅、綠和藍3種顏色分量，max等于R、G和B中的最大值，min等于R、G和B中的最小值，H、S、V分別表示色相、飽和度和明度。通過上述公式可完成從RGB顏色空間到HSV顏色空間的轉換。紅色HSV空間范圍如表1所示。

NVIDIA于2006年推出統一計算架構（ComputeUnifiedDevicesArchitecture，CUDA），結合其推出的GPU可以進行大規模并行計算，從而將并行計算從大型集群擴展到了普通顯卡，用戶僅僅需要一臺帶有NVIDIA顯卡的計算機就能執行大規模并行處理。計算機能夠將并行任務分發到GPU的各個流處理（streamingmultiprocessor，SM）上，每個SM含有多個流處理器（streamingprocessor，SP）。統一計算架構編程模型如圖1所示。每個核函數對應一個grid，每個grid根據需要配置不同的block和thread。統一計算架構包含block和thread兩個并行邏輯層。在執行時block映射到SM，thread映射到SP。

在將RGB顏色空間轉換為HSV顏色空間過程中，使用統一計算架構（ComputerUnifiedDeviceArchitecture，CUDA）進行并行加速處理，為每個圖像像素分配一個線程，每個線程進行上述公式計算，這樣大大加快了HSV顏色空間的速度轉換。對轉換后的HSV顏色空間圖像過濾紅色區域并進行邊緣檢測，使得紅色邊緣像素點值為255，其它區域像素值為0，實驗結果如圖2所示。

2.2交通限速牌定位

提取交通限速牌區域，本質就是提取處理后圖像的圓形區域，使用霍夫算法檢測交通限速牌區域。霍夫算法能夠用于檢測直線、圓和其它參數曲線，本質是一種對參數進行投票，找出可能符合條件的算法。直線的確定需要兩個參數，而圓的確定則需要3個參數（圓心左邊的兩個參數和圓的半徑）。很明顯，隨著參數空間的增長，其計算量會有幾何級數的增長。為減小計算量，利用方向梯度，首先確定候選圓心，然后投票確定其半徑和圓心坐標，其算法描述如下：

算法1：霍夫圓交通限速牌區域定位算法

Foreveryboundarypoint（x，y）

ForEvery（a，b）alonggradientdirectiong（x，y）

Computerr

IncrementA（a，b，r）by1

A>thresholdrepresentvalidcircles

從HSV顏色空間提取結果可以看出，邊緣點像素比例在整幅圖像中比例較小，在進行并行加速時，如果為圖像中每個圖像像素分配一個線程，意味著大部分線程在等待小部分線程完成任務，從而造成GPU資源的極大浪費。因此，可以利用CUDA中共享內存特點[13]，快速提取邊緣點坐標。共享內存是片上內存，在速度方面比常用的全局內存、紋理內存、常量內存等要快許多，一般來說，共享存儲器要比全局存儲器的存取速度快100倍左右。共享存儲器被分配給每個線程塊，所以每個線程塊內的線程都可以訪問同一個共享存儲器，而不同線程塊的線程是無法相互訪問對方的共享內存的。這種特性與線程同步相結合有著廣泛的應用，利用好共享內存是提高GPU利用率和并行算法速度的關鍵。本文利用共享內存特性快速提取像素點坐標位置，用于后續計算，大大提高了GPU的利用率。其算法描述如下：

算法2：邊緣坐標并行提取算法

pixelValue=imageValue[x，y]

If（pixelValue>0）{

do{

index++；

shareIndex=index；

shareArray[index]=positon（x，y）；

}while（shareArray[index]！=positon（x，y））

}

}

index=shareIndex；

為每個圖像像素分配一個線程，每個線程讀取相應像素點的像素值，如果二值化后圖像像素值滿足要求，那么這個像素點坐標就要加入到坐標數組中。為防止覆蓋其它線程存儲在共享內存中的像素點位置信息，首先對數組下標進行加1操作，將新的數組下標存儲到共享內存中。所有的線程都嘗試將自己的坐標x和y加入到數組中，但只有一個線程能夠成功寫入，其它線程則必須重新嘗試，重新更新像素點數組坐標內容。這樣，當循環結束后，所有滿足條件的像素點位置便存儲到共享內存中，然后再將其復制到全局內存，便得到用于后續計算的邊界點在圖像中的位置坐標。

假設得到邊緣點的數量為N，便可以在GPU上申請N個線程，每個線程處理通過上述算法得到的位置數組中的邊緣點。邊緣點數量遠遠小于圖像所有像素的數量，則所需要的線程數也遠遠小于圖像像素數，大大節省了GPU空間，提高了GPU利用率。在每個線程中，首先求出每個邊緣點的梯度方向，根據每個邊緣點的梯度找到候選圓心，對候選圓心和半徑進行投票，這樣三維的累加平面就轉化為二維累加平面。最后統計投票數組，找到符合條件的交通限速牌區域。實驗結果如圖3所示。

2.3限速牌數字識別

卷積神經網絡對計算機視覺問題處理能力強大[14-15]，在人臉識別、物體分類識別等方面有著廣泛應用。模板卷積可以提取圖像的某些特征，如模糊、銳化、邊緣特征都是圖像和特定模板卷積后的結果。卷積神經網絡可以提取圖像特征后進行分類，其核心思想主要有：

（1）局部感受野。局部感受野是對圖片局部特征的檢測，比如局部的一個角、一段弧，這些基本特征是構成動物視覺的基礎。卷積神經網絡也類似，每個神經元只需要對圖像局部感受。

（2）權值共享。如同人體大腦一樣，每個神經元的生理功能就是相似的，甚至可以說是相同的。在卷積神經網絡中，每個神經元的權值相同，可以大大減少數據計算量。使用不同的濾波器去做卷積核，每個濾波器去卷積圖像得到的不同特征稱之為FeatureMap。

（3）池化操作（降采樣）。所謂池化操作就是在每次卷積之后，通過一個降采樣工作減小規模和后續運算量。

不同于LOYO[16]、SSD[17]等復雜卷積神經網絡，用于交通限速牌識別的卷積神經網絡結構較為簡單，需要的內存空間較少，同時在嵌入式設備上具有較快的速度。如圖4所示，設計了一種基于CNN算法模型對數字進行識別。

將采集的交通限速牌區域進行分割，得到單個數字圖像，將單個數字圖像縮放到32*32圖像塊大小，設計一個基于CNN的數字識別算法，架構如圖4所示，其由兩個卷積層（C1，C3）、兩個最大池層（S2，S4）和兩個完全連接層（F5，F6）組成，F2輸出到10路softmax，其產生10個標簽（即'0'-'9'）的概率分布。第1個卷積層（C1）以8個大小5×5的內核過濾32×32輸入灰度圖像，而第2個卷積層（C3）則使用16個卷積模板的卷積核對下采樣后的S2層進行模板卷積，兩個卷積層都采用單位步幅，在層S2和S4處通過應用2×2不重疊的最大合并進行降采樣。最后，兩個完全連接層F5和F6分別具有128個和10個神經元。將每個數字圖像輸入到卷積神經網絡層中進行數字識別，最后將識別數字組合得到結果。

3實驗結果與分析

本文實驗基于NVIDIA獨立顯卡測試環境，采用雙核Core（TM）2E8400CPU，主頻3.0GHz，內存4GB，顯卡為NVIDIAGeForceGTX670，系統類型為Window764位，開發平臺為VisualStudio2010，采用語言為C/C++/CUDA。

3.1限速牌定位與識別

本文采用HSV顏色提取和霍夫圓檢測，獲取交通限速牌區域，排除無關信息干擾，通過CNN進行數字識別。實驗證明，算法具有良好的準確率和較好的實時性。圖5為不同場景下交通限速牌精確定位結果，從左到右依次為白天光線較好、夜晚路燈光線較差和夜晚光線十分差幾種場景。從實驗結果可以看出，本文提出的交通限速牌定位算法有著良好的適應性和準確性。

將定位的交通限速牌使用卷積神經網絡進行分類識別，實驗證明卷積神經網絡相比于傳統的識別算法有著較好的準確性和穩定性，實驗結果如表2所示。

3.2加速比分析

本文利用CUDA對算法進行加速以滿足實時性要求。在GerForceGTX680顯卡上對上述算法進行測試，并與其在CPU上的串行算法進行比較。HSV顏色空間提取和基于霍夫的交通限速牌區域提取時間加速比（即算法在GPU和CPU平臺上處理一幀圖像的平均時間之比）分別如圖6和圖7所示。可以看出，隨著分辨率的提高，統一計算架構的加速效果越來越好。實驗證明，本文提出的交通限速牌識別算法在精度和速度上表現較好，能夠滿足實際應用要求。

4結語

本文提出了一種基于CUDA的交通限速牌識別方法，利用顏色空間和霍夫圓變換提取交通限速牌區域，同時利用卷積神經網絡算法，對提取的交通限速牌區域進行數字識別，具有良好的適應性和較高的準確性。利用統一計算架構加速算法，系統實時性良好。利用共享內存特點，提高了GPU資源的利用率，很好地應用到嵌入式GPU設備，具有一定的實用性。但本系統還存在一些問題，如在識別過程中容易受其它紅色物體干擾，使檢測速度和檢測準確度有所下降。未來的工作是使交通限速牌系統更加智能和準確。

參考文獻：

[1]蔣海峰，楊豐艷，韓文元，等.限速和警告交通標志影響下的駕駛行為特性研究[J].公路交通科技：應用技術版，2009，5（3）：26-31.

[2]司銀霞.限速標志對駕駛行為影響研究[D].長春：吉林大學，2006.

[3]YUENHK，PRINCENJ，ILLINGWORTHJ.ComparativestudyofHoughtransformmethodsforcirclefinding[J].Image&VisionComputing;，1990，8（1）：71-77.

[4]YADAVVK，TRIVEDIMC，RAJPUTSS，etal.Approachtoaccuratecircledetection：multithreadedimplementationofmodifiedcircularHoughtransform[C].RingerInternationalConferenceonIct4sd，2016.

[5]盧宏濤，張秦川.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].數據采集與處理，2016，31（1）：1-17.

[6]李彥冬，郝宗波，雷航.卷積神經網絡研究綜述[J].計算機應用，2016，36（9）：2508-2515.

[7]成健，張重陽.基于自適應粒子群優化算法的限速標志識別[J].信息技術，2016（9）：5-9.

[8]AGUDOD，YNGELS，VYLEZJF，etal.Real-timerailwayspeedlimitsignrecognitionfromvideosequences[C].InternationalConferenceonSystems，SignalsandImageProcessing.IEEE，2016：1-4.

[9]GOMESSL，REBOUASEDS，NETOEC，etal.Embeddedreal-timespeedlimitsignrecognitionusingimageprocessingandmachinelearningtechniques[J].NeuralComputing&Applications;，2016（6）：1-12.

[10]GIMJW，HWANGMC，KOBC，etal.Real-timespeed-limitsigndetectionandrecognitionusingspatialpyramidfeatureandboostedrandomforest[C].InternationalConferenceImageAnalysisandRecognition.SpringerInternationalPublishing，2015：437-445.

[11]李代林，萬杰，朱化鳳，等.基于HSV顏色空間的水下物體識別技術研究[J].中國科學，2015，45（8）：84-87.

[12]蔡林沁，鄭雪松，王牛.基于HSV顏色空間正交立體視覺目標檢測[J].新型工業化，2013（1）：56-59.

[13]張帥.CPU--GPU異構NUMA系統上共享內存式程序設計模型的研究[D].天津：南開大學，2015.

[14]許可.卷積神經網絡在圖像識別上的應用的研究[D].杭州：浙江大學，2012.

[15]常亮，鄧小明，周明全，等.圖像理解中的卷積神經網絡[J].自動化學報，2016，42（9）：1300-1312.

[16]REDMONJ，DIVVALAS，GIRSHICKR，etal.Youonlylookonce：unified，real-timeobjectdetection[J].IEEEConferenceonComputerVisionandPatternRecognition（CVPR）2016（6）：779-788.

[17]LIUW，ANGUELOVD，ERHAND，etal.SSD：singleshotmultiBoxdetector[EB/OL].https：//link.springer.com/chapter/10.1007/978-3-319-46448-0_2.

（責任編輯：杜能鋼）