基于先驗(yàn)信息的交通標(biāo)志檢測(cè)

潘銘星,孫 涵

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211106)

基于先驗(yàn)信息的交通標(biāo)志檢測(cè)

潘銘星,孫 涵

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211106)

道路交通標(biāo)志的自動(dòng)識(shí)別通常應(yīng)用于車輛的自動(dòng)或半自動(dòng)輔助駕駛系統(tǒng)中，為車輛駕駛提供對(duì)周圍環(huán)境的理解。然而現(xiàn)有的交通標(biāo)志檢測(cè)與識(shí)別算法針對(duì)對(duì)象比較單一，多以某一類中的若干個(gè)標(biāo)志為檢測(cè)對(duì)象，當(dāng)檢測(cè)對(duì)象的樣本數(shù)較多時(shí)，檢測(cè)正確率明顯下降。此外，該類方法雖然考慮了交通標(biāo)志的顏色和形狀等信息，但卻忽略了顏色、幾何形狀與標(biāo)志之間的確定性關(guān)系。提出了一種快速有效的交通標(biāo)志檢測(cè)算法，根據(jù)標(biāo)志的形狀及顏色等先驗(yàn)信息，建立一棵交通標(biāo)志決策樹，逐層篩選興趣區(qū)域，并根據(jù)交通標(biāo)志的輪廓信息將交通標(biāo)志檢測(cè)結(jié)果分為十個(gè)子類，通過子類結(jié)果及交通標(biāo)志的先驗(yàn)信息進(jìn)行交通標(biāo)志檢測(cè)。實(shí)驗(yàn)結(jié)果表明，當(dāng)交通標(biāo)志被遮擋時(shí)，該方法降低了交通標(biāo)志檢測(cè)的漏檢率以及誤檢率。所提出的方法降低了TSR(Traffic Sign Recognition)系統(tǒng)的復(fù)雜性，提高了系統(tǒng)的實(shí)時(shí)性和魯棒性。

交通標(biāo)志；遮擋；顏色；輪廓

0 引 言

交通標(biāo)志識(shí)別是現(xiàn)代智能交通系統(tǒng)[1-2]的重要組成部分之一，其有效運(yùn)用將有利于提高交通管理的智能化、自動(dòng)化水平，是智能交通研究的一個(gè)重要內(nèi)容。道路交通標(biāo)志識(shí)別[3-5]主要包括兩個(gè)基本技術(shù)環(huán)節(jié)：首先是交通標(biāo)志的檢測(cè)，包括交通標(biāo)志的定位及必要的預(yù)處理；其次是交通標(biāo)志的識(shí)別，包括交通標(biāo)志的特征提取與分類。

交通標(biāo)志一般都具有固定的顏色及特定的形狀，因此根據(jù)該類信息，通常可將交通標(biāo)志分為以下幾類：

(1)利用交通標(biāo)志的顏色信息、交通標(biāo)志的大小以及在圖像中的位置等檢測(cè)出交通標(biāo)志[6-7]。該類方法可以快速檢測(cè)出交通標(biāo)志，同時(shí)也會(huì)得到較多的非興趣區(qū)域。

(2)結(jié)合顏色和形狀信息直接檢測(cè)出交通標(biāo)志[8]，但會(huì)漏檢形狀缺失的標(biāo)志。

(3)利用顏色空間對(duì)圖像進(jìn)行分割后，再采用Adaboost方法進(jìn)一步檢測(cè)出交通標(biāo)志[9-10]。該類方法有很好的檢測(cè)效果，但是運(yùn)行速度較慢，無法滿足實(shí)時(shí)系統(tǒng)的需求。

上述算法只適用于某一類標(biāo)志，當(dāng)用于檢測(cè)所有交通標(biāo)志時(shí)，其檢測(cè)率會(huì)很低。此外，該類方法雖然利用了顏色和形狀的特性，但忽略了交通標(biāo)志的顏色、幾何形狀與標(biāo)志之間的一一對(duì)應(yīng)關(guān)系。例如：49種警告標(biāo)志中有48種是黃底黑邊，頂朝上的等邊三角形。如果充分利用這一重要信息，那么不僅能有效地檢測(cè)出交通標(biāo)志，而且根據(jù)標(biāo)志與其先驗(yàn)信息間的確定關(guān)系可以對(duì)標(biāo)志進(jìn)行粗分類。因此，文中在結(jié)合了道路交通標(biāo)志的顏色和形狀這兩種特征的基礎(chǔ)上，提出一種快速有效的道路交通標(biāo)志檢測(cè)方法并通過實(shí)驗(yàn)進(jìn)行了驗(yàn)證。

1 先驗(yàn)信息

國(guó)內(nèi)直接與道路交通安全有關(guān)的交通標(biāo)志分為3大類，共有120種。其中，含有42個(gè)禁令標(biāo)志、29個(gè)指示標(biāo)志以及49個(gè)警告標(biāo)志。3大類交通標(biāo)志具有突出特征的是顏色屬性和幾何屬性。

1.1 顏色信息

分析上述120種交通標(biāo)志可知，它們主要由3種基本顏色構(gòu)成：紅色、藍(lán)色及黃色。其中，警告標(biāo)志主要以黃色為基本顏色，邊框及內(nèi)圖案顏色均為黑色，其含有1種特例(見圖1(a))：叉形符號(hào)，紅色邊框，內(nèi)部全為白色。指示標(biāo)志的基本顏色為藍(lán)色，內(nèi)部圖案主要以白色為主，其含2種特例(見圖1(c))，內(nèi)部含有紅色和白色圖案及黑色和白色圖案。禁令標(biāo)志以白色為基本顏色，邊框及內(nèi)部圖案以黑色為主，其含4種特

殊標(biāo)志(見圖1(b))，白底黑框和藍(lán)底紅框。

圖1 特例標(biāo)志

1.2 形狀信息

120種交通標(biāo)志[11]共有5種基本形狀：圓形、矩形、正三角形、倒三角形、八邊形(叉形符號(hào)作為特例分析)。其中，大部分為圓形、四邊形和正三角形，它們是交通標(biāo)志的主要形狀。禁令標(biāo)志中，有一個(gè)正八邊形和一個(gè)倒三角形，其余40個(gè)均為圓形。指示標(biāo)志中只有兩種形狀即矩形和圓形。48個(gè)警告標(biāo)志(除去特例)的基本形狀為正三角形。

2 基于先驗(yàn)信息逐層過濾檢測(cè)交通標(biāo)志技術(shù)

由交通標(biāo)志的先驗(yàn)信息，可得到顏色和形狀與標(biāo)志的確定關(guān)系，并根據(jù)其顏色和形狀逐層過濾噪聲區(qū)域，并創(chuàng)建一棵興趣區(qū)域判別樹，如圖2所示。樹的非葉子節(jié)點(diǎn)均有判別條件，刪除不滿足條件的候選區(qū)域，大量減少檢測(cè)區(qū)域。

圖2 逐層過濾將120種標(biāo)志分10個(gè)子類

由圖3可以看出，含有黑色輪廓、正三角形、內(nèi)部顏色為黃色和黑色的興趣區(qū)域?yàn)樽宇愐弧Ｒ来晤愅疲恳粋€(gè)交通標(biāo)志子類，都有與其確定的唯一的特征屬性，即特定興趣區(qū)域的輪廓顏色、輪廓形狀以及興趣區(qū)域內(nèi)部顏色。依據(jù)特征屬性與標(biāo)志的確定關(guān)系可將標(biāo)志分為10個(gè)子類(見表1)。

圖3 標(biāo)志部分缺失檢測(cè)過程

類型標(biāo)志數(shù)量顏色外輪廓形狀子類一警告標(biāo)志48外輪廓：黑色內(nèi)部顏色：黃色和黑色頂角朝上的等邊三角形子類二警告標(biāo)志(特例：叉形符號(hào))1外輪廓：紅色內(nèi)部顏色：白色“X”形子類三禁令標(biāo)志36外輪廓：紅色內(nèi)部顏色：白色、紅色和黑色圓形子類四禁令標(biāo)志(特例：停車讓行)1外輪廓：紅色內(nèi)部顏色：白色和紅色八邊形子類五禁令標(biāo)志(減速讓行)1外輪廓：紅色內(nèi)部顏色：白色和黑色倒三角子類六禁令標(biāo)志(特例：禁止臨時(shí)停車和禁止車輛長(zhǎng)時(shí)停放)2外輪廓：紅色內(nèi)部顏色：藍(lán)色和紅色圓形子類七禁令標(biāo)志(特例：限速和解除限速)2外輪廓：黑色內(nèi)部顏色：白色和黑色圓形子類八指示標(biāo)志27外輪廓：藍(lán)色內(nèi)部顏色：白色和藍(lán)色圓形或矩形子類九指示標(biāo)志1外輪廓：藍(lán)色內(nèi)部顏色：白色、藍(lán)色和紅色矩形子類十指示標(biāo)志1外輪廓：藍(lán)色內(nèi)部顏色：白色、藍(lán)色和黑色矩形

2.1 基于顏色的興趣區(qū)域提取

交通標(biāo)志主要以紅色、黃色和藍(lán)色三種顏色為主，利用這一特性，可以刪除其他顏色部分，得到興趣區(qū)域。HSI顏色模型對(duì)顏色的描述符合人類對(duì)顏色的視覺理解，亮度和色度的分離也更有利于圖像處理，同時(shí)對(duì)光照較為魯棒，因而在光照變化大的場(chǎng)合內(nèi)被廣泛使用[7,12-13]。根據(jù)道路標(biāo)志的顏色在HSI顏色空間中的分布，可快速地提取黑、白、紅、黃、藍(lán)5種顏色，并將該類區(qū)域作為興趣區(qū)域。

RGB顏色模型轉(zhuǎn)換到HSI顏色模型可定義為：

(1)

(2)

(3)

其中：

(4)

2.2 基于輪廓的形狀分析與篩選

形狀角是所有輪廓上的點(diǎn)與輪廓質(zhì)心的連線構(gòu)成的向量與該點(diǎn)的法向量之間的夾角的均值Dα。不同的形狀有不同的形狀角，故可根據(jù)形狀角對(duì)圖形進(jìn)行粗分類。形狀角與輪廓上的點(diǎn)的向量有關(guān)，輪廓的旋轉(zhuǎn)、放大、縮小等均不影響該值，因此具有尺度和旋轉(zhuǎn)不變性。然而部分形狀的形狀角值比較接近，閾值不好確定。

文中檢測(cè)的標(biāo)志形狀類別主要有圓形、三角形、四邊形和八邊形。其中三角形[14]、四邊形及八邊形具有很明顯的直線屬性，并且含有固定的直線數(shù)量和頂點(diǎn)。根據(jù)興趣區(qū)域輪廓是否含有直線，可區(qū)分圓(橢圓)和八邊形；興趣區(qū)域的外接矩形面積與其輪廓所圍的面積比值可以區(qū)分四邊形與橢圓，此外直線的數(shù)量以及頂點(diǎn)數(shù)量也可很好地將輪廓進(jìn)行分類。

在現(xiàn)實(shí)場(chǎng)景中，交通標(biāo)志牌被遮擋或腐蝕等情形，導(dǎo)致興趣區(qū)域的輪廓缺失或變形,直接根據(jù)形狀角會(huì)將很多形狀誤分類。對(duì)于圓形交通標(biāo)志[15-16]，輪廓上任意點(diǎn)與輪廓質(zhì)心的連線構(gòu)成的向量，與該點(diǎn)的法向量之間的夾角很接近0，即使輪廓部分缺失，最終的形狀角值也為0，基本不影響檢測(cè)結(jié)果。對(duì)于四邊形(八邊形、三角形)，若缺失很容易造成誤分類。故在計(jì)算形狀角前，需先判斷輪廓是否閉合，并且檢測(cè)興趣區(qū)域的直線信息，將缺失部分補(bǔ)全。若標(biāo)志的頂點(diǎn)被遮擋導(dǎo)致拐角缺失，可根據(jù)直線的延長(zhǎng)線即可得到缺失的頂點(diǎn)；若缺失的是標(biāo)志邊緣即輪廓直線內(nèi)部有中斷，可根據(jù)Hough變換檢測(cè)的直線原理，對(duì)直線中間有部分缺失，亦可檢測(cè)出同一條直線，不影響檢測(cè)效果。故改進(jìn)后的算法對(duì)交通標(biāo)志的輪廓部分缺失情況有一定的魯棒性。當(dāng)交通標(biāo)志邊緣大部分被遮擋時(shí)，已經(jīng)看不出形狀，基本不可識(shí)別。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)以普通PC機(jī)作為測(cè)試環(huán)境，在VisualStudio上實(shí)現(xiàn)了文中算法。

為了檢測(cè)算法的魯棒性，測(cè)試圖片分為兩類，共300張，370個(gè)交通標(biāo)志，含有校園、公路、小區(qū)等不同場(chǎng)景。第一類：正常未缺失的交通標(biāo)志圖片，共200張，265個(gè)交通標(biāo)志，驗(yàn)證算法的有效性。第二類圖片中，主要采集了交通標(biāo)志圖像缺失或被遮擋等情況下的圖片，驗(yàn)證算法的魯棒性，共100張，105個(gè)交通標(biāo)志。

如圖3所示，先根據(jù)HSI顏色模型，提取興趣區(qū)域。再根據(jù)興趣區(qū)域獲取外輪廓信息，并且檢測(cè)輪廓直線屬性，若含有直線則將直線補(bǔ)全并找出交點(diǎn)(圓形標(biāo)志除外，其形狀角值變化不大)。最后根據(jù)輪廓顏色、輪廓形狀及區(qū)域顏色與交通標(biāo)志的唯一確定關(guān)系將標(biāo)志分為10個(gè)子類。

表2是算法對(duì)第一類標(biāo)志的檢測(cè)結(jié)果，除了相機(jī)與標(biāo)志距離太遠(yuǎn)導(dǎo)致漏檢外，算法對(duì)未缺失標(biāo)志具有很好的檢測(cè)效果。

表2 第一類數(shù)據(jù)檢測(cè)結(jié)果

表3是算法對(duì)第二類標(biāo)志的檢測(cè)結(jié)果。對(duì)于圓形標(biāo)志，部分缺失對(duì)檢測(cè)效果影響很小；三角形和四邊形標(biāo)志，其輪廓中含有的直線信息較明顯，故檢測(cè)效果也很好；八邊形標(biāo)志，由于輪廓中含有的直線數(shù)量較多，并且直線的長(zhǎng)度較短，部分缺失后直線信息很不明顯，導(dǎo)致漏檢的概率較大，若缺失的較少，直線保存較好，也有很好的檢測(cè)效果。總體上算法對(duì)于部分缺失標(biāo)志也有很好的魯棒性。與此同時(shí)，不論環(huán)境多復(fù)雜，算法實(shí)時(shí)性好，均在120ms內(nèi)完成檢測(cè)并進(jìn)行粗分類。

表3 第二類數(shù)據(jù)檢測(cè)結(jié)果

4 結(jié)束語(yǔ)

提出的方法適用于國(guó)內(nèi)所有警告標(biāo)志、禁令標(biāo)志和指示標(biāo)志共120種交通標(biāo)志，并且在實(shí)現(xiàn)標(biāo)志檢測(cè)的同時(shí)將交通標(biāo)志分為10個(gè)子類，從而降低了TSR系統(tǒng)的復(fù)雜性，提高了系統(tǒng)的實(shí)用性。該方法根據(jù)先驗(yàn)信息創(chuàng)建了一棵交通標(biāo)志決策樹，逐層篩選興趣區(qū)域，去除非興趣區(qū)域，減少了算法運(yùn)行時(shí)間。采用改進(jìn)的形狀角算法檢測(cè)興趣區(qū)域，解決了部分標(biāo)志被遮擋、缺失等問題。

[1]KhanJ,BhuiyanS,AdhamiR.Imagesegmentationandshapeanalysisforroad-signdetection[J].IEEETransactionsonIntelligentTransportationSystems,2011,12(1):83-96.

[2]KastnerR,MichalkeT,BurbachT,etal.Attention-basedtrafficsignrecognitionwithanarrayofweakclassifiers[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2010:333-339.

[3] 周 勇.智能車輛中的幾個(gè)關(guān)鍵技術(shù)研究[D].上海:上海交通大學(xué),2007.

[4] 張 航.自然場(chǎng)景下的交通標(biāo)志識(shí)別算法研究[D].長(zhǎng)沙:中南大學(xué)，2006.

[5] 葉陽(yáng)陽(yáng).交通標(biāo)志檢測(cè)和識(shí)別算法研究[D].北京:北京交通大學(xué),2015.

[6]Bui-MinhT,GhitaO,WhelanPF.Twoalgorithmsfordetectionofmutuallyoccludingtrafficsigns[C]//IEEEinternationalconferenceoncontrol,automationandinformationsciences.[s.l.]:IEEE,2012:120-125.

[7]Maldonado-BasconS,Lafuente-ArroyoS,Gil-JimenezP.Road-signdetectionandrecognitionbasedonsupportvectormachines[J].IEEETransactionsonIntelligentTransportationSystems,2007,8(2):264-278.

[8]OhJT,KwakHW,SohnYH.Segmentationandrecognitionoftrafficsignsusingshapeinformation[M]//Advancesinvisualcomputing.Berlin:Springer,2005:519-526.

[9]BahlmannC,ZhuY,RameshV.Asystemfortrafficsigndetection,tracking,andrecognitionusingcolor,shape,andmotioninformation[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2005:255-260.

[10]OverettG,PeterssonL,AnderssonL.Boostingaheterogeneouspooloffasthogfeaturesforpedestrianandsigndetection[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2009:584-590.

[11] 楊久齡,劉會(huì)學(xué).GB5768-1999《道路交通標(biāo)志和標(biāo)線》應(yīng)用指南[S].北京:中國(guó)標(biāo)準(zhǔn)出版社,2000.

[12]FangSC,XinL,ChenYZ.Trafficsigndetectionbasedonco-trainingmethod[C]//Proceedingsofthe33rdChinesecontrolconference.[s.l.]:[s.n.],2014:4893-4898.

[13]LvJR,LuoXG.Anapproachfortriangletrafficsigndetectionbasedonimprovedradontransform[C]//Internationalconferenceoncomputationalandinformationsciences.[s.l.]:[s.n.],2012:176-178.

[14] 朱雙東,張 懿,陸曉峰.三角形交通標(biāo)志的智能檢測(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào),2006,11(8):1127-1131.

[15] 張 靜,何明一，戴玉超，等.綜合顏色和形狀的圓形交通標(biāo)志檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用，2011,47(2):233-236.

[16] 吳 剛,楊敬安,李道倫，等.平面圖像的對(duì)稱性檢測(cè)方法研究[J].計(jì)算機(jī)科學(xué),2011,28(5):101-103.

Traffic Sign Detection Based on Prior Information

PAN Ming-xing,SUN Han

(College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics, Nanjing 211106,China)

The automatic recognition of traffic signs can be applied to the automatic or semi-automatic auxiliary driving system to provide the information of surrounding road conditions.However the existing algorithms are relatively unitary for detection object and mostly only detect several signs in a certain class.With the increasing of traffic signs,the correct rate of detection is decreased obviously.In addition,these methods consider the color and shape,but ignore the deterministic relation between shape and geometric with traffic signs.A fast and efficient algorithm of traffic sign detection is proposed.According to the prior information of the shape and color of traffic signs,it establishes a decision tree of traffic signs,which can filter out interesting regions and divide traffic signs into 10 sub classes,detecting traffic signs by sub-classes results and the prior information of traffic sign.The experimental results show that when the traffic signs obscured,this method reduces the residual rate and false detection rate in traffic sign detection.The algorithm can reduce the complexity and improve the real-time performance and efficiency of the TSR system.

traffic signs;shelter;color;contour

2015-11-18

2016-04-06

時(shí)間：2017-01-10

國(guó)家自然科學(xué)基金資助項(xiàng)目(61203246，61375021)

潘銘星(1991-),男,碩士研究生,研究方向?yàn)橛?jì)算機(jī)視覺；孫 涵,博士,副教授,研究方向?yàn)橛?jì)算機(jī)視覺、數(shù)字圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.1010.039.html

TP391.4

A

1673-629X(2017)02-0096-04

10.3969/j.issn.1673-629X.2017.02.022