輔助駕駛中的紅綠燈識別及其FPGA實現

翟社平 李威 馬蒙雨

摘 要： 為了降低路況的復雜性和交通信號燈的多變性給司機帶來的影響，模擬一種輔助駕駛情景，提出基于FPGA的顏色識別系統的設計，作為輔助駕駛系統中的交通燈識別模塊。在識別系統中，使用顏色特征HSV作為特征提取算法。為了增強對交通燈識別的準確率，先對圖像進行腐蝕操作，去掉小的噪點；然后再對圖像進行膨脹操作，恢復對非噪聲區域削去的部分邊緣。實驗結果表明，基于FPGA的識別模塊可快速準確地識別紅、黃、綠3種顏色，識別率達到97%。

關鍵詞： FPGA； HSV； 圖像的腐蝕； 顏色識別系統

中圖分類號： TN911?34 文獻標識碼： A 文章編號： 1004?373X（2016）06?0073?04

Traffic light recognition in auxiliary driving and its implementation by FPGA

ZHAI Sheping ，LI Wei， MA Mengyu

（School of Computing， Xian University of Posts and Telecommunication， Xian 710121， China）

ABSTRACT：To reduce the effect of the complexity of road situation and polytropism of traffic lights on drivers， the design scheme of a color recognition system based on FPGA is proposed by simulating an auxiliary driving scene， which is taken as traffic light recognition module in driver assistance system. In recognition system， color feature?HSV is used as feature extraction algorithm. In order to enhance the traffic light recognition accuracy， the image etching is carried out first to remove the small noise， and then the image expansion operation is conducted to restore some edge of non?noise area， which is chipped off before. The experiment results show that FPGA?based identification module can quickly and accurately identify the three colors of red， yellow and green. Its recognition rate can reach up to 97%.

Keywords： FPGA； HSV； image corrosion； colour recognition system

交通安全問題一直是人們關注的熱點，路況的復雜性導致了交通事故的發生[1]，輔助駕駛系統可以幫助駕駛員注意到更多的路況信息，能有效地維護交通的安全[2?3]。Mahipa.R.Yelal實現了圓形交通信號燈的檢測[4]，首先將圖像的RGB顏色空間轉換成Lab顏色空間，在Lab顏色空間[5]上進行顏色分割，依據聚類方法[6]得到候選區域；然后進行幾何特征識別。該算法的缺點是在復雜環境中不能保證程序的性能。為了達到識別速度快、抗干擾能力強等要求，本文模擬輔助駕駛系統的情景設計，提出了基于FPGA的輔助系統的設計，該系統可以準確地識別紅綠燈，輔助駕駛員注意路口交通燈的情況。

1 應用場景

基于FPGA的輔助駕駛系統的應用場景見圖1。

當到達某一紅綠燈路口時，GPS導航驅動FPGA開始工作，FPGA將分析采集到的視頻圖像信息。當分析到紅燈亮時，FPGA首先發出提醒信號，然后降低發動機速度，直至車輛停止，以防止司機因種種原因闖紅燈。

本文FPGA設計的總體框架如圖2所示，主要分為以下幾個步驟：攝像頭采集視頻圖像信息，并將幀圖像緩存于FPGA內存中；獲得的圖像信息使用RGB值表示的，將圖像的RGB顏色空間轉換為HSV顏色空間；匹配采集到的圖像與目標圖像的HSV分量值；最后，驅動外設完成相應的響應。

2 硬件電路設計

本文設計的硬件部分由主控制器、攝像頭、VGA顯示器以及馬達控制模塊組成。主控制器是Xilinx公司開發的BASYS3開發板，該開發板是圍繞Xilinx Artix??7FPGA芯片XC7A35T?1CPG236C搭建的，內部時鐘的最高頻率可達到450 MHz，有33 280個邏輯單元和6個輸入LUT結構，1 800 Kb的快速RAM塊，5個時鐘管理單元。還包含有3個Pmod連接口、12位的VGA輸出接口，能夠滿足基于FPGA的輔助駕駛系統的設計以及后續的拓展需求。BASYS3核心板用于完成視頻圖像的實時采集與顯示，顏色空間的轉換，以及目標識別模塊的電路設計。

2.1 視頻的采集與顯示

視頻圖像的采集用到的是OV7725攝像頭，綜合后的攝像頭時序控制模塊的電路圖如圖3所示。該模塊根據攝像頭的時序，對輸入的時鐘信號pclk、幀同步信號vsync、行數據有效信號href進行時序分析，攝像頭的初始數據使用8位表示一個像素，驅動模塊是將8位RGB像素轉化為RGB565像素，并對應每一個RGB像素產生一個地址和一個寫使能，以便將像素正確存到幀緩存之中。視頻信號是通過VGA顯示器進行顯示的，VGA驅動模塊的電路設計如圖4所示。該驅動電路產生VGA時序信號、數據信號，時序信號用于同步VGA顯示器。產生圖像的行列計數值，以及幀緩存的讀地址，用于讀取BASYS3中的圖像信息，并將該信息同步顯示在VGA顯示器上。視頻圖像的采集和圖像的顯示過程如圖5所示，整體過程可以分為以下幾個步驟：首先將攝像頭采集到的圖像信息讀取出來，為每一個像素點指定一個位置信息；然后將圖像信息緩存于核心板中；最后通過VGA驅動模塊將圖像信息顯示在顯示器上。

2.2 圖像的處理

視頻圖像采集后需進一步的處理，圖像處理框架如圖6所示。處理完的圖像信息經過特征的匹配才能完成目標的識別。

2.2.1 顏色空間的轉換

HSV（Hue Saturation Value，色調、飽和度、數值）色彩模型是一種面向人類視覺感知的色彩模型，HSV的六面錐體結構如圖7所示，其中H表示顏色的基本屬性；S指顏色的純度；V表示顏色的亮度。RGB 轉換為 HSV 的轉換方程如公式[7]如下：

RGB顏色空間對光照亮度變化較為敏感，HSV顏色空間中的H，S分量對光照的變化不敏感[8]，因此為了減小亮度對運動目標跟蹤的影響，先將圖像從RGB顏色空間轉換到HSV顏色空間，然后分析目標區域的每一個像素點，并在H通道上采樣，得到目標的色調直方圖，跟蹤過程中，通過查詢目標的色調直方圖來實現運動目標的跟蹤。電路設計的時序仿真如圖9所示。RGB顏色空間和HSV顏色空間之間的轉換為非線性，硬件實現需要考慮時鐘同步、算法優化、實時性等問題。此模塊內部調用了低延遲的除法器實現Hue分量與Saturation分量的高速計算，從而實現了RGB轉換成HSV。

2.2.2 目標識別

計算得到HSV顏色空間的分量值，然后完成目標的識別與匹配，HSV 分量的匹配如圖10所示，整個過程分為以下幾個步驟：首先，提取目標顏色的HSV_B分量，將提取到的分量值存儲于核心板中，作為參照值；然后，通過攝像頭實時采集圖像信息，并提取圖像信息的HSV_A分量，對HSV_A與HSV_B做差值運算，當差值小于閾值時，認為該像素點的顏色與目標顏色相近，并對該像素點進行標注；最后，計算標注區域的中心坐標，將坐標信息發送給外設馬達，該馬達可以驅動攝像頭轉動，使攝像頭聚焦匹配成功的顏色區域。

2.2.3 圖像的腐蝕與膨脹

標注感興趣圖像區域的過程中，利用形態學處理算法去除較小的噪點。本設計實現腐蝕和膨脹兩種操作的算法，先對圖像進行腐蝕操作，去掉小的噪點；然后再對圖像進行膨脹，恢復被削去的非噪聲區域的邊緣。

3 系統設計流程

電路設計的平臺是基于Xilinx推出的開發軟件Vivado2014.02，整體框架由13個模塊組成，這些模塊相互獨立也表現出層層遞進的相互依賴關系，各自完成相應的功能的同時，又對下一模塊產生一定的影響。系統設計流程如圖11所示。系統電路設計流程。主要分為以下幾個過程：第一，攝像頭采集視頻圖像，需對攝像頭進行時序控制和寄存器的配置，并將采集到的視頻圖像按幀寄存于核心板中；第二，圖像的緩存，圖像的采集端和輸出端并非同步，因此需要對幀圖像進行緩存。設計雙口RAM來實現幀緩存，該設計可同時實現讀寫；第三，顏色空間轉換，將采集到的RGB圖像轉換為HSV圖像；第四，HSV分量的匹配，為了實現目標的識別功能，本文采用的方法是將采集到的圖像與目標圖像的HSV分量進行比較，并對分量差值小于某一閾值的區域進行標注，計算該區域的中心坐標，在這一過程中對圖像進行形態學處理，減小噪聲的影響；最后，跟蹤目標顏色，并將處理過的圖像顯示在VGA顯示器上。

4 實驗數據分析

硬件資源的使用情況如圖12所示，切片邏輯的使用率為28%，內存的使用率為72%，充分使用了核心板的硬件資源，使整個設計的功能較為完善。

存儲與核心板中的識別顏色分別是紅色、黃色、綠色圖像的HSV分量的值，各選取紅、黃、綠卡片100張，實驗結果的識別率如表1所示。表1中的數據表示為識別顏色與卡片顏色匹配成功的概率。

表1 識別率 %

模擬實驗裝置如圖13所示，攝像頭將采集到的視頻圖像進行分析比對，并將最終的處理結果顯示出來。作為模擬輔助駕駛系統的設計，該實驗裝置可以實現識別紅燈顏色，識別成功后做出相應的響應。

5 結 語

模擬出一種輔助駕駛情景，設計基于FPGA的輔助駕駛系統，能夠實現準確識別紅、黃、綠三種顏色，這三種顏色對應交通燈的三種顏色。后期將繼續完成數字的識別，路標的識別等工作，實現智能化的輔助駕駛系統。

參考文獻

[1] Tae?Hyun H， In?Hak J5 Seong?Ik C. Detection of traffic lights for vision?based car navigation system [M]，Advances inImage and Video Technology. Springer BerlinHeidelberg， 2006： 682?691.

[2] 張嬌.交通標志和信號燈圖像檢測技術研究[D].南京：南京理工大學，2011.

[3] 王豪.交通信號燈識別技術方法的研究[D].沈陽：東北大學，2013.

[4] YELAL M R，SASI S，SHAFFER G R. Color?based signal light tracking in real?time video[C]// IEEE International Conference on Video and Signal Based Surveillance. Sydney， Australia： IEEE， 2006： 103?107.

[5] REEKY M， LEBERL F. Windows detection using k?means in cie?lab color space [C]// IEEE2010 20th International Conference on Pattern Recognition （ICPR）. Istanbul， Turkey： IEEE， 2010： 356?359.

[6] GARCIA?ESCUDERO L A， GORDALIZA A， MATRON C， et al. A review of robust clustering methods [J]. Advances in data analysis and classification， 2010， 4（2/3）： 89?109.

[7] 時旭.人機交互中視覺目標識別識別與跟蹤算法的研究[D].哈爾濱：哈爾濱工程大學，2010.

[8] 劉穎，黃源，高梓銘.刑偵圖像檢索中的特征提取及相似性度量[J].西安郵電大學學報，2014，19（6）：11?16.