基于圖像認知的交互式智能導盲車設計與實現

馮廷浩

摘 要：本文將介紹一種結合了實時的圖像識別技術和人機語音交互的能夠輔助視覺障礙者外出的智能導盲系統，主要提出一種準確識別交通燈的圖像處理方式和較為全面的智能導盲系統的的功能設計與組合方式。硬件方面將基于樹莓派配合紅外線傳感器，超聲波傳感器實現（獲取路面信息）圖像信息的傳遞與處理和對行走的控制基本功能等，軟件方面將使用opencv作為圖像處理的平臺。

關鍵詞：交通燈識別;導盲;語音交互

一、介紹

目前，在中國，中國盲人數量約為1730萬人，且約有30%的盲人基本不會 出門，而訓練一只導盲犬大概要花費10萬至20萬元人民幣且一個基地一年僅能培養出3到5只導盲犬，造成盲人的生活種的不便。所以，我們意在設計一種可以實現類似于導盲犬的功能的智能導盲車。對于一個智能導盲車，我們設計的重點在于對交通燈的及時、準確的識別。

我們對交通燈的識別分為兩個步驟，先使用opencv的基于haar特征的級聯分類器進行尋來你，然后對交通燈的識別和框選，獲取roi區域，再對該部分進行色彩空間轉hsv，高斯模糊，膨脹腐蝕等預處理，以降低被其他背景顏色干擾的可能，從而增大識別精度，并判斷顏色，以上過程在兩個樹莓派上實現。

二、相關工作

交通燈檢測已被研究和開發用于眾多研究和應用。 在常規交通信號燈檢測，TL的候選集通常是由顏色和形狀信息[1]，[2]，[3]，[4]生成。然后通過跟蹤和空間信息修剪此集合，在確定TL狀態之前。 例如在由Hak等人的工作中。 [10]在HSV空間，然后根據形狀和形狀進行修剪時序信息。 同樣，Omachi等人 [11]，生成歸一化RGB顏色空間中的候選集，以及使用邊緣和對稱性信息修剪集合。 在另一方面，de Charette等。 [3]他們通過識別亮點從灰度圖像進行設置，并使用自適應模板匹配（ATM）方案來識別TL狀態。類似于這種方法，， Gong等人[2]生成候選區域使用顏色分割和形態學處理，在使用Adaboost算法執行檢測之前。

三、方案的實現

1.基本組成及外觀設計

我們設計的智能導盲車的組成和外觀如上圖所示

外觀上，導盲車的驅動依靠一根推桿連接，滑輪使用萬向輪，保證導盲車的位置完全受盲人控制，攝像頭呈斜向上方向，據統計，中國的主干道、次干道、支路的路寬d的范圍為18-40米，而人行道交通燈的高度h約為2.5m，從而可以計算攝像頭的傾斜角度為，因此攝像頭的角度固定為5°，可根據盲人經常走的道路對應的角度隨時進行調節;

組成上，以樹莓派作為所有模塊運行、處理的核心，超聲波傳感器針對平行方向障礙的檢測，紅外傳感器針對地面的坑洼和障礙的檢測，保障盲人在日常的道路行走過程中不會碰到障礙，相比于這些傳統的基本的障礙檢測，我們在另一塊樹莓派上實現了對日常行走過程中對交通信號燈的較為及時、準確的檢測，盡可能模擬或超過導盲犬的功能從而輔助盲人的日常生活。

2.超聲波模塊與紅外模塊

紅外模塊具有最大探測距離（25厘米左右），紅外模塊的接收采用的是漫反射的方式，模塊在使用時收發頭的周邊不要有其它的物體遮擋 ，從而減小周邊物體對模塊的干擾。紅外模塊安裝在裝置前底部，實時的檢測與地面的距離，當相對距離大于5cm是判定為路面有坑，相對距離小于-5cm判定路面有石頭。

超聲波模塊，HC-SR04 超聲波測距模塊可提供 2cm-400cm 的非接觸式距離感測功能，測距精度可達高到 3mm。最遠探測距離4m。測量角度15度。超聲波模塊安裝在裝置正前方，實時的檢測前方障礙物，當距離小于3m時判定前方有障礙物。

3.交通燈識別算法與實現

通過卷積神經網絡（CNN）或某些方式直接從圖片中捕捉并識別交通燈顏色在較為復雜的交通路口會有圓形對交通燈識別的干擾和某些顏色相近的物體對顏色識別的干擾，易將某些顏色相近的物體錯誤的識別為目標物體，所以我們將交通燈顏色識別的過程分為兩個部分：

第一部分，關于交通燈識別的訓練，opencv已經提供了一個級聯分類器（traincascade），我們采用它進行訓練。這個級聯分類器的工作原理[4]是首先在圖像中找到目標物體（如果存在的話）并在該目標物體周圍創建一個圓圈，向用戶表明它確實找到了。 一旦找到了潛在的目標物體之后，系統能夠掃描該區域并將其與數據庫進行比較，確定那里實際上是否存在目標物體。 已經確認后，我們可以開始研究圓圈內的內容并使用該信息確定交通燈的顏色。 對于這個特定的實驗，我們選擇對交通燈檢測使用基于haar特征的級聯分類器。 這個分類器受過各種各樣正負圖像樣本的訓練。

使用上圖所示的1300張正樣本和2000張負樣本進行訓練并得到xml文件，然后使用訓練好的分類器對交通燈的整體進行識別并框選出原圖片中交通燈的部分;

第二部分，對框選出的圖像進行顏色識別：首先選擇顏色閾值，經過多組圖片的測試我們對紅、綠兩個顏色設置了較為適合的HSV閾值： 紅色的閾值為：[0， 43， 46]到[10， 255， 255];綠色的閾值為：[26， 43， 46]到[34， 255， 255]

然后對圖像進行預處理，常用的方法是高斯模糊[5]，即基于對于模糊不敏感的識別，我們不需要恢復完整像素的圖像。 我們只需要具有魯棒性的表示（可能是低維的和有損的）。使用高斯模糊處理圖片以降低圖片的像素大小以提高識別效率，處理結果如下圖所示，再將圖片RGB格式非線性轉換為HSV顏色空間[3]（由色調、飽和度和亮度三個分量組成）完成該部分圖片的顏色進行追蹤。

兩個部分完成后的效果圖如下圖所示，已將識別出的信號燈顏色框選出來，且完成了語音的播報

智能導盲車運行過程的流程圖如下：

4.識別結果的播報及語音交互

在超聲波、紅外和交通燈識別的代碼中加入調用聲卡進行播報的部分，使之前的檢測都能以盲人可以接受的方式得到信息;另一方面，我們設置了另一個線程與交通燈識別同時執行，獲取盲人的聲音，通過百度語音包轉化為文字，如果識別出來的文字是特定的命令，便調用交通燈識別函數以達到讓盲人可以主動獲取信息的功能

四、總結

基于樹莓派的智能導盲系統可以完成以上提及的超聲波模塊、紅外模塊、語音識別模塊和圖像識別模塊的運行，并可以實時播報給使用者，起到輔助盲人的作用

該智能導盲系統是盡可能的對實際應用情況和可行性進行了綜合考慮的設計，對交通燈識別的方式進行了一定程度的優化，使盲人的出行的安全得到更多保障。

參考文獻：

[1]G.Siogkas， E.Skodras and E.Dermatas. Traffic Lights Detection in Adverse Conditions using Color， Symmetry and Spatiotemporal Information. In proceedings of VISAPP 2012

[2]J. Gong， Y. Jiang， G. Xiong，C. Guan， G. Tao and Huiyan Chen， The Recognition and Tracking of Traffic Lights Based on Color Segmentation and CAMSHIFT for Intelligent Vehicles. In proceedings of IV， 2010.

[3]R de Charette， F Nashashibi. Traffic light recognition using image processing compared to learning processes. In proceedings of IROS 2009， pp 333-338

[4]M. Diaz-Cabrera， P. Cerri and J. Sanchez-Medina， Suspended Traffic Lights Detection and Distance Estimation Using Color Features， In proceedings of ITS2012， pp. 1315-1320.

[5]V. John. Traffic Light Recognition in Varying Illumination using Deep Learning and Saliency Map. IEEE.2014

[6]Y Jie. A new traffic light detection and recognition algorithm for electronic travel aid. Fourth International Conference on Intelligent Control and Information Processing （ICICIP）.2013

[7]Jonathan Hicks.Emotion Detection Using OpenCV for Automatic Facial Recognition. Earlham College Department of Computer Science

[8]Jan Flusser. Recognition of Images Degraded by Gaussian Blur. IEEE. FEBRUARY 2016

[9]Vladimir Chernov. Integer-based accurate conversion between RGB and HSV color spaces. Computers & Electrical Engineering.2015

[10] T. Hyun，J. In-Hak，C Seong-lk. Detection of Traffic Lights for VisionBased Car Navigation System， In proceedings of PSIVT 2006

[11]M. Omachi， S. Omachi. Traffic light detection with color and edge information. In proceedings of ICCSIT 2009. pp 284 - 287