基于機(jī)器視覺的公路交通標(biāo)志自動化巡檢系統(tǒng)

申雷霄，劉 軍

（徐州市公路管理處，江蘇 徐州 221000）

0 引言

隨著物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、傳感網(wǎng)等概念和技術(shù)的發(fā)展，交通智能化水平有了極大的提高，同時也對基礎(chǔ)設(shè)施智能化、信息化水平及人員的管理水平提出了更高的要求。在交通標(biāo)志方面，現(xiàn)有導(dǎo)航設(shè)備可以提供部分限速、測速監(jiān)控、指路標(biāo)志等信息，但仍存在信息不全、更新滯后的問題。比如在交通標(biāo)志的日常維護(hù)與管養(yǎng)工作中，會對道路交通標(biāo)志做增減或其他調(diào)整，但未能在數(shù)據(jù)庫中體現(xiàn)，而這僅是交通標(biāo)志智能化、信息化最基礎(chǔ)的內(nèi)容之一。因此，通過對交通標(biāo)志的巡檢，建立交通標(biāo)志的全網(wǎng)數(shù)據(jù)庫，是實(shí)現(xiàn)交通標(biāo)志信息化的基礎(chǔ)。

交通標(biāo)志是動態(tài)變化的設(shè)施，對其巡檢及調(diào)整優(yōu)化是道路日常運(yùn)營管理的重要工作之一。目前，我國大部分城市對交通標(biāo)志的巡檢分析主要采用人工手段[1,2]。這種方式不僅存在調(diào)查效率低、成本高、精度低、信息化程度較低、數(shù)據(jù)統(tǒng)計分析不方便、外業(yè)及內(nèi)業(yè)任務(wù)繁重等弊端，更重要的是，所獲取的交通標(biāo)志信息數(shù)據(jù)不便于存儲及開發(fā)利用。由于只有樁號信息，沒有其他可用于聯(lián)網(wǎng)的位置信息（如經(jīng)緯度），難以加載于全線或全網(wǎng)，也不便與其他相同等級的道路進(jìn)行橫向?qū)Ρ确治觥?/p>

在交通標(biāo)志的檢測與識別上，Kuo等[3]首先通過Hough變換和角點(diǎn)檢測來獲取交通標(biāo)志的精確位置，然后利用卷積神經(jīng)網(wǎng)絡(luò)和K-d樹來識別交通標(biāo)志。Ciresan和Sermanet等[4-5]利用卷積神經(jīng)網(wǎng)絡(luò)直接從輸入數(shù)據(jù)中學(xué)習(xí)出具有判別性的特征用于交通標(biāo)志識別，并獲得了很好的識別性能。然而，這類方法在訓(xùn)練以及分類上都涉及非常高的時間復(fù)雜度。Shopa等[6]結(jié)合特定的預(yù)處理與K近鄰分類算法對交通標(biāo)志分類。劉成云等[7]通過改進(jìn)的MBLBP特征設(shè)計級聯(lián)分類器實(shí)現(xiàn)了標(biāo)志牌的檢測，但是所提取的特征缺乏對標(biāo)志輪廓形狀信息的描述，并且特征提取耗時較長。除此以外，還有大量基于深度學(xué)習(xí)的交通標(biāo)志識別算法研究[8-12]。以上算法普遍存在運(yùn)算量較大、計算復(fù)雜、訓(xùn)練和分類時間成本高等問題，不能充分地滿足智能交通系統(tǒng)的需求。

在移動檢測方面，國內(nèi)某公司研發(fā)的imajing產(chǎn)品將移動制圖和地理信息系統(tǒng)技術(shù)與道路實(shí)景技術(shù)融合到一個獨(dú)特的工具鏈中，用來滿足基礎(chǔ)設(shè)施的維護(hù)、監(jiān)控和管理需求。imajing的一款后處理軟件imajbox是一個一體化的、獨(dú)立的、拿來即用的移動測量系統(tǒng)，能對交通基礎(chǔ)設(shè)施進(jìn)行快速的數(shù)據(jù)采集。

為了提高交通設(shè)施養(yǎng)護(hù)的規(guī)范化、標(biāo)準(zhǔn)化、信息化水平，掌握各地交通設(shè)施的總量及交通標(biāo)志的使用壽命和維護(hù)管養(yǎng)情況，本文借鑒自然場景下的交通標(biāo)志檢測與識別方法，提出了基于機(jī)器視覺的公路交通標(biāo)志自動化巡檢系統(tǒng)。該系統(tǒng)利用YOLO（You Only Look Once）算法進(jìn)行交通標(biāo)志的檢測與追蹤，大大提高了檢測速度，滿足了移動式視頻檢測器的要求，極大地提高了交通標(biāo)志的巡檢效率，并實(shí)現(xiàn)了交通標(biāo)志的網(wǎng)絡(luò)化、信息化。

1 交通標(biāo)志的檢測與追蹤

交通標(biāo)志識別系統(tǒng)一般通過安裝在交通工具上的攝像頭獲取道路交通信息，并將其傳入計算機(jī)進(jìn)行自動處理。室外環(huán)境復(fù)雜多變，交通標(biāo)志的明亮程度、損壞形變、尺寸變化都對目標(biāo)檢測系統(tǒng)提出了很高的要求。針對這些特點(diǎn)，本文提出一種基于YOLO算法的交通標(biāo)志檢測方法。該方法檢測速度非常快，可以滿足移動式視頻檢測要求。

1.1 YOLO算法

YOLO算法的全稱是You Only Look Once：Uni?fied,Real-Time Object Detection。其中，You Only Look Once指只需要進(jìn)行一次卷積神經(jīng)網(wǎng)絡(luò)（Con?volutional Neural Networks,CNN）運(yùn)算；Unified指這是一個統(tǒng)一的框架，提供端到端的預(yù)測；Real-Time指YOLO算法實(shí)時性好、速度快。

整體來看，YOLO算法采用一個單獨(dú)的CNN模型實(shí)現(xiàn)端到端的目標(biāo)檢測。整個系統(tǒng)的工作流程是：首先將輸入圖像劃分成448×448個網(wǎng)格，然后將圖像送入CNN網(wǎng)絡(luò)，最后根據(jù)CNN網(wǎng)絡(luò)的預(yù)測結(jié)果得到需要檢測的目標(biāo)。

YOLO算法將目標(biāo)檢測統(tǒng)一到一個神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)使用整個圖像中的特征來預(yù)測每個邊界框。它同時預(yù)測圖像所有類的所有邊界框。因此，該網(wǎng)絡(luò)可以學(xué)習(xí)到完整的圖像和圖中所有的對象。YOLO算法可實(shí)現(xiàn)端到端訓(xùn)練并能夠?qū)崟r地檢測目標(biāo)，同時也保持著較高的平均精度。

首先將圖像劃分為S×S個網(wǎng)格[13-15]。如果某個目標(biāo)的中心落入該網(wǎng)格中，則該網(wǎng)格就負(fù)責(zé)檢測該目標(biāo)。每個網(wǎng)格預(yù)測存在某類物體的概率以及目標(biāo)的B個包圍框。每個包圍框預(yù)測物體的位置坐標(biāo)參數(shù)以及它是目標(biāo)的置信度。置信度分值反映該模型對包圍框是否包含目標(biāo)的信心及其預(yù)測的準(zhǔn)確程度。定義置信值為其中Object表示目標(biāo)；Pr(Object)表示這個包圍框含有目標(biāo)的可能性大小，當(dāng)該包圍框是背景（即不包含目標(biāo)）時，Pr(Object)=0，而當(dāng)該邊界框包含目標(biāo)時，Pr(Object)=1。IOUtruthpred為預(yù)測框與實(shí)際框的交并比（Intersection Over Union,IOU），表示邊界框的準(zhǔn)確度，其中truth表示預(yù)測框，pred表示實(shí)際框。因此，置信度表示的是兩個因子的乘積，也反映了預(yù)測框的準(zhǔn)確度。

每一個包圍框包含5個值：x,y,w,h和c。其中：坐標(biāo)(x,y)表示包圍框相對于網(wǎng)格單元邊界框的中心；寬度w和高度h是相對于整張圖像預(yù)測的；c表示預(yù)測的包圍框與實(shí)際包圍框的交并比。因此，每個包圍框的預(yù)測值實(shí)際上包含5個元素：(x,y,w,h,c)。其中，x,y,w,h表示包圍框的大小與位置，c是置信度。每個網(wǎng)格單元還預(yù)測各個條件類別的概率 Pr(Classi|Object)，其中

Classi(i=1,2,…,C)表示各個類別；Object表示目標(biāo)；該概率值其實(shí)是在各個包圍框置信度下的條件概率，以網(wǎng)格包含目標(biāo)為條件，每個網(wǎng)格單元只預(yù)測一組類別概率，而不管包圍框數(shù)量B是多少。

在測試時，將條件類別概率和單個包圍框的置信度預(yù)測相乘，得到各個包圍框的類別置信度：

包圍框的類別置信度表示的是該包圍框中目標(biāo)屬于各個類別的可能性大小和包圍框匹配目標(biāo)的好壞，一般會根據(jù)類別置信度來過濾網(wǎng)絡(luò)的包圍框。

1.2 目標(biāo)檢測方案

采用YOLO算法與級聯(lián)分類器相結(jié)合的方式進(jìn)行目標(biāo)檢測，檢測流程如圖1所示。

圖1 目標(biāo)檢測方案流程圖

基于YOLO算法的目標(biāo)檢測方法是將目標(biāo)檢測任務(wù)看作目標(biāo)區(qū)域預(yù)測和類別預(yù)測的回歸問題。該方法采用單個神經(jīng)網(wǎng)絡(luò)直接預(yù)測目標(biāo)邊界和類別概率，實(shí)現(xiàn)端到端的目標(biāo)檢測。該方法檢測速度非常快，基礎(chǔ)版的實(shí)時檢測可以達(dá)到45幀/s；FastYO?LO版可以達(dá)到155幀/s。

利用Adaboost算法來訓(xùn)練強(qiáng)分類器。Adaboost是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器（弱分類器），然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器（強(qiáng)分類器）。通過分析圖像特征，采用不同特征完成分類器，可以得到二分類器，再將分類器級聯(lián)起來，形成級聯(lián)分類器，從而提高目標(biāo)檢測的準(zhǔn)確度，如圖2所示。

圖2 級聯(lián)分類器示意圖

目標(biāo)檢測方案的具體實(shí)施步驟如下：

（1）制作voc格式的數(shù)據(jù)集

利用現(xiàn)有的含有交通標(biāo)志的圖片數(shù)據(jù)庫制作voc格式的數(shù)據(jù)集，對圖片中的交通標(biāo)志進(jìn)行標(biāo)注并生成相應(yīng)的標(biāo)注文件。在該數(shù)據(jù)集中標(biāo)注的交通標(biāo)志類別總共為五類：禁令標(biāo)志、警告標(biāo)志、指示標(biāo)志、指路標(biāo)志和輔助標(biāo)志，如圖3所示。

圖3 各類別交通標(biāo)志示例

（2）YOLO訓(xùn)練數(shù)據(jù)集

采用YOLO算法對標(biāo)定的數(shù)據(jù)集進(jìn)行訓(xùn)練，圖像視頻按幀輸入，經(jīng)過Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)獲得特征圖譜。所用到特征圖譜大小分別為13×13、26×26和52×52網(wǎng)格。

（3）根據(jù)預(yù)先設(shè)置好的anchor boxes在特征圖譜上進(jìn)行交通標(biāo)志多尺度檢測。YOLO采用聚類方法K-means來選取anchor box。

（4）采用logistic分類器對交通標(biāo)志進(jìn)行級聯(lián)分類，確定其所屬類別。

（5）輸入下一幀轉(zhuǎn)到步驟（2），直到視頻幀停止。

2 交通標(biāo)志自動化巡檢系統(tǒng)

基于機(jī)器視覺的公路交通標(biāo)志自動化巡檢系統(tǒng)是一個物理分布、邏輯統(tǒng)一的信息化平臺。該平臺為用戶提供了一個公路標(biāo)志牌巡查、報警以及信息管理的有效途徑，其基于機(jī)器視覺的自動化過程有效地提高了用戶的工作效率。

2.1 系統(tǒng)架構(gòu)

該系統(tǒng)可以分為檢測系統(tǒng)和數(shù)據(jù)管理系統(tǒng)兩個子系統(tǒng)，總體架構(gòu)如圖4所示。上層為檢測系統(tǒng)，集成所有檢測模塊，包括交通標(biāo)志檢測、道路標(biāo)線檢測和路面坑塘檢測，這也是系統(tǒng)的三大核心功能。交通標(biāo)志檢測主要是對道路上的交通標(biāo)識進(jìn)行檢測，檢測其類別是否正確、是否缺失并報警。道路標(biāo)線檢測主要對道路沿線的道路標(biāo)線進(jìn)行檢測，檢測是否缺失并報警。路面坑塘檢測主要對道路路面進(jìn)行檢測，檢測是否存在坑塘并報警。下層是數(shù)據(jù)管理模塊，主要是存儲并管理檢測系統(tǒng)所產(chǎn)生的所有數(shù)據(jù)，兩層之間互相聯(lián)動，共同支撐整個公路交通標(biāo)志自動化巡檢系統(tǒng)的運(yùn)行。

2.2 系統(tǒng)結(jié)構(gòu)與功能

圖4 基于移動視頻的公路交通標(biāo)志巡檢系統(tǒng)架構(gòu)圖

系統(tǒng)結(jié)構(gòu)如圖5所示，主要由GPS裝置、攝像頭、通信及數(shù)據(jù)解析模塊、攝像頭控制模塊、用戶界面、數(shù)據(jù)管理模塊及統(tǒng)計分析模塊構(gòu)成。除GPS裝置、攝像頭之外的所有模塊均集成在一臺計算機(jī)中，計算機(jī)與GPS裝置通過路由器相連，與攝像頭通過USB接口相連。

圖5 基于移動視頻的公路交通標(biāo)志巡檢系統(tǒng)結(jié)構(gòu)圖

GPS裝置與通信及數(shù)據(jù)解析模塊連接。它通過向GPS衛(wèi)星發(fā)出請求，得到設(shè)備當(dāng)前的經(jīng)緯度坐標(biāo)位置，再將檢測到的坐標(biāo)位置信息打包后發(fā)送給通信及數(shù)據(jù)解析模塊，最后由通信及數(shù)據(jù)解析模塊對它進(jìn)行接收和處理。

攝像頭與攝像頭控制模塊連接。攝像頭控制模塊能實(shí)時地對焦距和曝光度等參數(shù)進(jìn)行調(diào)節(jié)。攝像頭將采集的視頻傳送給攝像頭控制模塊，由控制模塊進(jìn)行格式轉(zhuǎn)換和存儲等處理。同時攝像頭能夠通過控制模塊與用戶界面模塊建立連接，及時接收用戶發(fā)送來的指令，采集交通標(biāo)志的圖像信息或者拍攝相應(yīng)的行車視頻以供后續(xù)分析處理。

通信及數(shù)據(jù)解析模塊與用戶界面連接，將處理過的地理位置信息發(fā)送給用戶界面。攝像頭控制模塊也與用戶界面連接，負(fù)責(zé)將處理后的視頻數(shù)據(jù)發(fā)送給用戶界面。

除此之外，用戶界面能夠?qū)崟r顯示電子地圖，并自動在電子地圖的相應(yīng)位置對與之前采集到的交通標(biāo)志信息進(jìn)行標(biāo)記。標(biāo)記的信息還包括樁號信息。樁號信息的自動計算過程如下：以公路起點(diǎn)處的經(jīng)緯度坐標(biāo)和樁號作為參考，結(jié)合GPS裝置獲得的當(dāng)前經(jīng)緯度坐標(biāo)位置和幾何知識，自動計算當(dāng)前交通標(biāo)志的樁號。另外，用戶還能手動將參考樁號輸入系統(tǒng)，系統(tǒng)根據(jù)參考樁號進(jìn)行樁號核算，以減小誤差。計算公式如下：

式（2）～式（5）中：(longituder,latituder)為參考樁號的經(jīng)緯度坐標(biāo)；(longitudec,latitudec)為當(dāng)前標(biāo)志的經(jīng)緯度坐標(biāo)；Nr為參考點(diǎn)的樁號；Nc為當(dāng)前點(diǎn)的樁號。

用戶界面還將接收地理位置信息和視頻數(shù)據(jù)，并將它們傳給數(shù)據(jù)管理模塊。數(shù)據(jù)管理模塊對接收的數(shù)據(jù)做存儲、檢索和刪除處理。同時，用戶界面能調(diào)用數(shù)據(jù)管理模塊的數(shù)據(jù)。

數(shù)據(jù)管理模塊與統(tǒng)計分析模塊連接。統(tǒng)計分析模塊對數(shù)據(jù)管理模塊中的數(shù)據(jù)做進(jìn)一步的統(tǒng)計和分析，即通過分析交通標(biāo)志的位置信息、標(biāo)志類型、架設(shè)情況、版面形狀等信息得到交通標(biāo)志的狀態(tài)評估結(jié)果，并給出相應(yīng)的維護(hù)建議。

2.3 系統(tǒng)數(shù)據(jù)組成與管理方案

系統(tǒng)的數(shù)據(jù)組成主要包括下面七個部分：

（1）視頻數(shù)據(jù)，指由固定式攝像頭所拍攝的視頻，數(shù)據(jù)格式為.avi。

（2）圖片數(shù)據(jù)，指特定事件發(fā)生時所拍攝的事件圖片，數(shù)據(jù)格式為.jpg或.png。

（3）事件數(shù)據(jù)，指檢測獲得的事件所屬類別，數(shù)據(jù)格式為“交通標(biāo)志”、“道路標(biāo)線”、“路面坑塘”。

（4）狀態(tài)數(shù)據(jù)，指檢測事件的情況，數(shù)據(jù)格式為“正常”或“異常”。

（5）坐標(biāo)數(shù)據(jù)，指事件發(fā)生地的GPS坐標(biāo)，數(shù)據(jù)格式為“（經(jīng)度，緯度）”。

（6）數(shù)量數(shù)據(jù)，指檢測事件發(fā)生的數(shù)量，數(shù)據(jù)格式為整型。

（7）時間數(shù)據(jù)，指事件發(fā)生的時間，數(shù)據(jù)格式為“年-月-日-時-分-秒”。

在系統(tǒng)內(nèi)，對數(shù)據(jù)進(jìn)行統(tǒng)一信息管理，并按照數(shù)據(jù)事件進(jìn)行分類存儲與管理。管理系統(tǒng)結(jié)構(gòu)如圖6所示。

圖6 數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)圖

數(shù)據(jù)管理的主要功能包括：（1）數(shù)據(jù)建庫，支持多種數(shù)據(jù)類型的數(shù)據(jù)建庫；（2）數(shù)據(jù)存儲，將已采集的數(shù)據(jù)裝載到數(shù)據(jù)庫進(jìn)行管理；（3）數(shù)據(jù)目錄服務(wù)，即建立并維護(hù)符合巡查系統(tǒng)信息要求的目錄管理；（4）數(shù)據(jù)檢索，即按照指定檢索條件查找數(shù)據(jù)；（5）數(shù)據(jù)修改與刪除，即對指定數(shù)據(jù)進(jìn)行修改或刪除操作。

3 系統(tǒng)實(shí)測效果

通過檢測系統(tǒng)與數(shù)據(jù)管理系統(tǒng)兩個子系統(tǒng)間的互通互聯(lián)，建立交通標(biāo)志的數(shù)據(jù)庫（融合了交通地理信息系統(tǒng)GIS-T、標(biāo)志牌位置GPS信息以及傳輸通信4G的數(shù)據(jù)），實(shí)現(xiàn)對交通標(biāo)志的巡檢、分析、評價、優(yōu)化設(shè)置及政策輔助等功能。主要用于公路交通標(biāo)志自動化巡檢分析以及輔助決策支持，實(shí)現(xiàn)了交通標(biāo)志的自動化、智能化、網(wǎng)絡(luò)化普查與分析功能。

系統(tǒng)的測試結(jié)果如圖7所示。

從圖7可以看出，該系統(tǒng)能夠準(zhǔn)確地對路邊不同種類、不同形狀的交通標(biāo)志進(jìn)行圖像捕捉、檢測與識別，快速而精準(zhǔn)。對道路標(biāo)線和路面坑塘，系統(tǒng)也能通過圖像處理實(shí)現(xiàn)精準(zhǔn)檢測。實(shí)測結(jié)果顯示，該系統(tǒng)具有較高的測試精度，測試效果較好。

圖7 系統(tǒng)測試結(jié)果

4 結(jié)論

本文提出的基于機(jī)器視覺的公路交通標(biāo)志自動化巡檢系統(tǒng)，基于YOLO算法進(jìn)行交通標(biāo)志的檢測與追蹤，實(shí)現(xiàn)了對多個類別、多種形狀的交通標(biāo)志的精準(zhǔn)檢測，大大提高了目標(biāo)檢測速度和巡檢效率，實(shí)現(xiàn)了交通標(biāo)志檢測、道路標(biāo)線檢測和路面坑塘檢測的網(wǎng)絡(luò)化、信息化。下一步的工作是擴(kuò)展該系統(tǒng)的功能，實(shí)現(xiàn)對道路上違法拋撒物品和在道路兩側(cè)違法設(shè)立攤點(diǎn)等行為的監(jiān)測。